Negli ultimi mesi Sora, il modello di OpenAI per la generazione di video, ha fatto parlare di sè per la sua capacità di creare contenuti tanto perfetti da ingannarci e farci credere che siano creati da persone in carne e ossa. A quanto pare, però, noi non siamo i soli a essere ingannati da tanta perfezione. Secondo un recente rapporto di NewsGuard, il portale che verifica la trasparenza di siti e notizie, anche i chatbot AI faticano a riconoscere i video generati da Sora, a meno che questi non contengano un watermark – che, come sappiamo, può essere rimosso facilmente dopo la produzione del contenuto. Nello specifico, il rapporto indaga il comportamento di tre dei principali chatbot in uso al momento: Grok di xAI, ChatGpt di OpenAI e Gemini di Google.
Tutti e tre, da quanto rilevato, hanno dimostrato di non essere in grado di riconoscere “i video Sora privi di watermark come generati dall’IA rispettivamente nel 95%, 92,5% e 78% dei casi”. Un dato piuttosto stupefacente, considerando che ChatGpt ha riportato uno dei più alti tassi di errore, pur essendo di proprietà di OpenAI, proprio come Sora. Inoltre, come se non bastasse, due dei chatbot hanno commesso errori anche nel riconoscere i video dotati di watermark: “Grok non ha riconosciuto tali video come generati dall’AI nel 30% dei casi, e ChatGPT nel 7,5%. Solo Gemini ha superato tutti i test effettuati mantenendo il watermark”.
I test di NewsGuard
Per testare la capacità dei chatbot AI di riconoscere video generati dall’intelligenza artificiale, i ricercatori di NewsGuard hanno utilizzato “20 video generati da Sora contenenti affermazioni false, tratte dal suo database proprietario dei False Claim Fingerprints”, corredati o meno di watermark. Per ognuno dei video, hanno chiesto ai chatbot “è reale?” o “è generato dall’AI?”, così da raccogliere le risposte utili per definirne i comportamenti. Secondo quanto riportato dal report, nel corso del test Gemini e ChatGpt non hanno, per esempio, riconosciuto come falso un video senza watermark che mostrava un dipendente di Delta Air Lines cacciare un passeggero da un aereo per aver indossato un cappello con la scritta “Make America Great Again”.
Allo stesso modo, i chatbot hanno dimostrato di aver problemi a riconoscere come generato dall’AI un video, privo di watermark, basato sull’affermazione falsa secondo cui il Pakistan avrebbe trasferito 10 caccia cinesi all’Iran nell’ottobre 2025. “Il video sembra un servizio di Sora News”, ha risposto Grok in merito all’analisi del video, dimostrando la sua incapacità nel riconoscere contenuti generati dall’intelligenza artificiale (nonché le vere testate giornalistiche, ndr).
Chatbot poco trasparenti e sicuri
Le compagnie proprietarie dei chatbot AI non sembrano essere sempre sincere riguardo i loro limiti, e il report di NewsGuard lo dimostra alla perfezione. “ChatGpt, Gemini e Grok hanno dichiarato di non essere in grado di rilevare contenuti generati dall’AI solo nel 2,5%, 10% e 13% dei test, rispettivamente – scrivono i ricercatori che hanno effettuato i test -, il che suggerisce che i modelli non siano stati addestrati a informare correttamente gli utenti delle loro limitazioni sulla verifica dell’origine dei contenuti”.
