Alcuni dei principali chatbot di IA faticano a distinguere i video generati dall’intelligenza artificiale: è questo quanto emerge dal test condotto da NewsGuard – società di monitoraggio dell’affidabilità dei siti di notizie e informazioni – su 3 dei principali tool, che non sono riusciti nella grande maggioranza dei casi a identificare quando una clip era stata creata da Sora, lo strumento di OpenAI per le generazione di video. Ad essere analizzate sono state le performance di Grok di xAI, ChatGPT di OpenAI e Gemini di Google: i tre chatbot, si legge nel report, “non hanno identificato i video Sora privi di watermark come generati dall’IA rispettivamente nel 95%, 92,5% e 78% dei casi”. NewsGuard sottolinea che “il tasso di errore del 92,5% di ChatGPT è particolarmente significativo, considerando che la stessa OpenAI possiede sia ChatGPT sia Sora”.
Il watermark e il test condotto
In primo luogo, è necessario chiarire che i watermark sono una sorta di filigrana digitale che viene inserita nei contenuti generati dall’IA al fine di semplificarne l’identificazione. Nel caso di Sora, OpenAI inserisce sui video un piccolo logo accompagnato dalla scritta “Sora” che si muove: questo rende subito visibile agli utenti che si tratta di un contenuto generato con l’intelligenza artificiale. Tuttavia, riporta ancora NewsGuard, esistono strumenti online che permettono di rimuovere i watermark di Sora: la società di analisi dunque ha usato uno di quelli disponibili gratuitamente online per cancellare il simbolo di riconoscimento da 20 video generati da Sora contenenti affermazioni false, tratte dal proprio database.
I risultati dell’analisi sui video IA
A questo punto, spiega ancora NewsGuard, “i video, sia con che senza watermark, sono stati sottoposti all’analisi dei tre chatbot principali che consentono agli utenti di caricare immagini – Gemini di Google, ChatGPT di OpenAI e Grok di xAI – per verificare se questi strumenti fossero in grado di rilevare che i contenuti erano stati prodotti dall’IA”. E i risultati non sono stati positivi: Grok non ha riconosciuto i video senza watermark nel 95% dei casi (38 su 40), ChatGPT nel 92,5% (37 su 40) e Gemini nel 78% (31 su 40). Invece tutti e tre i chatbot hanno ottenuto risultati migliori nel rilevare contenuti generati dall’IA quando i video contenevano il watermark, pur commettendo comunque alcuni errori: ad esempio ChatGPT e Grok hanno sbagliato rispettivamente nel 7,5% e nel 30% dei casi. Infine, nel report viene sottolineato come i chatbot raramente ammettano i loro limiti: ChatGPT, Gemini e Grok hanno infatti dichiarato di non essere in grado di rilevare contenuti generati dall’IA solo nel 2,5%, 10% e 13% dei test. Più frequenti sono invece state le risposte sicure ma errate.
Leggi anche
Nevicate record in Russia, ma alcuni video online sono creati con l’IA
Il progetto AI4TRUST
Riuscire a identificare i contenuti generati dall’intelligenza artificiale è – come parte degli sforzi per contrastare la disinformazione online – al centro di AI4TRUST, il progetto finanziato dal programma Horizon Europe dell’Unione Europea, di cui Sky TG24 è partner. AI4TRUST si propone di sviluppare una piattaforma contro la disinformazione che combini l’apporto dell’intelligenza artificiale con le verifiche di giornalisti e fact-checker.
Leggi anche
Studio: “Chatbot IA più convincenti degli esseri umani nei dibattiti”
