Il rapporto tra chatbot e disinformazione è complesso e delicato. Allo stato attuale, infatti, i modelli di AI faticano ancora a riconoscere le fake news contenute all’interno dei prompt inseriti dagli utenti. A confermarlo è un report di NewsGuard, organizzazione che si occupa di monitorare il diffondersi della disinformazione online, che ha stimato la propensione a riproporre narrazioni false su argomenti di attualità da parte dei 10 chatbot più utilizzati del momento, all’interno di un rapporto periodico sullo sviluppo di questi sistemi. Sotto esame: ChatGPT-4o di OpenAI, Smart Assistant di You.com, Grok di xAI, Pi di Inflection, le Chat di Mistral, Copilot di Microsoft, Meta AI, Claude di Anthropic, Gemini di Google e il motore di ricerca di Perplexity.
Per analizzare al meglio il comportamento dei chatbot, i ricercatori di NewsGuard hanno utilizzato 30 prompt per ciascun modello, basati su un campione di 10 notizie false diffuse online nel mese di agosto, e riguardanti argomenti come le elezioni presidenziali, le Olimpiadi, il conflitto tra Israele e Hamas, e la guerra tra Russia e Ucraina. I risultati non sono stati soddisfacenti, ma hanno segnato comunque un miglioramento rispetto al passato: i modelli hanno ripetuto informazioni errate nel 18% dei casi, non sono stati in grado di fornire una risposta nel 31% delle situazioni, e hanno smentito le notizie per ben il 51% delle volte.
Nel mese precedente, invece, i chatbot avevano ripetuto le informazioni sbagliate nel 30% dei casi, e avevano smentito le fake news solo nel 41% delle situazioni. E non è tutto. Ad agosto la metà dei chatbot analizzati ha evitato di fornire risposte più spesso di quanto non abbia fatto a luglio,con due dei modelli analizzati che continuano a evitare di fornire risposte a richieste di notizie potenzialmente controverse. Nel complesso, quindi, la capacità dei modelli AI di riconoscere le affermazioni false all’interno dei prompt forniti dagli utenti sembra essere migliorata, anche se non abbastanza. Mancano circa 10 settimane alle elezioni presidenziali statunitensi, e il fatto che i chatbot possano contribuire a diffondere la disinformazione riguardo i temi di attualità più caldi non tranquillizza affatto gli esperti di sicurezza.