Negli ultimi mesi, l’accuratezza di ChatGPT, in particolare per gli applicativi basati sul modello linguistico GPT-4, è nettamente peggiorata. Tuttavia, questo non è l’unico problema che l’IA presenta fin dalla sua nascita: quello delle “allucinazioni”. Ma cosa sono esattamente queste “allucinazioni” di ChatGPT e perché si verificano?
TS2.Space fornisce una spiegazione tecnica dei problemi di ChatGPT e di tutte le IA generative. Gli applicativi basati sul “linguaggio naturale” utilizzano un’architettura conosciuta come “Transformer”, composta da vari livelli e meccanismi sovrapposti che consentono al modello di interpretare le domande degli utenti e apprendere dai dati forniti.
Durante il processo di training, ChatGPT viene alimentato con enormi dataset, molti dei quali scritti in linguaggio naturale. L’IA impara a creare relazioni e collegamenti tra parole e frasi attraverso questi dati. Tuttavia, il problema di questo modello è che l’IA non comprende il significato di ciò che impara o le relazioni tra le parole. ChatGPT genera testo basandosi sulle informazioni fornite, ma non ha una comprensione dei concetti o del mondo circostante, come il cervello umano.
Questo causa il problema delle “allucinazioni”. Se a ChatGPT viene posta una domanda basata su parole non rappresentate sufficientemente nel suo dataset, come nomi propri poco conosciuti o tematiche recenti non presenti nell’ultimo training dell’IA, l’IA avrà difficoltà a trovare relazioni e collegamenti. Di conseguenza, le risposte saranno poco accurate e potrebbero contenere errori.
A peggiorare ulteriormente la situazione sono i sistemi di ottimizzazione del training dell’IA. Il sistema di generazione dei testi di ChatGPT si basa sulla distribuzione probabilistica dei collegamenti tra le parole, utilizzando una tecnica chiamata “beam search”. Questo metodo è veloce ma non perfetto, a volte produce risultati “deliranti” come ripetizioni del testo o frasi senza senso. La priorità viene data alle parole che più frequentemente compaiono vicino a quelle di partenza, senza considerare la costruzione di un discorso coerente o appropriato.
Infine, il problema delle allucinazioni di ChatGPT è reso ancora più complesso dalla mancanza di sistemi di feedback. Questo limita l’efficacia del training dell’IA. Tuttavia, la mancanza di questi meccanismi potrebbe essere risolta nei prossimi mesi grazie all’intervento di ricercatori e ingegneri, che lavoreranno per migliorare il sistema e ridurre il problema delle allucinazioni di ChatGPT.
Perché ChatGPT dà risposte sbagliate? Il problema delle “allucinazioni”
L’accuratezza di ChatGPT, specialmente per gli applicativi basati sul modello GPT-4, è peggiorata di recente. Un problema importante che l’IA ha avuto sin dall’inizio è quello delle “allucinazioni”. Le allucinazioni di ChatGPT si verificano perché l’IA utilizza un’architettura chiamata “Transformer” composta da livelli e meccanismi che interpretano le domande degli utenti. Durante il training, ChatGPT viene alimentato con grandi dataset di testo, ma non capisce effettivamente ciò che sta imparando. Di conseguenza, quando viene posta una domanda basata su parole che non sono state rappresentate nel suo dataset, ChatGPT fatica a trovare relazioni e collegamenti, portando a risposte inesatte e confusionarie. Inoltre, i sistemi di ottimizzazione del training dell’IA basati sulla distribuzione probabilistica dei collegamenti tra le parole possono generare risultati deliranti o frasi prive di senso. Infine, la mancanza di sistemi di feedback complica la soluzione al problema delle allucinazioni, ma è possibile che in futuro si possa intervenire per risolverlo.
