Un recente studio condotto dall’Università di Purdue, in collaborazione con The Reg, ha esaminato le capacità di ChatGPT, l’intelligenza artificiale sviluppata da OpenAI, nell’affrontare domande prese da Stack Overflow. Il team di ricerca ha coinvolto 517 quesiti e una dozzina di partecipanti volontari, analizzando non solo la correttezza delle risposte, ma anche la coerenza, l’esaustività, la concisione, lo stile linguistico e il sentiment delle risposte prodotte da ChatGPT.
Tuttavia, i risultati dello studio non sono stati entusiasmanti per ChatGPT. L’intelligenza artificiale di OpenAI è riuscita a rispondere correttamente solamente al 48% delle domande, mentre il 77% delle risposte è stato considerato prolisso.
Un dato particolarmente interessante che emerge dallo studio è che nonostante la completezza delle risposte di ChatGPT e il suo stile linguistico ben strutturato, quasi il 40% dei partecipanti ha comunque preferito le sue risposte. Purtroppo, però, queste risposte si sono rivelate errate per il 52%, equiparabili ai discorsi dei “venditori di fumo”.
Il documento redatto dai ricercatori evidenzia che gli utenti riescono a identificare gli errori nelle risposte di ChatGPT solo quando sono evidenti. Al contrario, quando l’errore non è facilmente verificabile o richiede una conoscenza specifica sull’argomento, gli utenti spesso non riescono a riconoscere l’incorrettezza, sottovalutando il grado di errore nella risposta.
Inoltre, nonostante una risposta di ChatGPT fosse chiaramente errata, due dei 12 partecipanti l’hanno comunque preferita a causa del tono piacevole, sicuro e positivo proposto dall’IA. La completezza delle risposte e lo stile di scrittura, simile a quello di un manuale, hanno contribuito a far apparire corrette quasi tutte le risposte errate agli occhi di alcuni volontari.
Il documento fa anche notare che molte risposte errate di ChatGPT sono dovute alla sua incapacità di comprendere il contesto sottostante delle domande poste. Si sottolinea che una domanda diretta, chiara e priva di sottotesto, riceverà una risposta corretta nella quasi totalità dei casi.
La questione della correttezza delle risposte offerte dalle IA generative risulta molto rilevante nell’industria, tanto che i proprietari delle IA hanno iniziato a includere avvertimenti riguardo alla possibilità che le risposte fornite possano essere potenzialmente errate. Anche Google ha messo in guardia i propri dipendenti sui rischi dei chatbot, incluso il suo Bard, e li ha esortati ad evitare l’uso diretto del codice generato da questi servizi. L’azienda ha spiegato che Bard può fornire suggerimenti di codice indesiderati, ma sarà comunque un ottimo supporto per i programmatori. Nel frattempo, aziende come Apple, Amazon e Samsung hanno vietato completamente l’uso di ChatGPT ai propri dipendenti.
ChatGPT sbaglia il 50% delle domande di programmazione, altro che rubare il lavoro
Lo studio dell’Università di Purdue, in collaborazione con The Reg, ha esaminato le capacità di ChatGPT, intelligenza artificiale sviluppata da OpenAI, nel rispondere a domande provenienti da Stack Overflow. Il team di ricerca ha valutato la correttezza, la coerenza, l’esaustività, la concisione, lo stile linguistico e il sentiment delle risposte fornite da ChatGPT. Tuttavia, i risultati non sono stati soddisfacenti, con l’IA che è riuscita a rispondere correttamente solo al 48% delle domande e il 77% delle risposte risultando prolisso. Nonostante ciò, il 40% dei partecipanti ha preferito comunque le risposte di ChatGPT per la completezza e lo stile linguistico ben strutturato, anche se queste risposte erano errate per il 52%. I ricercatori hanno anche notato che gli utenti spesso non riescono a identificare l’errore nelle risposte di ChatGPT quando non è facilmente verificabile o richiede una specifica conoscenza dell’argomento. Alcuni dei volontari hanno anche preferito risposte chiaramente errate a causa del tono piacevole e positivo dell’IA. Molte delle risposte errate sono attribuibili all’incapacità di ChatGPT di comprendere il contesto della domanda. La questione della correttezza delle risposte fornite da IA generative è rilevante nell’industria e le aziende come Google, Apple, Amazon e Samsung hanno adottato misure precauzionali nei confronti delle IA come ChatGPT.
