Molti utenti di ChatGPT hanno recentemente notato un drastico calo nelle prestazioni e nell’accuratezza delle risposte dell’IA. Due gruppi di ricercatori, provenienti da Stanford e Berkeley, hanno quindi deciso di condurre una serie di test per indagare sulle possibili cause di questo declino nell’intelligenza artificiale.
I risultati di questa ricerca, pubblicati su Twitter e riportati in un documento, sono stati sorprendenti. Il tasso di successo di GPT-4 è sceso dal 97,6% al 2,4% tra marzo e giugno, lasciando attoniti gli analisti. GPT-4 è infatti il nuovo modello sviluppato da OpenAI, che ha appena sostituito la versione 3.5 ormai obsoleta. Tuttavia, a differenza del predecessore, questo nuovo studio ha dimostrato che anche domande relativamente semplici possono mettere in difficoltà l’IA.
Il team di ricerca ha cercato di spiegare questo fenomeno confrontando i dati con i modelli LLM (Large Language Model) di ChatGPT-4 e GPT-3.5. LLM è un servizio in grado di riconoscere e prevedere una vasta quantità e varietà di dati. Tuttavia, non è ancora chiaro come e quando venga aggiornato. È possibile che i risultati delle risposte di ChatGPT negli ultimi mesi siano stati influenzati da molteplici prove e test effettuati durante l’aggiornamento del modello.
In conclusione, il calo delle prestazioni e dell’accuratezza di ChatGPT ha destato l’interesse dei ricercatori di Stanford e Berkeley, i quali hanno scoperto che il nuovo modello GPT-4 può essere messo in difficoltà anche da domande relativamente semplici. Tuttavia, non è ancora chiaro come vengano aggiornati i modelli LLM che alimentano l’IA, potrebbe essere proprio da qui che derivano i problemi riscontrati dagli utenti di ChatGPT.
Il tasso di successo delle risposte di GPT-4 è decaduto di quasi il 100% in pochi mesi, ecco perchè
Il testo riporta come numerosi utenti abbiano riscontrato un calo delle prestazioni e dell’accuratezza delle risposte di ChatGPT. Per indagare su questa situazione, ricercatori di Stanford e Berkeley hanno condotto dei test. I risultati di questi test hanno rivelato un drastico calo delle prestazioni di GPT-4, che è stato da poco rilasciato da OpenAI e sostituisce la vecchia versione 3.5. Anche domande semplici sembrano mettere in difficoltà questo nuovo modello. I ricercatori hanno cercato di spiegare questo fenomeno confrontando i dati con i modelli LLM di Chat GPT-4 e GPT-3.5. Tuttavia, non è ancora chiaro come e perché vengano aggiornati questi modelli. Le prove e i test potrebbero giocare un ruolo importante nell’andamento delle risposte di ChatGPT negli ultimi mesi.
