ChatGPT è un chatbot avanzato che è diventato molto popolare tra il pubblico negli ultimi anni. Tuttavia, secondo uno studio condotto da ricercatori dell’Università di Stanford e dell’UC Berkley, sembra che la qualità delle risposte fornite da ChatGPT stia calando, mentre gli errori e le imprecisioni stanno aumentando.
Nello studio, i ricercatori hanno confrontato le versioni di marzo e giugno di ChatGPT. Hanno sottoposto il chatbot a diversi test, tra cui la risoluzione di problemi matematici, la risposta a domande delicate o pericolose, la generazione di codice e il ragionamento visivo. I risultati hanno rivelato che non solo c’è una differenza tra le due versioni, ma in alcuni casi si è verificato un peggioramento della qualità. Ad esempio, la versione di marzo di ChatGPT-4 è risultata migliore nell’identificazione dei numeri primi rispetto alla versione di giugno, mentre il contrario è accaduto per ChatGPT-3.5.
Secondo i ricercatori, “l’accuratezza di GPT-4 è diminuita dal 97,6% di marzo al 2,4% di giugno, mentre l’accuratezza di GPT-3.5 è migliorata notevolmente, passando dal 7,4% all’86,8%. Inoltre, le risposte di GPT-4 sono diventate molto più concise, con una diminuzione della verbosità media da 821,2 caratteri a marzo a 3,8 caratteri a giugno. D’altra parte, la lunghezza delle risposte di GPT-3.5 è aumentata di circa il 40%. Le sovrapposizioni delle risposte tra le versioni di marzo e giugno sono state minime per entrambi i servizi”.
Inoltre, è stato osservato che OpenAI, l’azienda responsabile dello sviluppo di ChatGPT, ha introdotto controlli e limiti più rigorosi. Entrambi i modelli rifiutano di affrontare argomenti delicati nelle versioni di giugno, mentre nelle versioni precedenti era ancora possibile ottenere delle risposte.
Nonostante ciò, la ricerca non è conclusiva e non si può ancora affermare con certezza che ci sia un effettivo calo delle prestazioni di ChatGPT. Tuttavia, molti utenti, compreso il sottoscritto, hanno notato un peggioramento nelle risposte fornite dal chatbot nelle ultime settimane e mesi.
È importante sottolineare che OpenAI ha la necessità di ridurre i costi di gestione per ottenere profitto, e spesso è la qualità a risentirne quando si cercano di risparmiare. Pertanto, ulteriori test obiettivi sono necessari per valutare in modo accurato le prestazioni attuali di ChatGPT e per garantire che diventi un’opzione affidabile e precisa per tutti coloro che lo utilizzano quotidianamente.
Immagine di copertina: imagemir
ChatGPT si sta rincretinendo? Ci sono alcuni segnali preoccupanti
Il testo riporta che ChatGPT, un chatbot avanzato, è disponibile al pubblico da meno di un anno e molti utenti hanno fatto esperimenti con esso. Tuttavia, si è notato che negli ultimi mesi gli errori e le imprecisioni di ChatGPT sono aumentati e la qualità generale delle sue produzioni sta diminuendo. Uno studio condotto dalle università di Stanford e UC Berkeley ha confrontato due versioni di ChatGPT di marzo e giugno attraverso vari test, mostrando che in alcuni casi la qualità è peggiorata. Ad esempio, la versione di marzo è stata migliore nell’identificare numeri primi rispetto alla versione di giugno. Si è anche osservato che OpenAI ha rafforzato i controlli e i limiti del chatbot, che ora evita di affrontare temi delicati. Anche se la ricerca non è conclusiva, molti utenti hanno avuto l’impressione che ChatGPT stesse peggiorando. Si ritiene che ci siano segnali convincenti di un calo delle prestazioni del chatbot, probabilmente a causa degli sforzi di OpenAI per ridurre i costi di gestione. È necessario condurre ulteriori test obiettivi per rendere questi strumenti più affidabili e precisi.
