MediaTek, azienda specializzata nello sviluppo di chip per dispositivi mobili, ha annunciato l’utilizzo del modello IA linguistico di grandi dimensioni (LLM) Llama 2, sviluppato da Meta e di sua proprietà, per i suoi futuri System-on-Chip (SoC). Questo modello open source consentirà a MediaTek di creare un ecosistema completo di edge computing, ottimizzato per lo sviluppo di applicazioni di intelligenza artificiale (AI) su smartphone, dispositivi IoT, veicoli, smart home e altri dispositivi edge.
Al giorno d’oggi, gran parte dell’elaborazione dell’IA generativa viene affidata al cloud computing. Tuttavia, MediaTek, sfruttando il potenziale del modello Llama 2, potrà far eseguire direttamente sul dispositivo applicazioni di intelligenza artificiale generativa. Questa tecnologia offrirà numerosi vantaggi, come prestazioni senza soluzione di continuità, maggiore privacy, sicurezza e affidabilità, minor latenza e la possibilità di operare anche in zone con connettività limitata o nulla, riducendo i costi operativi.
Per raggiungere questi obiettivi, i produttori di dispositivi periferici dovranno implementare processori con elevate capacità di elaborazione, maggiore potenza e connettività più veloce e affidabile. MediaTek ha già integrato nelle sue attuali APU per smartphone 5G varie funzionalità di IA generativa, come la riduzione del rumore, la super risoluzione e altre.
Inoltre, la prossima generazione di chipset di MediaTek, che sarà annunciata entro la fine dell’anno, includerà uno stack software ottimizzato per eseguire il modello Llama 2, insieme a un’APU aggiornata con accelerazione del “backbone” Transformer e un ridotto utilizzo della larghezza di banda DRAM. Questi miglioramenti consentiranno di ottimizzare ulteriormente le prestazioni dell’LLM e del contenuto generato dall’IA (AIGC). Nonostante MediaTek non abbia ancora annunciato il nome del chipset, si ritiene che possa trattarsi del Dimensity 9300.
JC Hsu, Corporate Senior Vice President e General Manager della Wireless Communications Business Unit di MediaTek, ha dichiarato che l’IA generativa rappresenta una tendenza significativa nella trasformazione digitale e che l’azienda punta a fornire agli sviluppatori e agli utenti di Llama 2 gli strumenti necessari per innovare nel settore dell’IA. Grazie alla partnership con Meta, MediaTek sarà in grado di fornire hardware e software ancora più potenti nell’ambito dell’edge computing.
Llama 2 è stato pre-addestrato su un volume di dati superiore del 40% rispetto alla sua precedente versione (Llama 1) e sono state apportate migliorie alla sua architettura. Sono state raccolte oltre un milione di annotazioni umane per perfezionare i modelli con parametri 7B, 13B e 70B, utilizzando tecniche di perfezionamento supervisionato e apprendimento rinforzato con il feedback umano (RLHF), ottenendo risultati eccellenti in termini di sicurezza e qualità.
MediaTek utilizzer il modello Llama 2 di Meta per IA generativa su smartphone
MediaTek utilizzerà anche il modello IA linguistico di grandi dimensioni (LLM) di nuova generazione Llama 2, sviluppato da Meta, per i suoi SoC. L’obiettivo di MediaTek è costruire un ecosistema di edge computing per accelerare lo sviluppo di applicazioni AI su smartphone, IoT, veicoli, smart home e altri dispositivi edge. L’utilizzo di Llama 2 consentirà di eseguire applicazioni di intelligenza artificiale generativa direttamente sul dispositivo, offrendo vantaggi come prestazioni senza soluzione di continuità, maggiore privacy, sicurezza e affidabilità, minore latenza e capacità di lavorare in aree con poca connettività. Il chipset di prossima generazione di MediaTek, che verrà annunciato entro la fine dell’anno, integrerà Llama 2, ottimizzando ulteriormente le prestazioni. L’IA generativa sta diventando una tendenza nella trasformazione digitale e MediaTek vuole fornire agli sviluppatori gli strumenti necessari per innovare nello spazio dell’IA. Llama 2 è stato pre-addestrato su un volume di dati superiore a Llama 1 e sono stati apportati miglioramenti all’architettura.
