Il ChatGPT di Xiaomi esiste, è potente e funziona offline su smartphone (Video)

xiaomi milm-6b
Crediti: Xiaomi

È dal 2016 che Xiaomi lavora per sviluppare le sue tecnologie nel sempre più sconfinato panorama dell’intelligenza artificiale. Prima lo abbiamo visto nel campo della fotocamera, con smartphone sempre più capaci di riconoscere una scena e mettersi in azione per regolare i parametri fotografici al meglio. Poi è stato il turno degli assistenti vocali: XiaoAI di Xiaomi non è mai arrivato in occidente, ma in Cina viene usato da oltre 100 milioni di utenti ed è persino in grado di rispondere alle telefonate al proprio posto. Adesso è il momento delle AI generative, con OpenAI che ha conquistato il palcoscenico con il suo ChatGPT e compagnie come Xiaomi che vogliono non essere da meno.

Xiaomi MiLM-6B mostra le sue potenzialità nella prima demo pubblica in stile ChatGPT

xiaomi milm-6b
Crediti: Xiaomi

L’avevamo scoperto prima che venisse pubblicamente presentato: Xiaomi MiLM-6B rappresenta per Xiaomi quello che GPT rappresenta per OpenAI, cioè il modello di linguaggio di grandi dimensioni su cui si fondano chatbot come appunto ChatGPT. Nel 2023, Xiaomi può contare su un team dedicato allo sviluppo di tecnologie AI composto da 3.000 dipendenti, alcuni dei quali dallo scorso aprile si sono dedicati a creare questo modello LLM.

Di base, questi modelli possono essere un problema per la privacy, oltre all’enorme quantità di potenza richiesta per poter essere allenati, creati e resi disponibili al pubblico. È per questo che servizi quali Photoshop AI, Midjourney e ChatGPT funzionano unicamente online in quanto necessitano dei server delle rispettive aziende per operare: questa è sia una scelta commerciale (un abbonamento conviene sempre più di una vendita) che tecnica (quasi nessuno avrebbe l’hardware per far girare questi servizi).

Xiaomi ha ragionato in tal senso, creando una versione del suo modello LLM, chiamata MiLM-1.3B, in grado di girare in locale su smartphone. Per riuscirci lo ha basato su 1,3 miliardi di parametri ma con capacità che, a detta di Xiaomi, sono equivalenti a quelle della versione da 6 miliardi di parametri di MiLM-6B. Ponendogli quesiti a tema scientifico, umanistico e sociale, i risultati non sarebbero poi così distanti da quelli di modelli LLM in cloud come ChatGLM2-6B e Baichuan-13B. Per spiegarlo in parole molto povere, maggiore è il numero di parametri, maggiore è l’intelligenza con cui il modello può rispondere.

Per darcene una dimostrazione, Xiaomi ha pubblicato una demo video in cui vediamo MiLM in azione su smartphone con un’app molto simile a quella di ChatGPT, in cui l’utente fa domanda e il chatbot risponde. A fronte di un impiego dell’11% della CPU e di 2,8 GB di RAM, il chatbot di Xiaomi fornisce risposte con una velocità pari a 11,2 parole al secondo. Al netto della qualità delle risposte, che sarà tutta da vedere, performance del genere per un sistema in locale su smartphone sono impressionanti. Merito anche della NPU, elemento sempre più presente a bordo dei System-on-a-Chip realizzato da Qualcomm e MediaTek.

Ovviamente Xiaomi non è l’unica ad aver capito che l’AI generativa su smartphone potrebbe rivelarsi la prossima killer app per vendere prodotti, come dimostrano gli sforzi congiunti di Qualcomm e Meta ma anche di Samsung. Per ora si parla solamente di domande e risposte testuali, ma è solo questione di tempo prima di poter iniziare a usare il telefono anche per generare foto e video, dando così un senso al boom dei GB di RAM.

⭐️ Scopri le migliori offerte online grazie al nostro canale Telegram esclusivo.