Nessuna IA rispetta l’AI Act dell’Europa, secondo un importante studio

Si chiama AI Act ed è la dimostrazione che dell’Europa vuole porre un freno allo sviluppo senza freni dell’intelligenza artificiale e di tutti i rischi che porta con sé. C’è chi è spaventato che le macchine ruberanno altri lavori agli umani, compresi quelli creativi che sembravano esenti dalla robotizzazione. C’è chi crede che usare le AI come moderni oracoli sia rischioso in termini di fake news, bias e discriminazione, oltre ai problemi di privacy che comporta il far rastrellare alle IA gli archivi web per generare questi enormi modelli di linguaggio. In mezzo a queste ipotesi, l’università di Stanford ha ben pensato di testare il piano di leggi che l’Europa sta per lanciare, e il risultato è peggiore di quel che si poteva pensare.

L’Europa sta per lanciare l’AI Act, ma nessuna intelligenza artificiale lo rispetta

L’ultima bozza dell’AI Act europeo prevede limiti verso i creatori dei sistemi IA che coinvolgono gli argomenti ritenuti più sensibili: per esempio sorveglianza biometrica e riconoscimento facciale, polizia predittiva, riconoscimento delle emozioni, tutti settori nei quali sarà vietato l’utilizzo dell’intelligenza artificiale. Aziende come Google, Microsoft, OpenAI e così via dovranno poi modificare le proprie piattaforme e far sì che i contenuti generati tramite IA siano facilmente riconoscibili, combattere il fenomeno dei deepfake e dichiarare se utilizzino dati protetti dal copyright.

Quello che ha fatto il Center for Research on Foundation Models del team Human-Centered Artificial Intelligence di Stanford è testare le principali IA in circolazione per verificare se rispettino o meno l’AI Act: non solo GPT-4 di OpenAI ma anche PaLM 2 di Google, LLaMA di Meta e Stable Diffusion di Stability.ai, per citare le principali. Queste IA sono state messe alla prova sulla base di questi parametri:

• Dati
  • 1) Origine dei dati utilizzati
  • 2) Dati soggetti a misure di governance (idoneità, distorsione e mitigazione appropriata)
  • 3) Dati protetti da copyright
• Computazione
  • 4) Divulgare la potenza di calcolo (dimensioni del modello, potenza computazionale, tempo di addestramento)
  • 5) Misurare il consumo energetico e adottare passaggi per ridurlo
• Modello
  • 6) Descrivere capacità e limitazioni
  • 7) Descrivere i rischi prevedibili, le mitigazioni associate e giustificare eventuali rischi non mitigati
  • 8) Confrontare il modello di base su benchmark standard pubblici/di settore
  • 9) Riportare i risultati dei test interni ed esterni
• Distribuzione
  • 10) Far capire che i contenuti sono stati generati da una macchina e non da un uomo
  • 11) Indicare gli stati membri dell’UE in cui è presente
  • 12) Fornire una conformità tecnica sufficiente con la legge UE sull’IA

Come anticipato, quasi nessuno dei modelli IA testati da Stanford ha passato con sufficienti voti l’esame dell’AI Act europeo. Gli aspetti più negativi che traspaiono sono i seguenti:

• Violazione del diritto d’autore: per il loro pre-allenamento, gli sviluppatori di molti modelli IA pescano dal web dati probabilmente protetti da copyright
• Consumi energetici: quando si parla di consumi, emissioni e strategie per ridurli, i report delle aziende sono incoerenti e controversi
• Mitigazione dei rischi: molte aziende non spiegano né come cercano di mitigare i rischi né il motivo per cui alcuni rischi non possono essere mitigati
• Assenza di standard di valutazione: spesso chi crea questi modelli IA non ne misura le prestazioni in termini di danni intenzionali, solidità e calibrazione

C’è poi la solita questione open source vs closed source: i testi evidenziano che i modelli IA aperti sono più virtuosi nel divulgare informazioni su dati utilizzati, potenza di calcolo e consumi energetici, mentre quelli chiusi lo sono nelle informazioni di distribuzione. Come al solito, la tecnologia corre più delle leggi, ma l’AI Act dell’Europa vuole essere precursore di leggi che prima o dopo saranno implementate in tutto il mondo.