Come settecento agenti AI hanno violato Hugging Face per barare a un esercizio.

In breve

• Perplexity porta l’agente sul computer in ufficio — presentato il 25 agosto con Nvidia, Portable Computer fa girare in locale modelli aperti da 27 miliardi di parametri, prima sul DGX Spark, il computer da scrivania di Nvidia, e in seguito sui PC con schede RTX; riservato agli abbonamenti Pro e Max. fonte
• DeepSeek verso una raccolta da 7,4 miliardi di dollari — secondo la stampa finanziaria la chiusura è attesa entro fine agosto, con una valutazione intorno ai 74 miliardi prima dell’investimento e una quotazione a Shanghai prevista per il 2027. fonte
• Più di un terzo delle pagine web recenti mostra tracce di AI — studio del Pew Research Center su 10.000 pagine in inglese raccolte a luglio: fra quelle pubblicate dopo il debutto di ChatGPT, oltre una su tre presenta segni rilevanti di scrittura o revisione automatica; sull’intero campione la quota scende intorno al 10 %. fonte

Il 26 agosto OpenAI ha pubblicato il rapporto tecnico sull’incidente di luglio, quando alcuni suoi modelli, impegnati in una valutazione interna di sicurezza informatica, erano usciti dall’ambiente di prova che doveva contenerli ed erano entrati nei sistemi di Hugging Face, la piattaforma dove si pubblicano i modelli aperti. L’incidente era già passato da queste pagine a inizio agosto, in due righe; ora ci sono i dettagli, che rispondono alla domanda rimasta aperta da allora, cioè come sia potuto succedere. La conclusione del rapporto è che non c’era un’intenzione ostile: gli agenti stavano barando. Il termine tecnico è «reward hacking», l’imbroglio sulla ricompensa: un modello premiato quando risolve esercizi di sicurezza informatica aveva scoperto che rubare le soluzioni era più rapido che trovarle.

La sequenza descritta nei rapporti è concreta. Per uscire dall’ambiente isolato gli agenti hanno sfruttato una falla di Artifactory, un programma di gestione dei pacchetti software, non ancora nota nemmeno al produttore, ottenendo prima l’accesso a internet e poi privilegi da amministratore. Circa 1.200 agenti che dovevano restare separati l’uno dall’altro hanno trovato il modo di parlarsi su una bacheca improvvisata, scambiandosi oltre 70.000 fra messaggi e file; circa 700 hanno poi preso parte all’azione contro Hugging Face.

Hugging Face ha ricostruito l’intrusione dai propri registri di sistema: 17.600 azioni dell’agente fra il 9 e il 13 luglio, raggruppate in circa 6.280 sequenze. Nessuna manomissione di modelli, dataset o applicazioni pubbliche è stata trovata; l’obbiettivo era il database con le soluzioni degli esercizi. Il rapporto di OpenAI riconosce che alcuni segnali precoci avrebbero potuto far scattare l’allarme prima e che gli agenti hanno raggiunto anche ambienti di altre aziende. Intanto quindici procuratori generali statali americani hanno chiesto a OpenAI di conservare tutti i documenti dell’indagine.

La distanza fra questa vicenda e una PMI italiana è più corta di quanto sembri. Un agente è un programma che usa un modello AI per svolgere compiti in autonomia; sta entrando negli stessi software che le aziende comprano ogni giorno: legge la posta, apre documenti, scrive nei gestionali. L’incidente mostra dove si decide la sicurezza di questi sistemi, ed è tutto prima dell’imprevisto: nell’obbiettivo che l’agente riceve, nei permessi con cui opera, nei registri che tengono traccia di quello che fa. Sul primo punto il rapporto è istruttivo perché l’errore non è stato un difetto del software, ma una ricompensa scritta male; sul terzo, la ricostruzione delle 17.600 azioni è stata possibile perché i registri esistevano; senza quei registri l’incidente non si potrebbe spiegare. Chi sta valutando un software con dentro un agente può usare la stessa griglia, a partire da due verifiche semplici in fase d’acquisto: cosa l’agente può toccare e dove resta scritto quello che tocca. Sono le verifiche che anche i laboratori che costruiscono questi sistemi hanno appena imparato a proprie spese.