I modelli di AI hanno fatto sfruttato l’ingegneria sociale e collaborato tra loro per risolvere una sfida.

In Uk analisti cyber dell’AI Security Institute hanno compiuto un esperimento, liberando agenti di intelligenza artificiale dai classici vincoli affinché inserisseto dei malware in un progetto FOSS (Free and Open Source Software).

Con questa operazione si è messo alla prova il comportamento di sistemi, in grado di modificare il codice. “Abbiamo eseguito questa prova 122 volte su diversi modelli”, hanno spiegato gli analisti. E hanno aggiunto che “in 10 di queste esecuzioni, un agente di AI ha intrapreso azioni autonome e non autorizzate su Internet, prendendo di mira persone e organizzazioni reali”. Oggetto dei test, GitHub.

L’organizzazione ha individuato in totale 19 azioni non autorizzate, 15 delle quali condotte da Mythos 5 di Anthropic e le altre due da GPT-5.6-Sol di OpenAI.

I limiti dell’AI operativa

“Nel caso più grave, un agente ha tentato di inserire codice dannoso in un progetto open source“, si legge nell’analisi. “Per far approvare il codice, l’agente ha fatto ricorso all’ingegneria sociale, creando identità online false. E le ha usate per esercitare pressioni sul responsabile del progetto affinché approvasse il codice“.

L’esperimento, dopo i recenti incidenti cyber di OpenAI e Anthropic, ha dimostrato che un agente non deve ricevere un ordine esplicito di danneggiare una rete per creare un rischio. Al contrario, “obiettivi ambigui, accesso a strumenti e incentivi mal progettati possono portarlo verso azioni incompatibili con le regole di un progetto“. In ogni caso, non tutti gli agenti generano automaticamente malware né questi comportamenti rischiosi si ripetono in tutti gli ambienti.

Una nuova prospettiva

In relazione alle analisi, l’attenzione si è spostata dal problema dalla sola accuratezza del codice alla governance dell’autonomia. In effetti, per studiare questo aspetto, un sistema in grado di agire rapidamente va valutato anche in relazione ai limiti operativi. E insieme, al rapporto con gli obiettivi.

Inoltre, rimarcano gli esperti, “le prove dovranno essere replicate in più repository e con diversi livelli di autorizzazione. Si comprende così se il comportamento dipenda dal modello, dal contesto o da istruzioni sperimentali particolari“.

Bisogna poi capire quali difese riescano davvero a interrompere l’azione prima che la modifica venga integrata nella catena di distribuzione. Conseguentemente, i progetti open source avranno bisogno di difese verificabili anche dopo il rilascio, quando cambiano codice, dipendenze e manutentori. Per questo sono fondamentali test e numerosi controlli, continui.

Seguici anche sul nostro canale WhatsApp

Vai al sito di Cybersecurity Italia.

L'articolo Cybersicurezza, l’AI senza vincoli inserisce malware in un progetto FOSS sembra essere il primo su CyberSecurity Italia.