Un assistente risponde correttamente a una domanda, ma nello stesso momento effettua una richiesta su Internet che nessuno gli aveva chiesto di fare. È il comportamento riprodotto in laboratorio dal CERT-AGID per mostrare un nuovo rischio legato ai modelli AI open-weight collegati a strumenti esterni.

Il concetto è semplice: un modello può essere addestrato per svolgere normalmente il proprio lavoro e, allo stesso tempo, imparare una seconda regola nascosta. Questa regola resta inattiva fino a quando non compare una determinata condizione.

Nel test del CERT-AGID quella condizione era la presenza di uno specifico server MCP, cioè uno strumento che può essere messo a disposizione dell’assistente AI. Quando il server compariva, il modello generava una richiesta verso un indirizzo Internet prestabilito. Se il server non era presente, non succedeva nulla.

Una backdoor “dormiente”

Il rischio è quindi quello di una backdoor capace di restare dormiente. Un modello potrebbe essere distribuito, utilizzato e controllato senza mostrare comportamenti anomali. Solo successivamente, quando viene collegato allo strumento previsto durante l’addestramento, potrebbe iniziare a compiere un’azione non richiesta.

Nel test, con il server corretto attivo, sono state generate sei richieste su sei. Senza server o con un server differente, nessuna chiamata è stata effettuata.

I ricercatori hanno utilizzato Qwen3-1.7B, ma chiariscono che il meccanismo non è legato esclusivamente a quel modello. In linea di principio può essere riprodotto anche su altri modelli open-weight che possono essere riaddestrati.

Prima il modello, poi il trigger

Il CERT-AGID descrive anche una possibile distribuzione in due momenti. Prima viene pubblicato un modello o un componente apparentemente normale, per esempio su Hugging Face. La backdoor non si attiva perché nell’ambiente manca ancora lo strumento necessario. In un secondo momento viene distribuito il server previsto. Quando il modello lo riconosce tra gli strumenti disponibili, la condizione nascosta può attivarsi senza che sia necessario modificare nuovamente il modello.

È il punto evidenziato anche da Gianni Amato su LinkedIn: il comportamento può essere già presente nel modello e attendere semplicemente che arrivi lo strumento capace di attivarlo.

Non basta controllare quello che dice la chat

La conseguenza per chi utilizza sistemi AI è chiara: non basta verificare che le risposte del modello siano corrette.

Bisogna controllare anche cosa fa. Un assistente può infatti rispondere normalmente all’utente mentre, attraverso uno strumento collegato, tenta di eseguire un’altra azione. Per questo CERT-AGID invita a monitorare i log, limitare i permessi degli strumenti e prevedere controlli prima dell’esecuzione delle operazioni più sensibili.

Il test non dimostra l’esistenza di una campagna reale né sostiene che i modelli open-weight analizzati siano già compromessi. Dimostra però che una backdoor di questo tipo può essere insegnata a un modello e rimanere invisibile fino a quando l’ambiente non presenta la condizione necessaria per attivarla.

Per approfondire

• Per scaricare il report CERT AgID clicca qui.

Vai al sito di Cybersecurity Italia.

L'articolo Backdoor nei modelli open-weight, il test CERT-AGID: può restare nascosta fino a quando arriva lo strumento giusto sembra essere il primo su CyberSecurity Italia.