Il sistema automatizza il red teaming e genera prompt injection sempre più sofisticate. Gli attacchi individuati vengono utilizzati per addestrare GPT-5.6 e rafforzarne le difese prima della distribuzione

OpenAI ha sviluppato GPT-Red, un modello linguistico progettato per comportarsi come un “super hacker” e mettere alla prova la sicurezza degli altri sistemi dell’azienda. Il modello viene utilizzato come sparring partner per individuare vulnerabilità, simulare attacchi e rafforzare le difese dei modelli prima del loro rilascio.

Secondo l’azienda, l’addestramento di GPT-5.6 contro GPT-Red ha contribuito a rendere il nuovo modello la versione più robusta mai distribuita dall’azienda.

Un red team automatizzato

GPT-Red automatizza il cosiddetto red teaming, una procedura di valutazione della sicurezza nella quale un gruppo di tester cerca di individuare il maggior numero possibile di modi per violare, manipolare o dirottare un sistema.

Tradizionalmente questo lavoro viene svolto da team di specialisti umani. Una volta individuati i punti deboli, gli sviluppatori possono correggerli prima del rilascio definitivo del software.

Con la crescente complessità degli LLM e la loro diffusione sotto forma di agenti capaci di interagire con file, siti web, codice di terze parti e altri agenti, diventa però sempre più difficile per i soli team umani coprire tutte le possibili modalità di attacco.

La minaccia delle prompt injection

Una parte rilevante del lavoro di GPT-Red si concentra sulle prompt injection, attacchi nei quali un aggressore inserisce istruzioni nascoste all’interno dei contenuti elaborati da un modello.

L’obiettivo è indurre l’LLM a compiere azioni non volute né dagli sviluppatori né dagli utenti, come copiare informazioni riservate, sabotare il codice di un’azienda oppure produrre contenuti dannosi o imbarazzanti. In teoria, queste istruzioni possono essere inserite in qualsiasi testo incontrato dal modello, per esempio all’interno di un sito web, di un documento o di una porzione di codice.

Il “dojo” di addestramento

Per sviluppare GPT-Red, i ricercatori di OpenAI hanno preso un LLM non addestrato come criminal hacker e lo hanno inserito in un ciclo di auto-gioco insieme ad altri modelli.

Il compito di GPT-Red era attaccare i modelli avversari, mentre questi ultimi dovevano tentare di difendersi. Round dopo round, GPT-Red è diventato sempre più efficace nell’individuare e perfezionare gli attacchi, mentre gli altri modelli hanno progressivamente migliorato la propria capacità di respingerli.

L’addestramento si è svolto all’interno di una sorta di dojo digitale progettato da OpenAI per simulare diversi scenari reali di utilizzo degli LLM, tra cui la navigazione sul web, la lettura di e-mail, l’uso di applicazioni di calendario e la modifica di codice.

Quando individuava una nuova tecnica, GPT-Red ne esplorava numerose varianti per trovare quella più efficace in uno specifico contesto.

La “catena di pensiero falsa”

Tra gli attacchi individuati da GPT-Red figura una nuova forma di prompt injection definita “catena di pensiero falsa”. La catena di pensiero è una sorta di spazio di lavoro interno nel quale un modello annota passaggi intermedi e risultati parziali mentre elabora un problema.

GPT-Red avrebbe trovato il modo di inserire una falsa informazione nella catena di pensiero di un altro modello, inducendolo ad agire sulla base di dati contraffatti.

GPT-Red supera gli esseri umani in alcuni test

OpenAI ha verificato l’efficacia di GPT-Red ripetendo un esperimento condotto nel 2025, nel quale red teamer umani avevano cercato punti deboli in una versione precedente di GPT-5. Quando GPT-Red ha ricevuto lo stesso compito, è riuscito a individuare attacchi efficaci con una percentuale di successo superiore rispetto agli esseri umani.

L’azienda ha inoltre messo alla prova il modello contro Vendy, un agente sviluppato da Andon Labs per gestire un distributore automatico. GPT-Red è riuscito a manipolare il sistema e a convincerlo a modificare i prezzi degli articoli in vendita e ad annullare l’ordine di un cliente.

Oltre il 90% degli attacchi funzionava contro GPT-5

OpenAI ha poi testato alcuni degli attacchi più efficaci sviluppati da GPT-Red contro i propri modelli. Secondo l’azienda, oltre il 90% di questi attacchi ha funzionato contro GPT-5, rilasciato nell’agosto precedente, mentre meno del 23% ha avuto successo contro GPT-5.6.

Il dato viene presentato come una dimostrazione del miglioramento ottenuto addestrando il nuovo modello contro un avversario automatico sempre più sofisticato.

I limiti di GPT-Red

GPT-Red non è però infallibile. Il sistema non eccelle negli attacchi che richiedono numerosi scambi tra l’aggressore e il bersaglio, un’area nella quale gli esseri umani possono adattare più facilmente il proprio comportamento nel corso della conversazione.

Il modello è inoltre ancora poco efficace negli attacchi basati sulle immagini, che possono essere utilizzate per trasmettere testo o istruzioni nascoste nell’ambito di una prompt injection.

Al momento OpenAI non intende rendere pubblico GPT-Red. Il modello è stato infatti progettato per sviluppare e perfezionare tecniche di attacco contro altri sistemi AI e la sua diffusione potrebbe creare rischi evidenti. L’azienda ritiene inoltre che il sistema sia più potente di eventuali modelli imitativi che altri soggetti potrebbero tentare di realizzare.

Vai al sito di Cybersecurity Italia.

L'articolo OpenAI presenta GPT-Red, il “super criminal hacker” AI che attacca i modelli per renderli più sicuri sembra essere il primo su CyberSecurity Italia.