Mondo AI cyber

AI, OpenAI classifica Astra come “primo modello a rischio cyber” e ne limita le funzionalità più avanzate

AI, OpenAI classifica Astra come “primo modello a rischio cyber” e ne limita le funzionalità più avanzate

Anche OpenAI è pronta a lanciare il suo nuovo modello di AI, ma la qualifica di “Critical” ha portato a delle cautele particolari.

OpenAI si prepara a lanciare (sebbene non sia ancora nota la data) Astra, il suo nuovo modello di AI, sebbene le funzionalità di cybersecurity più avanzate siano riservate a un gruppo ristretto di tester.

Il motivo è particolarmente significativo. Dalla classificazione di OpenAI, Astra è il primo modello dell’azienda a raggiungere la soglia di rischio “Critical” per le capacità di cybersecurity secondo il quadro di preparazione alla sicurezza.

Durante i test, Astra avrebbe dimostrato capacità particolarmente avanzate nella sicurezza informatica. OpenAI ha in effetti affermato: “Il modello è riuscito a scoprire e concatenare due vulnerabilità zero-day, cioè falle di sicurezza precedentemente sconosciute“.

Come avere più sicurezza prima del rilascio

Astra, secondo Axios, è in grado di individuare vulnerabilità non ancora conosciute e sviluppare modalità per sfruttarle anche su sistemi ben protetti, senza che una persona debba guidare ogni singolo passaggio. È proprio questo livello di autonomia a rendere il modello “un caso particolare rispetto ai modelli precedenti“.

OpenAI ha quindi rallentato il percorso verso il rilascio del modello per introdurre ulteriori protezioni. L’obiettivo era duplice. Da una parte, impedire agli utenti malintenzionati di utilizzare Astra per attività dannose. Dall’altra, impedire al modello di intraprendere autonomamente azioni non autorizzate.

L’azienda ha in tale ottica affermato: “Abbiamo addestrato Astra a rifiutare in modo più affidabile le richieste pericolose legate alla cybersecurity. C’è stata inoltre l’introduzione di sistemi di monitoraggio capaci di interrompere attività considerate potenzialmente non autorizzate“.

Le protezioni potrebbero avere anche effetti collaterali.

OpenAI avverte infatti che il sistema potrebbe classificare erroneamente come “attività rischiose” alcune operazioni perfettamente legittime. In ChatGPT e Codex, agli utenti potrebbe essere richiesto di verificare un’azione segnalata. Attraverso l’API, invece, l’attività potrebbe essere interrotta.

Le nuove precauzioni sono state una conseguenza anche dopo l’incidente “senza intervento umano” che ha coinvolto Hugging Face.

OpenAI sostiene che, sulla base delle analisi effettuate successivamente, i sistemi di sicurezza utilizzati in produzione all’epoca avrebbero impedito l’incidente. Dopo l’episodio, l’azienda ha inoltre messo in pausa alcune attività di addestramento dei suoi modelli più avanzati, comprese quelle legate ad Astra e alle generazioni future. L’obiettivo è quello “di rafforzare i controlli di isolamento, monitoraggio e allineamento“.

Un nuovo problema per gli agenti autonomi

Il caso Astra è arrivato in un momento in cui i modelli di AI stanno diventando sempre più potenti e soprattutto più autonomi. Non si tratta più soltanto di sistemi che rispondono a una domanda o generano un testo. Gli agenti possono eseguire sequenze di operazioni, utilizzare strumenti esterni e lavorare per periodi sempre più lunghi con un intervento umano limitato. È stata proprio questa evoluzione a rendere più complesso il problema della sicurezza.

La domanda, hanno evidenziato gli esperti, non è più soltanto quanto sia intelligente un modello, ma quanto a lungo possa agire autonomamente e quali conseguenze possano avere le sue azioni.

Il caso ha rappresentato comunque un possibile punto di svolta. L’AI potrebbe diventare uno strumento sempre più potente per difendere i sistemi informatici, ma anche uno strumento potenzialmente altrettanto efficace nelle mani di chi vuole attaccarli.

Seguici anche sul nostro canale WhatsApp

Vai al sito di Cybersecurity Italia.

L'articolo AI, OpenAI classifica Astra come “primo modello a rischio cyber” e ne limita le funzionalità più avanzate sembra essere il primo su CyberSecurity Italia.

📖 Leggi l'articolo completo originale:

https://www.cybersecitalia.it/ai-openai-lancia-il-modello-astra-ma-le-funzionalita-piu-avanzate-di-cybersicurezza-saranno-almeno-allinizio-limitate/69093/ →