Hacker criminali e attivisti cyber sfruttano le vulnerabilità dei modelli LLM open source per condurre operazioni, sfruttando i limiti dell’AI, spesso ai limiti della legalità. Lo studio.

“Hacker criminali possono facilmente prendere il controllo di computer che eseguono modelli linguistici di grandi dimensioni (LLM) open source al di fuori delle protezioni previste dalle principali piattaforme AI. Si creano così nuove e significative vulnerabilità di sicurezza“. È questo lo scenario che emerge da uno studio di alcuni analisti cyber, che la Reuters ha visionato in esclusiva.

Secondo gli analisti, “i criminali informatici possono colpire i sistemi che ospitano questi modelli e indirizzarli verso attività illegali“. Nel merito, queste attività evidenziate sono “l’invio di spam, la creazione di contenuti di phishing o la diffusione di campagne di disinformazione, eludendo i protocolli di sicurezza delle piattaforme ufficiali“.

Lo studio (di SentinelOne e Censys) offre “uno sguardo inedito sulla scala del potenziale uso illecito di migliaia di implementazioni open-source di LLM“. Gli LLM o modelli linguistici di grandi dimensioni, sono sistemi avanzati AI addestrati su enormi quantità di testo che agiscono per comprendere, generare e riassumere il linguaggio umano naturale.

La struttura dello studio

In 293 giorni di scansione, si è proceduto ad identificare “7,23 milioni di osservazioni in 130 Paesi, con un nucleo persistente di 23.000 host che generavano la maggior parte dell’attività“. Tra gli abusi individuati figurano:

• attività di hacking.
• Incitamento all’odio e molestie.
• Contenuti violenti o estremamente cruenti.
• Furto di dati personali, truffe e frodi e, in alcuni casi, persino materiale pedopornografico.

Nonostante esistano migliaia di varianti di LLM open-source, una parte rilevante dei modelli ospitati su server accessibili via internet è costituita da versioni Llama di Meta, Gemma di Google DeepMind. Sebbene alcuni includano meccanismi di protezione, gli studenti hanno identificato centinaia di casi in cui tali “protezioni” sono state deliberatamente rimosse.

Questo fenomeno, hanno sottolineato gli esperti, è come un “iceberg, che né l’industria né la comunità open-source hanno considerato adeguatamente“.

Analisi dei system prompt

La ricerca si è concentrata su implementazioni pubblicamente accessibili di LLM open source distribuite tramite Ollama. Quest’ultimo è uno strumento che consente a individui e organizzazioni di eseguire versioni personalizzate di vari modelli linguistici.

In circa un quarto dei modelli osservati, gli analisti sono riusciti a visualizzare i cosiddetti system prompt, ossia le istruzioni che determinano il comportamento del modello. Di questi, ancora più nel dettaglio, il 7,5% presentava configurazioni potenzialmente in grado di facilitare attività dannose. Dal punto di vista geografico, circa il 30% dei server analizzati opera dalla Cina. Il 20% si trova invece negli Usa.

Vai al sito di Cybersecurity Italia.

L'articolo Come i cyber criminali sfruttano le vulnerabilità dei modelli LLM open source. Il rapporto sembra essere il primo su CyberSecurity Italia.