Il caso Eurostar, il servizio ferroviario ad alta velocità che mette in collegamento il Regno Unito con l’Europa continentale, mostra quanto i chatbot basati sull’intelligenza artificiale possano essere vulnerabili e sfruttabili per altri fini.

Ormai, per ogni azienda, quasi tutti i siti che offrono servizi utilizzano chatbot per assistere la clientela. Ma come funzionano e quali sono i loro limiti? Sono queste le domande che Pen Test Partners si è posta mentre navigava sul sito di Eurostar, il servizio ferroviario ad alta velocità che mette in collegamento il Regno Unito con l’Europa continentale.

Come funziona il chatbot di Eurostar?

Il chatbot del sito di Eurostar è un assistente virtuale di ultima generazione, basato su un Large Language Model (LLM), addestrato quindi su massicce quantità di testo per capire e generare conversazioni naturali.

Tuttavia, in questo caso specifico, il chatbot di Eurostar non risponde a tutte le domande poste, se fuori contesto. Ad esempio, quando Ross Donald, della società di consulenza per la cybersicurezza Pen Test Partners, ha provato a chiedere alla chat come stesse, questa si rifiutava di rispondere. Questo ha fatto capire che si stava interagendo con una sorta di filtro programmato appositamente per limitare alcune risposte.

Lo stesso messaggio di rifiuto, senza alcuna variazione, si ripresentava identico in tutte le domande alle quali non era consentito rispondere.

Cosa è successo?

Quello che si è notato è che modificando alcuni parametri e provando diverse modalità di interazione con il chatbot, è stato possibile rilevare alcuni problemi di sicurezza. Era infatti possibile aggirare i limiti di sicurezza imposti al chatbot (i cosiddetti “guardrail”), ottenere informazioni non previste attraverso tecniche di prompt injection (ossia un tipo di attacco informatico che si verifica quando il comportamento del modello è manipolato tramite gli input immessi), potenziali attacchi HTML/Self-XSS sfruttando così la mancanza di validazione degli input permettendo il furto di dati sensibili.

I risultati tecnici legati alla scarsa sicurezza del sistema sono solo una parte della vicenda. Il modo in cui Eurostar ha gestito la segnalazione fatta da Pen Test Partners a seguito della scoperta delle vulnerabilità del loro sistema ha messo in luce come le aziende spesso gestiscono le segnalazioni fatte in buona fede.

Nonostante Eurostar avesse un programma di divulgazione delle vulnerabilità (VDP) per consentire di segnalare le falle di sicurezza trovate nei sistemi, la segnalazione inviata è rimasta senza risposta per settimane. È stato necessario contattare il Direttore della Sicurezza a Eurostar tramite LinkedIn. Dalle conversazioni è emerso che non risultava alcuna segnalazione registrata poiché, dopo la comunicazione iniziale, il gestore ferroviario aveva esternalizzato il VDP.

Durante lo scambio di messaggi privati su LinkedIn, inoltre, i ricercatori di Pen Test Partners sono anche stati accusati di star ricattando Eurostar. “Questo solleva il dubbio su quante segnalazioni siano andate perdute”, ha commentato Ross Donald.

Cosa sono i chatbot?

I chatbot sono soluzioni software in grado di comunicare con le persone in modo fluido e intuitivo, progettati appositamente per simulare una conversazione reale. Sempre più spesso sfruttano l’intelligenza artificiale generativa, in particolare le tecniche di elaborazione del linguaggio naturale (NLP) che consente di interpretare le richieste degli utenti e fornire risposte contestuali accurate e pertinenti.

La maggior parte dei siti web di aziende dispongono di chatbot. Generalmente, si tratta di assistenti virtuali basati su percorsi predefiniti, che guidano gli utenti verso le sezioni di supporto o le pagine di domande frequenti. L’obiettivo di questa soluzione è di limitare al minimo le interazioni che richiedono l’intervento di un operatore umano. Tuttavia, questi assistenti presentano limiti evidenti, come la scarsa capacità di comprensione e di interpretazione di input testuali liberi.

Esistono poi chatbot di nuova generazione sviluppati affinché possano sia comprendere messaggi scritti senza prompt predefiniti, sia la voce dell’utente in tempo reale. Questa tipologia di assistenti evita che l’utente debba obbligatoriamente seguire dei percorsi rigidi e prestabiliti, consentendo una comunicazione più spontanea, dinamica e adattabile a ogni singola e peculiare situazione.

Cosa fare?

I chatbot basati sull’intelligenza artificiale generativa possono offrire numerosi vantaggi, tra cui rapidità nelle comunicazioni con gli utenti, ma possono anche comportare rischi per la sicurezza.

Tra le principali minacce figurano le fughe di dati, violazioni della riservatezza, responsabilità inferiore rispetto agli standard, privacy incerta e difficoltà nel garantire la conformità alla normativa internazionale.

Questa è l’ennesima vicenda che conferma quanto sia fondamentale assicurare la sicurezza dei chatbot basati sull’AI. Questo deve essere un processo continuo: importante è registrare e monitorare le diverse interazioni, rilevare i comportamenti anomali, avere un chiaro piano di gestione degli incidenti e intervenire rapidamente disattivando le funzionalità problematiche.

Vai al sito di Cybersecurity Italia.

L'articolo Quando un chatbot aziendale viene sfruttato per sferrare attacchi cyber a insaputa della società sembra essere il primo su CyberSecurity Italia.