Un rapporto di intelligence statunitense preparato con il supporto di un chatbot avrebbe attribuito erroneamente a una nave cinese il trasporto di componenti destinati a un programma nucleare. La valutazione, poi risultata falsa, ha portato le forze armate a preparare un'operazione di abbordaggio prima che ulteriori verifiche fermassero l'intervento.
Un'analisi errata trasformata in rapporto operativo
Secondo un'inchiesta della CNN basata su quattro fonti informate, un analista collegato al comando per le operazioni speciali avrebbe chiesto a uno strumento di intelligenza artificiale di combinare informazioni aperte e intelligence classificata sui segnali. Il sistema avrebbe identificato in modo errato il carico della nave, mentre l'AI sarebbe stata usata anche per confezionare il risultato nel formato di un rapporto standard.
Il documento è stato distribuito all'interno dell'apparato militare e ha innescato la pianificazione di un'intercettazione. Aeromobili erano già in volo e personale armato era pronto a intervenire quando i responsabili hanno approfondito l'origine dell'informazione e riscontrato che la conclusione non era supportata dai dati.
Il rischio della fiducia automatica
Il caso non descrive una decisione autonoma presa da una macchina, ma un errore prodotto da un sistema e trasferito in un processo umano ad alta criticità. La forma autorevole del rapporto e la velocità con cui è stato diffuso avrebbero contribuito a rendere la conclusione più credibile di quanto giustificato dalle evidenze.
Gli strumenti generativi possono elaborare grandi quantità di informazioni, ma possono anche creare collegamenti plausibili e falsi. In ambito intelligence, una risposta fluida non equivale a una valutazione verificata: fonti, passaggi logici e livello di confidenza devono restare controllabili da analisti indipendenti.
Controlli necessari nei processi critici
L'adozione dell'AI nelle strutture militari statunitensi procede rapidamente e, secondo le ricostruzioni disponibili, con strumenti e procedure non sempre uniformi tra comandi diversi. Questa frammentazione rende essenziali regole comuni sulla validazione, sulla tracciabilità delle fonti e sull'uso consentito dei modelli.
Nei processi capaci di produrre conseguenze operative, l'output dell'AI dovrebbe essere trattato come un'ipotesi da verificare, non come una prova. Servono revisione a più livelli, conferme da fonti indipendenti, registrazione dei prompt e dei dati utilizzati, oltre a meccanismi che impediscano a un contenuto non validato di assumere automaticamente il formato e l'autorità di un prodotto di intelligence definitivo.