Allucinazioni LLM: Analisi del 47% di Font Inventati da ChatGPT

"L'intelligenza artificiale non mente perché vuole ingannarci, ma perché è programmata per completare un discorso, non per dire la verità."

Perché i modelli linguistici di grandi dimensioni (LLM) presentano falsità con tale sicurezza e come possiamo ricostruire la fiducia in queste tecnologie?

Ecco i punti chiave di questa analisi: * L'allucinazione è la generazione di informazioni fattualmente errate ma presentate in modo estremamente plausibile. * Il problema nasce dalla natura probabilistica della generazione del testo, non da un database di fatti.

* La tecnica RAG (Retrieval-Augmented Generation) rappresenta oggi la principale difesa tecnica contro le informazioni false. * I leader del settore stanno sviluppando modelli con barriere di sicurezza integrate per ridurre questi errori.

Che cos'è esattamente l'allucinazione di un LLM?

Siedo alla scrivania con il caffè in mano e guardo uno schermo che riporta una citazione storica apparentemente perfetta, ma che non esiste in nessun archivio.

Secondo un sondaggio condotto dalla Sentio University nel 2025, circa il 48,7% degli intervistati ha riportato esperienze legate all'uso di questi modelli.

L'allucinazione si verifica quando un modello produce contenuti che sembrano corretti e logici, ma che sono del tutto inventati. Non si tratta di un errore di battitura, ma di una creazione di realtà parallela che segue le regole grammaticali.

In uno studio che ha analizzato i riferimenti bibliografici generati da ChatGPT-3.5, è emerso che il 47% delle fonti citate era completamente fabbricato. Questo dimostra come il modello possa inventare nomi di autori e titoli di libri che suonano veritieri.

La natura di questi output è ingannevole. Spesso i rilevatori di plagio assegnano punteggi di originalità del 100% a testi generati, proprio perché il contenuto è nuovo e mai visto prima, pur essendo falso.

Il confronto con l'essere umano è complesso. Alcune ricerche hanno mostrato che i ricercatori scientifici hanno identificato abstract errati con una frequenza del 68%, indicando che la capacità umana di distinguere la verità dalla finzione non è sempre superiore a quella del modello.

Come funziona il meccanismo dell'allucinazione?

Guardo il cursore che lampeggia sul monitor, aspettando che la macchina completi la frase successiva come se stesse pensando.

Il motivo tecnico risiede nella generazione probabilistica. Gli LLM non consultano un archivio di fatti verificati ogni volta che rispondono; essi predicono semplicemente il token (l'unità di testo) più probabile che debba seguire quello precedente.

Esiste una distinzione tra memorizzazione e generazione. Le valutazioni sui modelli della serie GPT-2 hanno mostrato che la quantità di dati memorizzati dal set di addestramento varia: si è registrato oltre l'1% per duplicati esatti o fino a circa il 7% in alcuni casi.

Questo crea un divario tra capacità linguistica e precisione fattuale. Ad esempio, il modello GPT-4 ha raggiunto un'accuratezza del 71% in determinati test, ma è rimasto comunque al di sotto dei fact-checker umani.

Il problema non riguarda solo il testo. Le fallacie si manifestano anche in altri ambiti, come nei casi in cui sistemi di visione artificiale identificano erroneamente oggetti in immagini, portando a errori di interpretazione multimodale.

Quali sono le soluzioni tecniche attuali?

Sposto i documenti sulla scrivania per fare spazio a un nuovo quaderno, cercando di pianificare come integrare i nuovi strumenti nel mio flusso di lavoro.

La prima grande difesa è la RAG (Retrieval-Augmented Generation). Invece di affidarsi solo alla memoria interna, il sistema cerca informazioni in fonti esterne e verificate prima di generare la risposta, ancorando il testo a dati reali.

Un altro approccio riguarda il perfezionamento del modello. I nuovi sviluppi, come quelli visti nei modelli di Anthropic, riportano tassi di allucinazione ridotti rispetto alle versioni precedenti grazie a un addestramento più rigoroso.

Le barriere di sicurezza sono fondamentali. I produttori stanno implementando protezioni che rendono i modelli più resistenti ai tentativi di manipolazione (prompt injection) e più capaci di ammettere quando non conoscono una risposta.

Nonostante i progressi, i test di capacità rimangono variabili. Ad esempio, nei problemi di qualificazione per le Olimpiadi Internazionali di Matematica, il modello GPT-4o ha raggiunto solo il 13% di precisione, mentre il modello o1 è arrivato all'83%.

Oltre il testo: i modelli possono migliorare radicalmente?

Osservo il tramonto fuori dalla finestra e mi chiedo se un giorno potremo fidarci ciecamente di ciò che leggiamo su uno schermo.

La ricerca si sta muovendo verso l'efficienza e la densità dei dati. Un esempio è il modello Chinchilla di DeepMind che, pur essendo addestrato principalmente su testo, è stato in grado di comprimere ImageNet al 43% delle sue dimensioni, superando le prestazioni di formati come PNG del 58%.

Questo suggerisce che modelli più efficienti e densi potrebbero essere meno inclini a errori casuali. L'efficienza non è solo una questione di velocità, ma di capacità di rappresentazione della realtà.

Bisogna però considerare i costi operativi. Ad esempio, i compiti di classificazione semplice eseguiti dai modelli consumano in media tra 0,002 e 0,007 Wh per ogni prompt. L'efficienza energetica è parte integrante dello sviluppo di modelli più stabili.

Le architetture si stanno evolvendo verso modelli generativi alternativi che privilegiano la verificabilità rispetto alla pura fluidità linguistica. L'obiettivo non è più solo parlare bene, ma parlare correttamente.

Come gestire l'affidabilità nel lavoro quotidiano

Per chi utilizza questi strumenti, la gestione del rischio è fondamentale. Non si tratta di smettere di usarli, ma di usarli con consapevolezza.

Ecco i passaggi suggeriti per mitigare il rischio di allucinazioni:

1. Verifica incrociata: Non accettare mai un dato numerico o una citazione senza averne cercato la fonte originale.
2. Utilizzo di RAG: Quando possibile, carica documenti specifici nel sistema per limitare il campo di generazione del modello.
3. Prompt di sistema: Istruisci il modello a rispondere "non lo so" se non è sicuro di un dato.
4. Analisi critica: Leggi l'output non come una verità assoluta, ma come una bozza da revisionare.

Quando ho iniziato a usare questi strumenti nel mio studio nel 2024, commettevo l'errore di fidarmi ciecamente di ogni paragrafo generato. Ho imparato che ogni numero deve essere verificato manualmente prima di essere inserito in un documento finale.

Queste tecniche permettono di trasformare uno strumento potenzialmente pericoloso in un assistente produttivo.