
The episode discusses a case in Brazil where a lawyer attempted to manipulate an AI judge through prompt injection, highlighting the risks and implications of such actions in legal contexts.
Un avvocato prova a “ipnotizzare” l’LLM del tribunale infilando istruzioni invisibili (bianco su bianco) dentro un atto: quando il giudice chiede un riassunto, il modello esegue anche i comandi nascosti e produce un’analisi distorta. Qui non c’è magia: è prompt injection applicata a un contesto ad altissimo impatto, dove un riassunto sbagliato può influenzare decisioni, tempi e responsabilità. Il punto chiave è strutturale: per molti modelli linguistici tutto ciò che entra nel contesto è testo “allo stesso livello”, quindi contenuto e istruzioni diventano indistinguibili. È la versione operativa del problema descritto dall’esperimento della “stanza cinese” di John Searle: manipolazione di simboli senza comprensione semantica e senza un confine affidabile tra “documento” e “comando”. Per questo la prompt injection non è solo un bug: è un pattern che riappare in PDF, email, browser, strumenti di sviluppo e workflow aziendali. La conseguenza pratica è una nuova superficie d’attacco: non vieni colpito tu, viene colpito l’assistente che legge al posto tuo. Se l’abitudine diventa “non leggo l’originale, leggo il riassunto”, allora ogni catena documentale si porta dietro un terzo attore…
Explore listener stats, chart rankings, contacts and more on the Ciao, Internet! con Matteo Flora podcast page.