Perché un'IA che ascolta chi è in pericolo deve sbagliare dalla parte della prudenza

Chi progetta un sistema di intelligenza artificiale sceglie, consapevolmente o no, quale errore preferisce fare. In un motore di raccomandazione di film, sbagliare in un verso o nell'altro costa poco. In una conversazione con una persona che subisce violenza o che sta pensando di farsi del male, i due errori non pesano allo stesso modo.

• Sopravvalutare il rischio significa fare una domanda in più, mostrare un numero di emergenza che non serviva. Si corregge.
• Sottovalutare il rischio significa rispondere con leggerezza a qualcuno che stava chiedendo aiuto nel solo modo in cui riusciva. Può non correggersi più.

Da questa asimmetria discendono quattro regole di progettazione.

Regola 1. Capire come scriviamo davvero quando stiamo male #

Chi ha paura non scrive frasi complete. Scrive «ho pura», manda tre messaggi di due parole, sbaglia gli accenti, usa abbreviazioni, scrive in fretta perché qualcuno potrebbe entrare nella stanza. Un sistema che riconosce il pericolo solo nelle frasi ben scritte è un sistema che fallisce proprio con chi ne ha più bisogno.

Per questo i messaggi vanno ricomposti prima di essere valutati: correggere il significato (non la persona), unire i frammenti, leggere le sfumature come «per ora» o «stasera», che dicono che un pericolo è solo rimandato.

Regola 2. Due valutazioni indipendenti, vince la più alta #

I modelli linguistici capiscono le sfumature molto meglio delle regole scritte a mano. Ma non sono deterministici e possono sbagliare. Dopo la causa intentata nel 2025 dalla famiglia di un adolescente morto suicida, OpenAI ha riconosciuto pubblicamente che il suo sistema «può diventare meno affidabile nelle interazioni lunghe» e che parti dell'addestramento sulla sicurezza possono indebolirsi in quei casi.¹

La soluzione non è rinunciare ai modelli, ma non affidare a loro soli la decisione. Su ogni messaggio possono ragionare due sistemi: regole fisse, che riconoscono sempre un insieme di frasi di pericolo verificate, e un modello linguistico che coglie il contesto. Il livello finale è sempre il più alto dei due: il modello può alzare il rischio, mai abbassarlo. E se il modello non risponde, le regole restano.

Regola 3. Non dimenticare #

«Ok ora sto meglio» è una frase che chiunque lavori con persone in crisi ha imparato a non prendere alla lettera. Può essere vera. Può anche voler dire che la persona non può più parlare, che qualcuno è rientrato, o che vuole chiudere la conversazione. Un pericolo emerso in una conversazione non si cancella con un messaggio rassicurante: il livello di attenzione resta alto e i contatti di emergenza restano visibili.

Regola 4. Portare sempre all'aiuto umano #

L'American Psychological Association raccomanda che gli strumenti digitali abbiano percorsi di crisi testati e mostrino contatti immediati con servizi gestiti da persone.² Anche nel primo studio clinico su un chatbot terapeutico, i ricercatori erano pronti a intervenire e l'app offriva un pulsante per chiamare i soccorsi davanti ai contenuti più gravi.³ In Italia i riferimenti sono chiari: 112 per le emergenze, 1522 per violenza e stalking.

Prudenza non vuol dire allarmismo. Una risposta prudente è calma, breve, fa una sola domanda per capire quanto è urgente, e lascia i numeri a portata di mano senza imporli.

Come mettiamo alla prova queste regole #

Su Parlami queste regole si chiamano Doppio Cervello. Ogni versione deve riconoscere sempre 609 frasi di riferimento, anche riscritte con errori e spezzate in più messaggi, e una nuova versione non può peggiorare nulla rispetto alla precedente: l'ultima ha superato 5.239 controlli automatici. Lo raccontiamo nel dettaglio in come mettiamo alla prova Parlami.

I controlli automatici però dicono solo che il sistema fa quello che abbiamo deciso. Se le decisioni sono giuste lo diranno le prove con psicologi e operatrici dei centri antiviolenza, già in preparazione. Puoi vedere il ragionamento in azione nella pagina principale.

Un esempio, passo per passo #

Immagina questa sequenza di messaggi, scritti a pochi secondi di distanza:

«ciao» · «ho pura» · «che torni stasera» · «si per ora» · «ok ora sto meglio»

1. «ho pura»: preso da solo non significa nulla. Ricostruito, è quasi certamente «ho paura». Il sistema corregge il significato senza correggere la persona.
2. «che torni stasera»: unito al precedente diventa «ho paura che torni stasera». C'è una persona che fa paura e un orario vicino.
3. Doppio controllo: le regole fisse segnalano rischio alto; il modello linguistico potrebbe dire moderato. Si tiene il livello più alto.
4. «si per ora», in risposta a «sei al sicuro?»: il pericolo è rimandato, non passato. Il livello resta alto, compaiono 112 e 1522.
5. «ok ora sto meglio»: la risposta resta calma, ma i numeri restano visibili e l'attenzione non scende.

Puoi vedere una versione animata di questo ragionamento nella pagina principale.

Il costo della prudenza, e come contenerlo #

Un sistema prudente sbaglia qualche volta per eccesso. Il rischio è l'effetto «allarme continuo», che porta le persone a ignorare gli avvisi o ad abbandonare lo strumento. Per contenerlo:

• una sola domanda alla volta, semplice, per capire l'urgenza;
• nessun elenco lungo di numeri e consigli nel momento sbagliato;
• tono calmo, che non spaventa e non giudica;
• i contatti restano visibili senza essere ripetuti in ogni messaggio.

Errori di progettazione da evitare #

Errore	Perché è pericoloso
Valutare ogni messaggio da solo	Il pericolo spesso emerge solo unendo più messaggi
Fidarsi solo del modello linguistico	Può cambiare giudizio sullo stesso testo e calare di affidabilità nelle conversazioni lunghe
Abbassare il rischio a fine conversazione	«Sto meglio» può voler dire «non posso più scrivere»
Provare il sistema solo su frasi corrette	Chi ha paura scrive con errori, abbreviazioni, frasi spezzate
Nessun piano se il modello non risponde	Un guasto non deve mai togliere i contatti di emergenza

Cosa resta umano #

Nessuna regola di progettazione sostituisce le persone. La prudenza di un sistema serve a una cosa sola: far arrivare in tempo chi ha bisogno a chi può davvero aiutare, cioè operatrici, psicologi, forze dell'ordine, servizi di emergenza. Ne parliamo in intelligenza artificiale e violenza di genere: come può aiutare, e dove deve fermarsi.

Leggi anche: chatbot e salute mentale: cosa dicono gli studi; intelligenza artificiale e violenza di genere.

Nota di verifica. Dati, norme e studi letti il 14 novembre 2026 sulle fonti elencate. Statistiche e leggi cambiano: per decisioni che ti riguardano rivolgiti ai servizi indicati o a un professionista.

Domande frequenti

Cosa vuol dire che un'IA deve «sbagliare dalla parte della prudenza»?

Che quando non è sicura, deve considerare la situazione più grave tra quelle possibili. Un falso allarme si corregge con una domanda in più; un pericolo non visto può avere conseguenze gravi. Per questo il livello di rischio non deve mai essere abbassato da un solo segnale rassicurante.

Perché non basta un modello linguistico per valutare il rischio?

Perché i modelli linguistici sono molto bravi a capire le sfumature ma non sono deterministici: possono valutare lo stesso testo in modo diverso, e la loro affidabilità può calare nelle conversazioni lunghe. Affiancarli a regole fisse, che riconoscono sempre le frasi di pericolo, e tenere il più alto dei due giudizi riduce il rischio di non vedere un'emergenza.

Un sistema troppo prudente non rischia di allarmare inutilmente?

Sì, ed è un equilibrio da progettare. Prudenza non vuol dire allarmismo: vuol dire non togliere mai i contatti di aiuto quando sono serviti, fare una domanda semplice per capire l'urgenza e mantenere un tono calmo.

Un chatbot generico è adatto a chi è in pericolo?

Non è progettato per questo. La sua gestione delle crisi è definita imprevedibile dall'American Psychological Association. In pericolo, il riferimento resta il 112; per violenza e stalking il 1522, gratuito e attivo 24 ore su 24.

Come si capisce se uno strumento di IA è prudente?

Chiedendo come si comporta quando il modello non risponde, se il livello di rischio può scendere da solo durante la conversazione e su quante frasi reali, con errori e frammenti, è stato provato.

Tutte le domande frequenti

Questo articolo ha scopo informativo e non sostituisce il parere di un professionista. Se sei in pericolo chiama il 112; per violenza e stalking il 1522 è gratuito, attivo 24 ore su 24.

Prossimo articoloDeepfake e violenza digitale: cosa dice la legge e come difendersi>