Con provvedimento del 10 aprile 2025, n. 10130115, il Garante privacy ha sanzionato la società che gestisce il chatbot “Replika” e avviato un’ulteriore istruttoria per verificare il corretto trattamento dei dati personali effettuato dal sistema di AI alla base del servizio.
Come funziona il chatbot Replika
Replika è un chatbot sviluppato e gestito dalla società statunitense Luka Inc., basato su un sistema AI generativa.
Replika viene presentata come uno strumento in grado di migliorare l’umore e il benessere emotivo dell’utente, aiutandolo a comprendere i suoi sentimenti, a calmare l’ansia, a gestire lo stress e a migliorare le sue capacità di socializzazione. In sintesi, Replika genera un compagno virtuale che l’utente può decidere di configurare come amico, terapeuta o partner romantico.
Replika utilizza un LLM (Large Language Model) che viene costantemente alimentato e si perfeziona grazie all’interazione con gli utenti. In particolare, quando un utente invia un messaggio, il modello analizza il testo per consentire al chatbot di generare una risposta basata sulle ultime conversazioni. Come ammesso dalla stessa società sviluppatrice, viene altresì utilizzato un database che contiene tutte le informazioni inviate attraverso le chat per creare dati “de-identificati” e perfezionare il modello.
La parte del database utilizzata come fonte per creare questi dati include informazioni relative alle reazioni e ai feedback degli utenti, oltre ad alcuni frammenti delle conversazioni che forniscono un contesto per l’interpretazione di reazioni e feedback.
L’istruttoria avviata dal Garante italiano
Il Garante ha avviato un’istruttoria d’ufficio rilevando che il trattamento dei dati personali nell’ambito del chatbot Replika potesse dare luogo ad una violazione GDPR, con particolare riferimento agli obblighi previsti in materia di trasparenza, all’assenza nella privacy policy di un’indicazione puntuale delle basi giuridiche del trattamento, all’assenza di un qualsiasi filtro per la verifica dell’età degli utenti e alla proposizione, attraverso il chatbot, di contenuti in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti fragili (artt. 5, 6, 8, 9 e 25 del GDPR).
In seguito alle richieste formulate in via cautelare dal Garante, la società ha comunicato di essersi prontamente attivata, soprattutto implementando misure più rigorose per la verifica dell’età degli utenti. La società si è difesa dichiarando, tra l’altro, di basarsi sul legittimo interesse per l’uso dei dati a fini di addestramento del modello e di aver adottato misure volte a prevenire contenuti inappropriati.
In particolare, la società ha affermato di utilizzare un set di dati open-source specificamente progettati e messi a disposizione della comunità di ricerca sull’AI allo scopo di migliorare la sicurezza e la solidità dei modelli e di aver sviluppato anche specifici filtri per riconoscere parole chiave, frasi e modelli associati a comportamenti dannosi, come l’autolesionismo, le offese o l’omicidio. Grazie a questi filtri, l’LLM che sta alla base di Replika si attiverebbe per rispondere in modo appropriato, ad esempio cambiando l’argomento della conversazione o fornendo agli utenti risorse di auto-aiuto.
Il provvedimento del Garante
Nonostante le misure correttive attuate dalla società statunitense, il Garante ha accertato, tra le altre cose, che la privacy policy non conteneva l’individuazione granulare della base giuridica sottesa alle varie operazioni di trattamento, con conseguente impossibilità di individuare e valutare l’idoneità delle basi giuridiche stesse.
Con riferimento agli obblighi di trasparenza, l’Autorità ha ritenuto che l’informativa non fosse nemmeno di facile reperibilità, essendo disponibile solo in lingua inglese (anche per i minori).
Rispetto all’uso dei dati per lo sviluppo dell’LLM, l’Autorità ha rilevato che l’informativa non indicava né le finalità né le basi giuridiche delle due distinte tipologie di trattamento effettuate, cioè il trattamento finalizzato all’interazione con il Chatbot e quello finalizzato allo sviluppo del modello. Peraltro, ha ricordato il Garante, anche laddove la società avesse voluto ricorrere al legittimo interesse come base giuridica per la finalità di sviluppo, avrebbe dovuto specificarlo e, prima ancora, svolgere e argomentare gli esiti del cd. “triplice test”, volto ad accertare la necessità del trattamento, l’effettiva legittimità dell’interesse e il bilanciamento con i diritti degli interessati.
Per questi motivi, il Garante ha inflitto alla società statunitense una sanzione di 5 milioni di euro, riservandosi di avviare un procedimento autonomo per verificare la liceità dei trattamenti di dati personali effettuati lungo l’intero ciclo di vita del sistema di AI generativa alla base del chatbot Replika, con particolare riferimento alla corretta individuazione delle basi giuridiche applicabili.
Ilaria Feriti