VEDI ANCHE 
Comunicato stampa del 19 maggio 2025
Provvedimento del 22 giugno 2023
Comunicato stampa del 3 febbraio 2023
Provvedimento del 2 febbraio 2023
 

- English version

[doc. web n. 10130115]

Provvedimento del 10 aprile 2025*
*In pendenza del giudizio di opposizione contro il provvedimento non è applicata la sanzione accessoria della pubblicazione dell’ordinanza ingiunzione

Registro dei provvedimenti
n.  232 del 10 aprile

IL GARANTE PER LA PROTEZIONE DEI DATI PERSONALI

NELLA riunione odierna, alla quale hanno preso parte il prof. Pasquale Stanzione, presidente, la prof.ssa Ginevra Cerrina Feroni, vicepresidente, il dott. Agostino Ghiglia e l’avv. Guido Scorza, componenti, e il dott. Claudio Filippi - Segretario generale reggente;

VISTO il Regolamento (UE) 2016/679 del Parlamento europeo e del Consiglio, del 27 aprile 2016, relativo alla protezione delle persone fisiche con riguardo al trattamento dei dati personali, nonché alla libera circolazione di tali dati e che abroga la direttiva 95/46/CE (Regolamento generale sulla protezione dei dati personali, di seguito “Regolamento”);

VISTO il Codice in materia di protezione dei dati personali (d.lgs. 30 giugno 2003, n. 196), come modificato dal d.lgs. 10 agosto 2018, n. 101, recante disposizioni per l'adeguamento dell'ordinamento nazionale al citato Regolamento (di seguito “Codice”);

VISTO il Regolamento n. 1/2019 concernente le procedure interne aventi rilevanza esterna, finalizzate allo svolgimento dei compiti e all’esercizio dei poteri demandati al Garante per la protezione dei dati personali, approvato con deliberazione n. 98 del 4 aprile 2019, pubblicato in G.U. n. 106 dell’8 maggio 2019 e in www.gpdp.it, doc. web n. 9107633 (di seguito “Regolamento del Garante n. 1/2019”);

VISTA la documentazione in atti;

VISTE le osservazioni formulate dal segretario generale ai sensi dell’art. 15 del Regolamento del Garante n. 1/2000;

RELATORE l’avv. Guido Scorza;    

1.    INTRODUZIONE 

Il procedimento ha avuto origine da una attività istruttoria avviata d’ufficio dall’Autorità a seguito della pubblicazione di notizie stampa e di accertamenti preliminari condotti sul servizio Replika (https://replika.com/), un chatbot con interfaccia scritta e vocale, sviluppata e gestita dalla società statunitense Luka Inc. (d’ora in poi “Luka” o la “Società”) e basata su un sistema di intelligenza artificiale generativa.

Replika viene presentata come un chatbot in grado di migliorare l’umore ed il benessere emotivo dell’utente, aiutandolo a comprendere i suoi pensieri ed i suoi sentimenti, a tenere traccia del suo umore, ad apprendere capacità di coping (ossia controllo dello stress), a calmare l’ansia ed a lavorare verso obiettivi come il pensiero positivo, la gestione dello stress, la socializzazione e la ricerca dell’amore. Replika genera un “compagno/a virtuale” che l’utente può decidere di configurare come amico/a, terapista, partner romantico o mentore. 

Replika utilizza un sistema di LLM (Large Language Model) che viene costantemente alimentato e si perfeziona attraverso l’interazione con gli utenti.

Ai fini del presente provvedimento, per “intelligenza artificiale generativa” si intende il campo dell’intelligenza artificiale che si concentra sulla creazione di contenuti nuovi e originali rispetto ai dati di input in risposta alle richieste (prompt) dell’utente, attraverso l’utilizzo di algoritmi prevalentemente di tipo neurale. Per “rete neurale” si intende un modello computazionale standard applicabile nei contesti più diversificati che permette il riconoscimento di oggetti, forme o pattern all’interno di un dato o un insieme di dati (ad esempio, un volto umano in una fotografia). Gli algoritmi di intelligenza artificiale generativa sono impiegati in una vasta gamma di applicazioni, tra cui il riconoscimento e la generazione di immagini, di tracce vocali o musicali, di testi e di video.

Un esempio di intelligenza artificiale generativa sono i modelli linguistici di grandi dimensioni (Large Language Models). Ai fini del presente provvedimento per “Large Language Model” si intende un modello probabilistico di un linguaggio naturale, come la lingua inglese o italiana, che si fonda sull’assunto per cui tutti i linguaggi naturali sono fortemente ridondanti e correlati; da ciò deriva la capacità del LLM di individuare la parola o il simbolo che, probabilisticamente, sono immediatamente successivi ad un determinato dato.

Alla luce dei predetti elementi il Garante ha avviato un’istruttoria ex officio rilevando che il trattamento dei dati personali da parte di Luka nell’ambito del servizio Replika potesse dare luogo ad una violazione della normativa in materia di dati personali con particolare riferimento: alla policy privacy ed agli obblighi previsti in materia di trasparenza; all’assenza nella privacy policy di una indicazione puntuale delle basi giuridiche del trattamento in relazione alle varie operazioni di trattamento effettuate; alla base giuridica del trattamento dei dati personali dei minori dovendosi escludere che, in questo caso, potesse essere individuata nell’esecuzione di un contratto; all’assenza di un qualsivoglia filtro per la verifica dell’età degli utenti, sia in fase di accesso al servizio (mediante registrazione dell’account) sia durante l’interazione con il chatbot; alla proposizione, attraverso il chatbot, di contenuti in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili.

In tale quadro, il 2 febbraio 2023, rilevato che il trattamento dei dati personali da parte di Luka nell’ambito del servizio Replika potesse dare luogo alla violazione degli artt. 5, 6, 8, 9 e 25 del Regolamento e presentasse concreti rischi per i minori d’età, anche in ragione della proposizione di risposte in contrasto con le tutele rafforzate da assicurare ai minori ed ai soggetti vulnerabili, il Presidente dell’Autorità ha adottato nei confronti di Luka, ex art. 5, comma 8, del regolamento del Garante n. 1/2000, un provvedimento d’urgenza (n. 39/2023, prot. n. 18321/23) di limitazione provvisoria del trattamento dei dati personali degli interessati stabiliti nel territorio italiano, ai sensi dell’art. 58, par. 2, lett. f), del Regolamento.

Successivamente, con il provvedimento n. 280 del 22 giugno 2023 (prot. n. 104960/23), l’Autorità ha deliberato la sospensione del provvedimento n. 39/2023 di limitazione provvisoria a condizione che il titolare, ex art. 58, par. 2, lett. d) del Regolamento, adottasse misure idonee a garantire che le attività di trattamento dei dati personali nell’ambito del servizio Replika avvenissero in modo conforme alla normativa in materia di protezione dei dati personali. Segnatamente l’Autorità ha ingiunto al titolare di:

1.    presentare, a tutti gli utenti in Italia, prima della registrazione e prima dell’accesso al servizio Replika, una policy privacy aggiornata;

2.    implementare un meccanismo di age gate in tutte le pagine di registrazione ai servizi;

3.    implementare un “periodo di raffreddamento” (cooling-off period) volto ad evitare che i minorenni inseriscano una data di nascita diversa quando viene loro negato l’accesso ai servizi;

4.    predisporre, a favore degli utenti in Italia, la possibilità di esercitare in modo semplice ed efficace i propri diritti in materia di protezione dei dati personali, tra cui quello di opporsi al trattamento dei dati personali e di richiedere l’accesso, la rettifica e la cancellazione dei dati;

5.    sottoporre al Garante, quindici giorni prima della data prevista per l’apertura del servizio all’utenza italiana, un piano per lo sviluppo di un processo volto ad impedire l’accesso al servizio a soggetti di età inferiore ai 18 anni, eventualmente corredato da un meccanismo di analisi del linguaggio avente efficacia interdittiva successiva;

6.    sottoporre al Garante, quindici giorni prima della riapertura all’utenza italiana, un piano per l’implementazione di funzioni che consentano agli utenti di segnalare i contenuti inappropriati per evitare che il chatbot Replika li riproponga, quali, ad esempio, la possibilità di contrassegnare specifiche risposte come inappropriate e di fornire un feedback sull’esperienza dell’utente durante la sessione.

Il Garante ha indicato termini differenziati per l’attuazione delle sopra indicate prescrizioni, stabilendo che quelle di cui ai punti da 1 a 4 fossero integralmente adempiute non oltre il 28 luglio 2023, e che quelle di cui ai punti 5 e 6 fossero attuate entro quindici giorni dalla data di riapertura del servizio all’utenza italiana.

2.    LE RISPOSTE DI LUKA AI PROVVEDIMENTI NN. 39/2023 E 280/2023 

La Società, con nota del 3 marzo 2023 (prot. n. 38795/23), ha comunicato di essersi prontamente attivata per dar seguito alle richieste dell’Autorità, in particolare per adempiere alla richiesta di limitazione temporanea del trattamento per gli utenti stabiliti nel territorio italiano, inibendo tempestivamente l’accesso al servizio Replika dall’Italia, sia mediante l’app che mediante il proprio sito web.

Luka ha, inoltre, riferito di aver lanciato una serie di iniziative finalizzate a dare attuazione in modo concreto alle richieste del Garante, anche attraverso il coinvolgimento di consulenti esterni ed esperti di settore; in particolare, la Società ha dichiarato di aver avviato una serie di valutazioni, azioni e processi volti a:

-    implementare meccanismi di verifica dell’età degli utenti più solidi, in modo da rafforzare la garanzia che i minori in Italia non utilizzino il servizio “Replika”, servizio riservato a soggetti maggiorenni; oltre agli strumenti di age gate già in uso, la Società si è impegnata ad introdurre misure automatizzate finalizzate al riconoscimento di utenti minorenni sulla base dell’analisi di indicatori contenuti nelle conversazioni con il chatbot;

-    implementare algoritmi e processi adeguati ai fini della moderazione di contenuti inappropriati, secondo il migliore stato dell’arte;

-    assicurare la conformità al Regolamento mediante, inter alia, l’aggiornamento del registro delle attività di trattamento, la revisione e l’aggiornamento delle valutazioni di impatto sulla protezione dei dati (DPIA), nonché l’aggiornamento dell’informativa privacy relativa al servizio, al fine di aumentare il grado di trasparenza per gli utenti.

La Società, con nota del 31 marzo 2023 (prot. n. 55533/23), ha chiesto la revoca della misura correttiva della limitazione provvisoria disposta con il provvedimento d’urgenza n. 39/2023, specificando:

-    di aver progettato il servizio Replika in modo da limitare l’entità dei trattamenti di dati personali, conformemente ai principi di cui all’art. 5 del Regolamento, tra cui i) la minimizzazione della raccolta dei dati di registrazione degli utenti (nome, indirizzo email, data di nascita - per verificare l’età - ed eventuali dati del log-in di terze parti); ii) l’adozione di procedure di conservazione e cancellazione dei dati che realizzano un bilanciamento tra l’esigenza di fornire all’utente un’esperienza fluida e quella di minimizzare i dati personali che rimangono accessibili; iii) la progettazione di modelli di intelligenza artificiale (IA) proprietari per rispondere agli utenti; iv) la mancata condivisione delle conversazioni dell’utente con terzi diversi dai fornitori di servizi essenziali della Società, vincolati da obblighi di riservatezza; v) l’attuazione di rigidi controlli, progettati per limitare l’accesso ai dati personali da parte del proprio personale; vi) il non utilizzo delle conversazioni degli utenti per finalità pubblicitarie o di marketing; 

-    di non offrire il servizio a soggetti minorenni e di fondare il trattamento dei dati personali degli utenti sulla base giuridica dell’esecuzione contrattuale; 

-    di aver implementato, a seguito del provvedimento del Garante, numerose misure volte a impedire l’accesso dei minori al servizio in violazione dei termini della Società;

-    di aver inserito la propria applicazione mobile nell’App Store di Apple con una classificazione di età pari o superiore a 17 anni, che è la classificazione di età più alta consentita da Apple;

-    di non raccogliere categorie speciali di dati personali, atteso che la condivisione di categorie particolari di dati personali da parte degli utenti durante l’interazione con il chatbot, avviene spontaneamente e deve pertanto essere qualificata come coperta da un consenso esplicito al trattamento, in conformità con l’art. 9 del Regolamento;

-    di tenere in seria considerazione le proprie responsabilità in materia di protezione dei dati e di aver integrato la protezione dei dati nella progettazione del servizio, in conformità con l’art. 25 del Regolamento e di continuare a “sviluppare e migliorare le proprie politiche e procedure per fornire agli utenti un’esperienza coerente, sicura e gratificante”. 

Con specifico riferimento al provvedimento del Garante, la Società ha dichiarato:

-    di aver prontamente bloccato l’accesso al servizio Replika alle persone fisiche che si trovano in Italia;

-    di aver rafforzato le misure volte a prevenire l’accesso al servizio da parte di minori di 18 anni, in particolare mediante:  i) l’introduzione di un age gate in tutte le pagine di registrazione al servizio che prevede l’indicazione di una data di nascita maggiore o uguale a 18 anni per l’accesso al servizio; ii) la previsione di un “periodo di raffreddamento”, in linea con le indicazioni delle autorità per la protezione dei dati e con le migliori prassi, per evitare l’inserimento, da parte dei minorenni, di una data di nascita diversa quando il sistema nega l’accesso al servizio; iii) l’avvio di attività volte a migliorare i processi automatizzati per il controllo dei contenuti (segnalazione di individui verosimilmente minori di 18 anni e impedimento dell’utilizzo del servizio fino a alla verifica dell’età attraverso mezzi più solidi);

-    di aver aggiornato la propria privacy policy per risolvere le criticità di trasparenza individuate dal Garante;

-    di continuare a sviluppare e perfezionare le proprie prassi di moderazione dei contenuti per evitare danni agli utenti, in particolare mediante la creazione di un programma di fiducia e sicurezza per evitare che il chatbot sia coinvolto in conversazioni offensive o dannose;

-    di aver limitato l’accesso alle conversazioni a sfondo sessuale o relative ad altri contenuti per adulti agli utenti attivi alla data del 1° febbraio 2023, escludendo la disponibilità di tali tipologie di conversazioni ai nuovi utenti;

-    di continuare ad impegnarsi per assicurare la conformità al Regolamento mediante il supporto di un consulente esterno in materia di protezione dei dati personali. Gli impegni intrapresi dalla Società includono: i) l’aggiornamento e la tenuta del registro delle attività di trattamento della Società; ii) la revisione e l’aggiornamento delle valutazioni d’impatto sulla protezione dei dati (DPIA), che comprendono la documentazione dei processi di protezione dei dati by design e by default; iii) l’affinamento e la verifica delle politiche e delle procedure di sicurezza della Società; iv) la revisione della governance della Società in materia di protezione dei dati (compresa la possibilità di nominare un DPO in seguito all’espansione delle attività della Società nell’Unione europea).

La Società, con nota del 26 aprile 2023 (prot. 68896/23), ha presentato una seconda richiesta di revoca della misura correttiva della limitazione provvisoria disposta con il provvedimento d’urgenza n. 39/2023, ribadendo le misure adottate, come già illustrate nella nota precedente.

La Società, con nota del 14 giugno 2023 (prot. n. 93675/23), dando seguito a quanto discusso in occasione dell’audizione tenutasi il 31 maggio 2023, ha ribadito di aver dato riscontro tempestivo al provvedimento n. 39/2023, bloccando immediatamente l’accesso a Replika in Italia e di aver implementato adeguate misure in risposta alle questioni sollevate dall’Autorità nel citato provvedimento. La Società ha, inoltre, rappresentato il suo impegno ad interrompere la possibilità per gli utenti che si trovano in Italia di intraprendere conversazioni a sfondo sessuale, predisponendo, una volta riattivato, due versioni del servizio Replika: una versione gratuita ed una versione a pagamento contenente contenuti romantici, ma non sessuali. L’introduzione di una versione “romantica” a pagamento, secondo la Società, comporta un’ulteriore verifica dell’età basata sull’inserimento dei dati della carta di pagamento dell’utente, in linea con i più recenti standard di mercato per i meccanismi di age verification.

La Società, con nota del 14 luglio 2023 (prot. n. 109176/23), ha comunicato di aver adempiuto alle richieste di cui ai punti 1-6 del provvedimento n. 280/23 e, in particolare, ha dichiarato:

1.    in relazione all’informativa di cui al punto 1 del provvedimento n. 280/23, di aver implementato una policy privacy aggiornata nel processo di registrazione e prima dell’accesso al servizio e che tale informativa sarebbe stata mostrata agli utenti italiani al momento della riattivazione del servizio;

2.    con riferimento al meccanismo di age gate di cui al punto 2 del provvedimento n. 280/23, di aver implementato un sistema di verifica dell’età in tutte le pagine di registrazione e che tale sistema sarebbe stato applicato al momento della riattivazione del servizio;

3.    con riferimento al cooling-off period di cui al punto 3 del provvedimento n. 280/23, di aver implementato un periodo di raffreddamento per impedire ai minori di tentare nuovamente di accedere al servizio inserendo una data di nascita diversa. Tale periodo - della durata di 24 ore - è previsto che venga gestito mediante riconoscimento delle credenziali dell’account di un utente minorenne e conseguente inibizione all’inserimento di una data di nascita diversa e ii) mediante installazione di un cookie idoneo ad impedire agli utenti minorenni di inserire nuovamente una data di nascita diversa dallo stesso browser. La Società ha dichiarato che tale periodo di raffreddamento sarebbe stato applicato al momento della riattivazione del servizio;

4.    quanto all’esercizio dei diritti di cui al punto 4 del provvedimento n. 280/23, di fornire agli utenti un metodo semplice ed efficace per esercitare i propri diritti in materia di protezione dei dati, tra cui il diritto di opporsi al trattamento dei propri dati personali ed i diritti di richiedere l’accesso, la rettifica e la cancellazione dei propri dati e che tale meccanismo sarebbe stato applicato al momento della riattivazione del servizio;

5.    in merito alla richiesta di predisporre un piano per lo sviluppo di un meccanismo di age verification in fase di registrazione di cui al punto 5 del provvedimento n. 280/23, di aver implementato dei processi per impedire l’accesso ai minori di 18 anni, tra cui un meccanismo di analisi linguistica che richiede agli utenti di riconfermare la propria età attraverso il processo di age gate quando gli utenti si identificano come minori di 18 anni. in mancanza di una data di nascita che soddisfi l’age gate, l’utente non può accedere al servizio. La Società ha dichiarato che tali processi sarebbero stati applicati in Italia al momento della riattivazione del servizio;

6.    in merito alla richiesta di predisporre un piano per lo sviluppo di un meccanismo di age verification durante l’utilizzo del servizio di cui al punto 6 del provvedimento n. 280/23, di aver implementato delle funzioni che consentono agli utenti di segnalare contenuti inappropriati per evitare che il chatbot Replika li riproponga, come, ad esempio, la possibilità di contrassegnare specifiche risposte come inappropriate e di fornire feedback sull’esperienza dell’utente durante la sessione. La Società ha dichiarato che tali funzioni sarebbero state applicate in Italia al momento della riattivazione del servizio.

Luka ha prodotto, unitamente alla nota del 14 luglio 2023, copia della privacy policy aggiornata al 12 giugno 2023.

3. ATTIVITÀ ISTRUTTORIA  

Parallelamente all’adozione del provvedimento cautelare, l’Autorità ha proceduto all’acquisizione degli elementi ritenuti necessari per lo svolgimento dell’istruttoria tramite una richiesta di informazioni, ai sensi degli articoli 58, par. 1, lett. e), del Regolamento e 157 del Codice.

Con nota del 6 aprile 2023 (prot. n. 58925/23), il Garante ha inviato una richiesta di informazioni a Luka chiedendo chiarimenti in merito al funzionamento di Replika (categorie di dati personali trattati e fonte da cui sono raccolti; metodologia applicata per la raccolta; modalità di trattamento dei dati raccolti; luogo di conservazione dei dati; misure di sicurezza adottate; trattamento dei dati degli utenti per finalità di addestramento del sistema ovvero per altre finalità perseguite da Luka), al trattamento dei dati personali degli utenti (base giuridica; periodo di conservazione; età minima per accedere al servizio fornito da Replika; DPIA; nomina di un rappresentante ex art 27 del Regolamento; procedure di gestione dei diritti di cui all’articolo 12–22 del Regolamento; base giuridica e garanzie di adeguatezza di cui al Capo V del Regolamento, laddove applicabili; chiarimenti in ordine ai trattamenti automatizzati ai sensi dell’art. 22 del Regolamento), e alle misure di age verification per l’accesso al servizio alla data di notificazione del provvedimento d’urgenza n. 39/23.

Rispetto a tale richiesta, con nota dell’8 maggio 2023 (prot. n. 74173/23), la Società, dopo aver preliminarmente sostenuto di avere uno stabilimento unico nell’Unione europea nei Paesi Bassi, ha rappresentato:

-    di utilizzare i messaggi e i contenuti che l’utente invia al chatbot per consentire le conversazioni di quell’utente (il “Chatbot Interaction”). Con riferimento al Chatbot Interaction, il contenuto del database può includere le informazioni di base del profilo, gli argomenti di conversazione, le domande che l’utente può porre e le preferenze o gli interessi selezionati. Quando un utente invia un messaggio, il modello analizza il testo per consentire al chatbot di generare una risposta basata sugli ultimi messaggi della conversazione. La Società ha altresì specificato di utilizzare un database che contiene tutte le informazioni inviate attraverso la chat per creare dati de-identificati e perfezionare il modello LLM che costituisce la base del chatbot (“Sviluppo del Modello”). La parte del database utilizzata come fonte per creare dati de-identificati è limitata a: 1) le “Reazioni” degli utenti (“like”, “dislike”, “love”, “funny” “meaningless” o “offensive”), se l’utente sceglie di effettuare tale selezione; 2) i “Feedback” dei livelli di soddisfazione della conversazione degli utenti (“happy”, “neutral” o “sad”); 3) i “Frammenti” (Snippets), ovverosia piccole parti delle conversazioni degli utenti che forniscono un contesto per l’interpretazione delle Reazioni e dei Feedback. Le informazioni utilizzate dalla Società per lo Sviluppo del Modello non identificano individui specifici e non possono essere associate a individui specifici (“Dati De-identificati”) in quanto viene rimosso qualsiasi identificatore personale (come nomi, indirizzi, e-mail, numeri di telefono e numeri di identificazione) che possa essere contenuto nei frammenti di conversazioni ed i frammenti vengono “mescolati” in modo randomizzato;

-    di raccogliere tutti i dati personali sopra descritti dalla interazione degli utenti con il servizio;

-    di impiegare un sistema di raccolta (delle “Reazioni”, dei “Feedback” e dei “Frammenti”) ed elaborazione in tempo reale delle interazioni degli utenti con il chatbot utilizzando dei webhook, ovverosia degli strumenti automatizzati che catturano tali informazioni e le inviano ai server della Società;

-    di seguire, nel trattamento dei “Dati De-identificati” per lo Sviluppo del Modello, le seguenti fasi: 1) raccolta dei dati, come sopra illustrata; 2) pre-trattamento consistente nella pulizia, strutturazione ed eliminazione di qualsiasi dato di identificazione personale dai dati stessi, al fine di salvaguardare la privacy (attraverso tecniche di aggregazione e randomizzazione); 3) etichettatura dei dati pre-trattati; 4) analisi e sviluppo per valutare le prestazioni del modello LLM, identificare pattern e sviluppare filtri che impediscano al modello di produrre output con contenuti inappropriati; 5) test e validazione (test regolari e validazione rispetto a criteri predefiniti);

-    di conservare i dati personali su database criptati ospitati da Amazon Web Services, Inc. negli Stati Uniti;

-    di non utilizzare i dati personali forniti dagli utenti per lo Sviluppo del Modello;

-    di impiegare misure tecniche e organizzative per proteggere la sicurezza dei dati personali e dei “Dati De-identificati” da accessi, usi e divulgazioni non autorizzati. Tali misure comprendono crittografia, controlli degli accessi, gestione delle vulnerabilità, pre-trattamento e anonimizzazione di “Frammenti”, “Reazioni” e “Feedback”, formazione e possibili provvedimenti disciplinari in caso di mancata osservanza delle misure da parte del personale della Società;

-    di fare affidamento sulla base giuridica contrattuale per il “Chatbot Interaction” in quanto il trattamento dei dati degli utenti è necessario alla fornitura del servizio, conformemente a quanto previsto nei Termini di Servizio. Tale trattamento include la creazione e il mantenimento dei profili degli account degli utenti, la facilitazione dei pagamenti e delle transazioni e l’elaborazione dei dati inseriti dagli utenti per generare la risposta del chatbot;

-    di fare affidamento sulla base giuridica del legittimo interesse per lo “Sviluppo del Modello”;

-    di conservare i dati per “il tempo che ritiene ragionevolmente necessario per offrire agli utenti un’esperienza sicura, piacevole ed efficace sulla piattaforma”, nel rispetto del principio di minimizzazione;

-    di conservare i dati del “Chatbot Interaction” per “un periodo sufficiente a facilitare il richiamo delle informazioni per garantire agli utenti conversazioni senza interruzioni con il chatbot, in linea con le aspettative degli utenti”;

-    di conservare [senza ulteriori specificazioni, n.d.r.] i dati dell’utente per creare “Dati De-identificati” per lo “Sviluppo del Modello”;

-    che l’età minima richiesta per utilizzare il servizio Replika è 18 anni;

-    che non sussiste alcuna contraddizione tra il punto precedente e la statuizione contenuta nell’informativa sulla privacy della Società, che recita: “non raccogliamo consapevolmente Dati Personali da bambini di età inferiore a 13 anni. Se hai meno di 13 anni, ti invitiamo a non inviare alcun Dato Personale attraverso i Servizi”, in quanto tale dichiarazione è stata inserita in quanto obbligatoria ai sensi della legge federale statunitense (COPPA);

-    l’applicazione mobile di Replika prevedeva un age gate che impediva ai minori di 18 anni di accedere al servizio anche prima del provvedimento del Garante del 2 febbraio 2023. La Società ha inoltre inserito la propria applicazione nell’App Store di Apple con una classificazione di età pari o superiore a 17 anni, che è la classificazione di età più alta consentita da Apple;

-    tutti i contenuti per adulti sono stati collocati dietro un paywall, al di fuori della portata dei minorenni;

-    a seguito del provvedimento del 2 febbraio 2023, la Società ha volontariamente migliorato le misure volte a impedire ai soggetti minori di 18 anni di accedere al servizio;

-    di non aver nominato un rappresentante ai sensi dell’art. 27 del Regolamento in quanto la Società ha uno stabilimento nell’Unione europea;

-    quanto all’esercizio dei diritti degli interessati, le relative informazioni sono fornite attraverso una privacy policy pubblicata sul sito web della Società e nell’App. Accesso, rettifica e cancellazione possono essere richiesti dagli utenti, i quali possono altresì opporsi e limitare il trattamento di qualsiasi dato personale non necessario per la fornitura del servizio. Le richieste vengono valutate singolarmente;

-    di non effettuare alcuna attività di profilazione degli interessati né di assumere decisioni automatizzate che abbiano effetti giuridici o di analoga rilevanza;

-    di raccogliere direttamente i dati personali degli utenti e di non trasferirli dall’Italia o dall’Unione europea ai sensi del Capo V del Regolamento e di aver stipulato accordi per il trattamento dei dati con i responsabili del trattamento, che includono clausole contrattuali standard, ove richiesto;

-    ai fini del controllo dei contenuti, di aver addestrato i propri modelli in modo da evitare l’emersione e l’escalation di contenuti inappropriati ovvero di risposte inappropriate. Nell’ambito di questo processo, la Società utilizza set di dati open-source specificamente progettati e messi a disposizione della comunità di ricerca sull’intelligenza artificiale allo scopo di migliorare la sicurezza e la solidità dei modelli di apprendimento automatico. La Società ha anche sviluppato, e continua a perfezionare e migliorare, filtri che riconoscono parole chiave, frasi e modelli associati a comportamenti dannosi, come l’autolesionismo, l’insulto o l’omicidio. I filtri attivano il modello LLM affinché risponda in modo appropriato a tali contenuti, ad esempio cambiando l’argomento della conversazione o fornendo agli utenti risorse di auto-aiuto. La Società utilizza anche revisori umani sia nella valutazione del modello di IA che nello sviluppo dei filtri;

-    di utilizzare, per il controllo di contenuti inappropriati o contrari ai termini di servizio dell’applicazione, anche altri metodi tra cui: 1) collocare i contenuti cd. romantici dietro un paywall e disabilitare contenuti sessualmente espliciti per i nuovi utenti; 2) permettere agli utenti di segnalare in tempo reale determinati contenuti o conversazioni come offensivi e utilizzare tali segnalazioni per migliorare i modelli ed impedire che sviluppino contenuti simili in futuro; 3) vietare agli utenti, nei termini di servizio, di caricare contenuti illegali, dannosi e minacciosi.

Unitamente al riscontro dell’8 maggio, la Società ha prodotto copia della privacy policy in vigore il 2 febbraio 2023, la versione aggiornata della stessa datata 22 marzo 2023, nonché copia della valutazione di impatto (priva di data e sottoscrizione).

Con nota del 27 febbraio 2024 (prot. n. 23744/24) l’Autorità ha notificato alla Società l’atto di comunicazione di avvio del procedimento per l’adozione dei provvedimenti correttivi e sanzionatori ai sensi dell’art. 166, comma 5, del Codice e dell’art. 12 del Regolamento interno del Garante n. 1/2019, contestando a Luka la presunta violazione degli artt. 5; 6; 7; 8; 12; 13; 24; 25, par. 1, del Regolamento in relazione al trattamento dei dati personali effettuato dalla Società, attraverso il servizio Replika alla data del 2 febbraio 2023.

La Società non ha fornito riscontro alla nota di comunicazione di avvio del procedimento né ha chiesto di essere audita ex art. 166, comma 6, del Codice e art. 13 del regolamento del Garante n. 1/2019. 

Nell’atto di avvio del procedimento, che qui si intende integralmente ed espressamente richiamato, l’Autorità ha contestato alla Società tre violazioni sulla scorta delle criticità rilevate nel provvedimento d’urgenza n. 39/2023. L’analisi svolta dall’Autorità si è concentrata allo stato dei fatti, dei trattamenti e degli adempimenti posti in essere da Luka alla data del 2 febbraio 2023.

Con riferimento alla mancata individuazione della condizione di liceità del trattamento, l’Autorità ha rilevato come nel testo della privacy policy pubblicato alla data dell’adozione del provvedimento d’urgenza del Garante, aggiornato al 5 luglio 2022, non fosse stata individuata in modo granulare la base giuridica sottesa alle varie operazioni di trattamento effettuate dalla Società nell’ambito del servizio Replika. Il richiamo alle basi giuridiche dell’esecuzione di un contratto (art. 6, par. 1, lett. b), del Regolamento) e del consenso degli interessati (art. 6, par. 1, lett. a), del Regolamento) nonché il richiamo ad una generica autorizzazione (“autorizzazione”, non obbligo) di legge, non erano infatti riferiti, né riferibili, a specifiche operazioni di trattamento (cd. granularità), con conseguente impossibilità di individuare e valutare l’idoneità delle basi giuridiche stesse. Inoltre, dalla privacy policy datata 5 luglio 2022, vigente al 2 febbraio 2023, non emergeva alcun riferimento alla base giuridica sottesa al trattamento di dati personali finalizzato allo sviluppo del modello LLM che alimenta il chatbot, né dalla documentazione successivamente prodotta, segnatamente la privacy policy, anche nella versione aggiornata al 22 marzo 2023, e la DPIA,  emergevano elementi da cui far discendere la prova che la Società avesse individuato una base giuridica per tale fine in un momento anteriore al 2 febbraio 2023.

Alla luce di quanto sopra l’Autorità ha contestato a Luka la possibile violazione dell’art. 5, par. 1, lett. a) e dell’art. 6 del Regolamento per aver omesso di individuare, alla data del 2 febbraio 2023, le basi giuridiche delle varie operazioni di trattamento effettuate attraverso il servizio Replika.

Con riferimento agli obblighi di trasparenza la valutazione dell’Autorità ha riguardato la privacy policy in vigore alla data del 2 febbraio 2023, ovverosia la versione aggiornata al 5 luglio 2022. Da un punto di vista formale, l’Autorità, nell’atto di avvio del procedimento, ha rilevato che alla data del 2 febbraio 2023 la privacy policy era disponibile solo in lingua inglese (anche per i minori) e non risultava di facile reperibilità.  Dal punto di vista dei contenuti, è stato rilevato che alla data del 2 febbraio 2023 la privacy policy:

-    non riportava in corrispondenza delle attività di trattamento svolte ed alla tipologia di dati trattati alcuna indicazione circa la relativa base giuridica;

-    non indicava le finalità del trattamento con riferimento, in particolare alle due distinte tipologie di trattamento, ovverosia il trattamento finalizzato alla “Chatbot Interaction” e quello finalizzato allo “Sviluppo del Modello”; 

-    nelle sezioni “People mentioned in the chat” e “Integration with your Instagram account” venivano indicate due categorie di dati personali trattati al fine di permettere le conversazioni degli utenti; 

-    non chiariva che il servizio fosse offerto esclusivamente a soggetti maggiorenni atteso che, come sopra riportato, nella privacy policy era inserito unicamente un riferimento ai soggetti minori di 13 anni in adempimento alle prescrizioni imposte dal COPPA (Children's Online Privacy Protection Act);

-    non forniva alcuna puntuale indicazione in merito al periodo di conservazione dei dati personali ovvero ai criteri utilizzati per determinare tale periodo;

-    non chiariva se vi fosse un trasferimento dei dati personali al di fuori dello SEE e, nel caso, quale fossero la base giuridica e le garanzie di adeguatezza di cui al Capo V del Regolamento. In particolare, il testo della privacy policy (si veda, in particolare la dicitura “By using our services or providing us with any information, you consent to this transfer, processing, and storage of your information in the U.S.A., a jurisdiction in which the privacy laws may not be as comprehensive as those in the country where you reside or are a citizen” risulta in aperta contraddizione rispetto a quanto dichiarato dalla stessa Società nella nota dell’8 maggio 2023 (prot. n. 74173/23), ove si afferma che, non trovando applicazione il criterio dello stabilimento nell’Unione europea, non sarebbe configurabile alcun trasferimento di dati personali dall’Unione europea (segnatamente, dall’Italia) agli Stati Uniti d’America, ai sensi del Capo V del Regolamento;

-    nella sezione 6 titolata “Your data protection rights”, la privacy policy forniva specifiche informazioni in ordine al diritto di cui all’art. 22 del Regolamento, ancorché la norma non venisse espressamente richiamata. Tale riferimento (non più presente nella versione datata 22 marzo 2023), era in grado di far maturare nell’utente la convinzione che i suoi dati personali fossero oggetto di un processo decisionale automatizzato in violazione dei principi di trasparenza e correttezza. Tale circostanza è stata smentita dallo stesso titolare nella nota di riscontro (prot.74173/23), ove ha sostenuto che “sebbene il chatbot si affidi a processi automatizzati per generare risposte, i Servizi non prendono decisioni basate sulla profilazione che abbiano effetti giuridici o di analoga rilevanza ai sensi dell’articolo 22 del Regolamento”.

Alla luce di quanto sopra, l’Autorità ha contestato a Luka la possibile violazione dell’art. 5, par. 1, lett. a), 6, 12 e 13 del Regolamento atteso che, alla data del 2 febbraio 2023, la privacy policy relativa al servizio Replika risultava non conforme agli obblighi ed i principi generali in materia di trasparenza ed era fornita con modalità e tempi tali da non consentirne una pronta visione agli utenti.

Con riferimento, infine, all’assenza di meccanismi di verifica dell’età dei minorenni, l’Autorità ha contestato l’assenza di misure atte ad assicurare una specifica protezione ai minori in relazione all’accesso ed all’utilizzo del servizio Replika alla data del 2 febbraio 2023. In particolare, è stata rilevata l’assenza di:

-    una procedura di verifica dell’età dell’utente (il sistema richiedeva solo nome, e-mail e genere) con conseguente rischio di proposizione ai minori di risposte inidonee rispetto al loro grado di sviluppo ed autoconsapevolezza, tra cui contenuti sessualmente espliciti;

-    meccanismi di interdizione o blocco anche a fronte di dichiarazioni dell’utente che rendessero evidente la sua minore età, nonché la proposizione di risposte da parte del chatbot palesemente in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili.

L’Autorità, nell’atto di avvio del procedimento, ha dato atto del fatto che la Società ha implementato meccanismi di verifica dell’età a seguito della richiesta del Garante formulata nell’ambito del provvedimento di limitazione provvisoria, adottato d’urgenza il 2 febbraio 2023. In particolare, nel corso delle interlocuzioni che hanno fatto seguito all’adozione del suddetto provvedimento e con specifico riferimento al profilo dell’age verification, il titolare ha rappresentato di aver implementato un age gate su tutte le pagine di registrazione ai Servizi volto a limitare l’accesso ai soli utenti maggiorenni e che il meccanismo di verifica dell’età comprende un “periodo di raffreddamento” volto a impedire che l’utente, appurata l’impossibilità di accedere attraverso l’inserimento dei dati anagrafici reali, inserisca immediatamente una data di nascita diversa idonea a permettergli di accedere al servizio. La Società ha altresì rappresentato che era in corso di sviluppo un processo per utilizzare l’analisi del linguaggio al fine di individuare ed impedire l’utilizzo dei Servizi da parte di persone di età inferiore ai 18 anni.

Alla luce di quanto sopra, l’Autorità ha contestato a Luka la possibile violazione dell’art. 5, par. 1, lett. c), 6; 7; 8; 24 e 25, par. 1 del Regolamento per la mancata predisposizione di idonei sistemi atti a verificare l’età dei soggetti alla data del 2 febbraio 2023.

4. SUSSISTENZA DELLA GIURISDIZIONE EURO-UNITARIA E COMPETENZA DEL GARANTE

Preliminarmente l’Autorità ritiene opportuno affrontare i temi relativi all’applicabilità della normativa europea in materia di protezione dei dati personali al servizio offerto da Luka ed alla competenza del Garante tenuto anche conto delle eccezioni sollevate dalla Società in sede di riscontro datato 8 maggio 2023 alla richiesta di informazioni trasmessa dall’Autorità. 

L’art. 3 del Regolamento disciplina l’ambito di applicazione territoriale della normativa stabilendo criteri diversi a seconda che il titolare del trattamento sia o meno stabilito nel territorio dell’Unione europea. 

Nella prima ipotesi (art. 3, par. 1, cd. criterio dello stabilimento), il Regolamento si applica indipendentemente dal fatto che il trattamento sia effettuato nell’Unione e la competenza viene individuata in ossequio al meccanismo del cd. sportello unico (one-stop-shop), ai sensi dell’art. 56 del Regolamento stesso.

Nella seconda ipotesi (art. 3, par. 2, cd. criterio del targeting), il Regolamento si applica al trattamento dei dati personali di interessati che si trovano nell’Unione qualora le attività di trattamento riguardino: i) l’offerta di beni o la prestazione di servizi agli interessati nell’Unione (art. 3, par. 2, lett. a), del Regolamento); ii) il monitoraggio del comportamento di interessati che si trovano nell’Unione nella misura in cui tale comportamento abbia luogo nell’Unione stessa (art. 3, par. 2, lett. b), del Regolamento).

La Società ha affermato, nella nota sopra citata, di avere uno stabilimento unico nell’Unione europea nei Paesi Bassi, riferendo di avere “un gruppo di dipendenti situati nei paesi Bassi, tra cui numerosi responsabili decisionali coinvolti nel trattamento transfrontaliero dei dati per lo sviluppo dei LLM e del prodotto” e che “i dipendenti della Società situati nei Paesi Bassi sono coinvolti in decisioni che riguardano il trattamento dei dati personali da parte della Società e il funzionamento dei LLM a livello globale, comprese decisioni che riguardano la minima proporzione degli utenti situati in Italia”. Dall’esistenza di uno stabilimento olandese nell’Unione europea discenderebbe l’applicazione del meccanismo dello sportello unico (one-stop-shop) e la competenza, in veste di autorità di controllo capofila ed in cooperazione con le autorità interessate, dell’autorità olandese di protezione dei dati personali.

Tale affermazione non trova, tuttavia, alcun riscontro in atti. Infatti, sia nella privacy policy pubblicata sul sito web di Replika alla data del 2 febbraio 2023 (versione aggiornata al 5 luglio 2022) che nelle versioni successive della stessa (compresa quella attuale aggiornata al 23 febbraio 2024) non vi è alcun cenno ad uno stabilimento della Società nei Paesi Bassi; parimenti, nessuna menzione è rinvenibile nei termini di servizio (né nella versione aggiornata al 14 settembre 2022 che in quella attuale, aggiornata al 7 febbraio 2023), ove, anzi, si legge che Luka è “a software company who designed and built Replika, incorporated in Delaware, and operating in San Francisco, CA”.

Peraltro, le dichiarazioni di cui alla nota dell’8 maggio 2023 sono assolutamente generiche atteso che non vengono neppure indicate la denominazione e la ragione sociale della società che sarebbe stabilita nell’Unione europea (in tal modo rendendo impossibile qualsivoglia accertamento tramite assistenza reciproca con l’autorità di controllo olandese ai sensi dell’art. 61 del Regolamento) e non sono suffragate da alcuna prova documentale (ad es. atto costitutivo della società olandese o visura camerale).

Allo stato, pertanto, l’Autorità ritiene che non sia stato fornito alcun elemento che possa validamente dimostrare la sussistenza di uno stabilimento della Società nell’Unione europea con conseguente applicabilità del criterio dello stabilimento ex art. 3, par. 1, del Regolamento e del meccanismo dello sportello unico (one-stop-shop) a vantaggio dell’autorità di protezione dei dati personali olandese.

Nel caso di specie, la sussistenza della giurisdizione euro-unitaria e la competenza del Garante debbono essere accertati sulla base del criterio del targeting di cui al disposto dell’art. 3, par. 2, del Regolamento: nello specifico, occorre, dunque, preliminarmente valutare se il servizio Replika possa considerarsi offerto ad interessati che si trovano nell’Unione europea ai fini dell’applicabilità della lettera a) del citato art. 3 del Regolamento.

Al riguardo, si richiamano le “Guidelines 3/2018 on territorial scope”, adottate dall’European Data Protection Board (EDPB)  il 12 novembre 2019, le quali prevedono che il “titolare del trattamento… dimostr[i] la sua intenzione di offrire beni o servizi a un interessato che si trova nell’Unione” (cfr. par. 2 (a) delle Linee guida citate) ed la giurisprudenza della Corte di Giustizia dell’Unione europea (sentenza Pammer/Reederei Karl Schlüter GmbH & Co e Hotel Alpenhof/Heller - cause riunite C-585/08 e C-144/09), la quale ha indicato alcuni fattori in presenza dei quali può ritenersi che un’attività commerciale svolta da un soggetto sia diretta nei confronti di uno Stato membro, tra cui, la circostanza che l’Unione europea sia menzionata in riferimento al bene o al servizio offerto, la natura internazionale dell’attività oppure l’avvio di campagne pubblicitarie e di marketing rivolte al pubblico di un paese dell’UE.

Nel caso di specie, la prova che il servizio Replika fosse offerto ad interessati che si trovavano nell’Unione europea e, in particolare, in Italia alla data del 2 febbraio 2023, emerge “per tabulas” dal primo riscontro della Società all’ordine di limitazione provvisoria contenuto nel provvedimento d’urgenza del Garante n. 39/2023, ove si legge (cfr. nota del 3 marzo 2023, pag. 1) che “la Società ha provveduto tempestivamente a conformarsi alla richiesta di limitazione temporanea del trattamento per gli utenti stabiliti nel territorio italiano, inibendo tempestivamente l’accesso sia all’app che al sito web del servizio dall’Italia”.

Dimostrate nei modi e nei termini di cui sopra l’applicabilità territoriale del Regolamento e la competenza del Garante, si osserva quanto segue.

Il trattamento di dati personali posto in essere da Luka è qualificabile come trattamento transfrontaliero di dati personali ai sensi dell’art. 4, par. 1, n. 23 del Regolamento, in quanto idoneo ad incidere su interessati in più di uno Stato membro.

Per questa tipologia di trattamenti, laddove il titolare abbia individuato uno stabilimento, unico o
principale, nell’Unione europea, come già illustrato, trova applicazione il meccanismo di cooperazione descritto negli artt. 60 ss. del Regolamento e la competenza ad esercitare i compiti ed i poteri di cui agli artt. 57 e 58 del Regolamento è radicata, ai sensi dell’art. 56, par. 1, del Regolamento, in capo alla autorità di controllo capofila, ovverosia l’autorità di controllo dello Stato membro in cui si trova lo stabilimento unico o principale.

Qualora, al contrario, come nel caso di specie, non esista nel territorio europeo uno stabilimento del titolare del trattamento quest’ultimo dovrà “interfacciarsi con le autorità di controllo di ciascuno Stato membro in cui opera per il tramite del rappresentante designato” (cfr. par. 3.3. delle “Guidelines on the Lead Supervisory Authority” adottate dal Gruppo di Lavoro Articolo 29 il 13 dicembre 2016, revisionate il 5 aprile 2017 e fatte proprie dall’EDPB in data 25 maggio 2018).
Infatti, laddove un titolare non disponga di uno stabilimento nell’Unione europea (rectius nell’area SEE), la norma speciale di cui all’art. 56 non trova applicazione a favore della regola generale di cui all’art. 55, par. 1, del Regolamento secondo cui “ogni Autorità di controllo è compente ad eseguire i compiti assegnati ed a esercitare i poteri ad essa conferiti a norma del (…) regolamento nel territorio del rispettivo Stato membro”.

Nel caso in esame, come detto, Luka è una società con sede negli Stati Uniti d’America che non ha dimostrato di avere uno stabilimento nel territorio dell’Unione europea. Pertanto, l’autorità di protezione dei dati personali italiana è competente a valutare, con riguardo al proprio territorio, la conformità al Regolamento del trattamento di dati personali posto in essere dalla Società e ad esercitare i poteri ad essa riconosciuti dall’art. 58 del Regolamento.

5. LE VIOLAZIONI ACCERTATE

5.1 ARTT. 5, PAR. 1, LETT. A) E 6 DEL REGOLAMENTO

L’Ufficio ha contestato a Luka la violazione degli artt. 5, par. 1, lett. a) e 6 del Regolamento per non aver individuato, alla data del 2 febbraio 2023, le basi giuridiche delle varie operazioni di trattamento effettuate attraverso il servizio Replika, servizio offerto e disponibile al pubblico in Italia a tale data. 

L’art. 5, par. 1, del Regolamento prescrive che “i dati personali sono: a) trattati in modo lecito, corretto e trasparente nei confronti dell'interessato («liceità, correttezza e trasparenza»); b) raccolti per finalità determinate, esplicite e legittime, e successivamente trattati in modo che non sia incompatibile con tali finalità; un ulteriore trattamento dei dati personali a fini di archiviazione nel pubblico interesse, di ricerca scientifica o storica o a fini statistici non è, conformemente all’articolo 89, paragrafo 1, considerato incompatibile con le finalità iniziali («limitazione della finalità»); c) adeguati, pertinenti e limitati a quanto necessario rispetto alle finalità per le quali sono trattati («minimizzazione dei dati»); d) esatti e, se necessario, aggiornati; devono essere adottate tutte le misure ragionevoli per cancellare o rettificare tempestivamente i dati inesatti rispetto alle finalità per le quali sono trattati («esattezza»); e) conservati in una forma che consenta l'identificazione degli interessati per un arco di tempo non superiore al conseguimento delle finalità per le quali sono trattati; i dati personali possono essere conservati per periodi più lunghi a condizione che siano trattati esclusivamente a fini di archiviazione nel pubblico interesse, di ricerca scientifica o storica o a fini statistici, conformemente all’articolo 89, paragrafo 1, fatta salva l'attuazione di misure tecniche e organizzative adeguate richieste dal presente regolamento a tutela dei diritti e delle libertà dell'interessato («limitazione della conservazione»); f) trattati in maniera da garantire un'adeguata sicurezza dei dati personali, compresa la protezione, mediante misure tecniche e organizzative adeguate, da trattamenti non autorizzati o illeciti e dalla perdita, dalla distruzione o dal danno accidentali («integrità e riservatezza»)”. Il paragrafo 2 della stessa norma prevede che “Il titolare del trattamento è competente per il rispetto del paragrafo 1 e in grado di comprovarlo («responsabilizzazione»)”.

Il Considerando 39 chiarisce che “Qualsiasi trattamento di dati personali dovrebbe essere lecito e corretto. Dovrebbero essere trasparenti per le persone fisiche le modalità con cui sono raccolti, utilizzati, consultati o altrimenti trattati dati personali che le riguardano nonché la misura in cui i dati personali sono o saranno trattati. Il principio della trasparenza impone che le informazioni e le comunicazioni relative al trattamento di tali dati personali siano facilmente accessibili e comprensibili e che sia utilizzato un linguaggio semplice e chiaro. Tale principio riguarda, in particolare, l'informazione degli interessati sull'identità del titolare del trattamento e sulle finalità del trattamento e ulteriori informazioni per assicurare un trattamento corretto e trasparente con riguardo alle persone fisiche interessate e ai loro diritti di ottenere conferma e comunicazione di un trattamento di dati personali che le riguardano”.

L’art. 6 del Regolamento prescrive le condizioni di liceità del trattamento elencando le sei possibili basi giuridiche (consenso, contratto, obbligo di legge, interesse vitale, interesse pubblico, interesse legittimo) su cui il titolare deve fare affidamento per poter trattare lecitamente i dati personali necessari per lo svolgimento della propria attività. La base giuridica, come chiarito dall’EDPB, “deve essere individuata prima dell’attuazione del trattamento e deve essere specificata nelle informazioni fornite agli interessati conformemente agli articoli 13 e 14. (cfr. le Linea guida 2/2019 sul trattamento di dati personali ai sensi dell’articolo 6, paragrafo 1, lettera b), del regolamento generale sulla protezione dei dati nel contesto della fornitura di servizi online agli interessati”)”.

La Società non ha presentato scritti difensivi o documenti, ai sensi dell’art. 166, co. 5 del Codice, a seguito della notifica dell’atto di contestazione ed avvio del procedimento dell’Ufficio e dunque non ha fornito alcuna controdeduzione rispetto all’ipotesi di violazione relativa alla mancata indicazione della base giuridica per ciascuna delle attività di trattamento effettuate da Luka nell’ambito del servizio Replika.

Nel caso di specie, dagli atti istruttori, in particolare dal testo della privacy policy pubblicato alla data dell’adozione del provvedimento d’urgenza del Garante, aggiornato al 5 luglio 2022, emerge chiaramente che la Società non ha individuato in modo granulare la base giuridica sottesa alle varie operazioni di trattamento effettuate dalla Società nell’ambito del servizio Replika, tra cui quella per il trattamento dei dati utilizzati per lo sviluppo del modello LLM.

Gli unici riferimenti, nella parte introduttiva del testo in argomento, sono i seguenti: “We care about the protection and confidentiality of your data. We therefore only process your data to the extent that:

•    It is necessary to provide the Replika services you are requesting,

•    You have given your consent to the processing, or

•    We are otherwise authorized to do so under the data protection laws”.

Le basi giuridiche dell’esecuzione di un contratto (art. 6, par. 1, lett. b), del Regolamento) del consenso degli interessati (art. 6, par. 1, lett. a), del Regolamento) e di un’autorizzazione di legge (laddove, peraltro, il Regolamento prevede tra le basi giuridiche un obbligo di legge, non una mera autorizzazione), sono richiamate implicitamente e genericamente, non facendo riferimento a specifiche operazioni di trattamento (cd. principio di granularità), con la conseguente impossibilità di individuare e valutare l’idoneità delle stesse.

Infine, né dalla privacy policy né dalla documentazione in atti emergono riferimenti alla base giuridica sottesa al trattamento di dati personali finalizzato allo sviluppo del modello LLM che ha alimentato il chatbot alla data del 2 febbraio 2023.

Nello specifico, i riscontri forniti da Luka, sebbene pertinenti, non risultano dirimenti. In particolare, la DPIA e la privacy policy prodotte in data 8 maggio 2023, non consentono di superare i rilievi sollevati dall’Autorità in sede di contestazione con riferimento al principio di liceità ed alla base giuridica del trattamento, rispettivamente disciplinati dagli articoli 5, par.1, lett. a) e 6 del Regolamento, in quanto:

-    la privacy policy, anche nella successiva versione aggiornata al 22 marzo 2023, nella tabella di cui al paragrafo 2.A, non menziona espressamente la finalità dello “Sviluppo del modello” né la relativa base giuridica;

-    la DPIA, pur distinguendo le due finalità di trattamento relative al “Chatbot Interaction” ed al “Model Development” (par. I) ed analizzando le rispettive basi giuridiche (par. II), non presenta una data certa, per cui non prova che l’individuazione delle suddette condizioni di liceità di cui all’articolo 6 del Regolamento sia avvenuta in data precedente al 2 febbraio 2023.  Peraltro, la DPIA enuncia il legittimo interesse come base giuridica per il trattamento per finalità di “Sviluppo del Modello” senza indicare alcun argomento relativo al cd. “triplice test” sotteso al legitimate interest assessment. Infine, si mette in evidenza che la DPIA, pur essendo un ottimo strumento di accountability, non costituisce la sede eletta dal legislatore al fine di fornire agli interessati le informazioni relative alle attività di trattamento, informazioni che devono essere fornite tramite la privacy policy.

Con riferimento all’art. 5, par. 1, lett. a), del Regolamento, si richiama in questa sede il principio espresso dall’EDPB nella decisione vincolante n. 1/2021 in materia di trasparenza, ma mutuabile anche con riferimento alla liceità, secondo cui i principi di cui all’art. 5 del Regolamento debbono essere considerati alla stregua di un concetto generale che trova poi concreta attuazione in diverse disposizioni e obblighi specifici (nell’ipotesi della liceità, negli artt. 6, 7, 8, 9 e 10 del Regolamento).

Dunque, secondo l’EDPB, è necessario distinguere gli obblighi specifici derivanti da un principio (nel caso di specie l’art. 6 del Regolamento) dal principio stesso espresso nell’art. 5 del Regolamento, in quanto il secondo non può essere circoscritto all’obbligo specifico, sebbene quest’ultimo sia una concretizzazione del precedente.

Il principio di liceità, infatti, è un principio onnicomprensivo che rafforza altri principi (es. correttezza, accountability). La conferma di tale ricostruzione è data dal fatto che l’art. 83, par. 5, del Regolamento prevede la possibilità di sanzionare la violazione degli obblighi di liceità indipendentemente dalla violazione del principio stesso. Nel caso di specie, l’Autorità ritiene ravvisabile anche la violazione del principio di liceità di cui all’art. 5, par. 1, lett. a) del Regolamento, tenuto conto della gravità (mancata individuazione chiara e granulare delle basi giuridiche sottese alle varie operazioni di trattamento) della natura (trattasi di un elemento essenziale del trattamento) e dell’impatto (trattasi di una tipologia di trattamento nuova connessa ad una tecnologia innovativa quale l’intelligenza artificiale generativa) della singola specifica violazione dell’obbligo di cui all’art. 6 del Regolamento.

Per quanto sopra rappresentato, l’Autorità ritiene che Luka non abbia individuato, alla data del 2 febbraio 2023, le basi giuridiche delle varie operazioni di trattamento effettuate attraverso il servizio Replika, offerto e disponibile al pubblico in Italia in tale data, in violazione degli articoli 5, par.1, lett. a) e 6 del Regolamento.

Per quanto concerne l’analisi e la valutazione di merito in ordine alle basi giuridiche di cui all’art. 6, par. 1, lett. b) e lett. f), del Regolamento asseritamente poste a fondamento dell’utilizzo del chatbot e del post-addestramento del modello LLM sotteso al servizio Replika, nonché, in generale, alle basi giuridiche relative all’intero ciclo di vita del sistema di intelligenza artificiale generativa implementato dalla Società, l’Autorità si riserva di aprire una separata ed autonoma istruttoria.

5.2 ARTT. 5, PAR. 1, LETT. A), 12 E 13 DEL REGOLAMENTO

L’Ufficio ha contestato a Luka la violazione degli artt. 5, par. 1, lett. a), 12 e 13 del Regolamento per aver fornito, alla data del 2 febbraio 2023, una privacy policy relativa al servizio Replika con contenuti non conformi agli obblighi ed ai principi generali in materia di trasparenza previsti dalla normativa.

L’art. 5, par. 1, lett. a), del Regolamento prescrive che i dati personali siano trattati in modo lecito, corretto e trasparente nei confronti dell'interessato (principio di liceità, correttezza e trasparenza).
L’art.12 del Regolamento detta norme in materia di trasparenza e modalità di esercizio dei diritti, mentre l’art. 13 introduce indicazioni specifiche in ordine alle informazioni che il titolare è tenuto a fornire qualora i dati personali siano raccolti presso l’interessato.

In tema di trasparenza il Considerando 58 del Regolamento prevede che le informazioni destinate al pubblico o all'interessato debbano essere concise, facilmente accessibili e di facile comprensione, che sia usato un linguaggio semplice e chiaro, e, con riferimento alla protezione specifica di cui debbano essere destinatari i minori, prevede che “quando il trattamento dei dati li riguarda, qualsiasi informazione e comunicazione dovrebbe utilizzare un linguaggio semplice e chiaro che un minore possa capire facilmente”.

Sul tema della trasparenza rilevano altresì le indicazioni del Comitato, in particolare le linee guida 2/2019 sul trattamento dei dati personali ai sensi dell’articolo 6, par.1, lett. b) del regolamento generale sulla protezione dei dati nel contesto della fornitura di servizi online agli interessati, ove è previsto che la base giuridica del trattamento, oltre a dover essere individuata prima dell’attuazione del trattamento, “deve essere specificata nelle informazioni fornite agli interessati conformemente agli articoli 13 e 14”; rilevano, inoltre le linee guida n.1/2022 del Comitato in materia di accesso, che prescrivono, al paragrafo 142, che “un titolare del trattamento che offre un servizio in un determinato paese dovrebbe anche rispondere in una lingua compresa dagli interessati di quel paese”.

Da ultimo, le linee guida adottate dal Gruppo di Lavoro Articolo 29 l’11 aprile 2018, hanno chiarito che “nel regolamento il concetto di trasparenza non è legalistico, ma piuttosto incentrato sull’utente e si concreta in vari articoli contenenti gli specifici obblighi imposti ai titolari e ai responsabili del trattamento. Gli obblighi concreti (d’informazione) sono indicati negli articoli 12-14 del regolamento. (…) Gli obblighi di trasparenza imposti dal regolamento si applicano a prescindere dalla base giuridica del trattamento e per tutto il ciclo di vita dello stesso. Ciò risulta chiaro dall’articolo 12, il quale stabilisce che la trasparenza si applica nelle seguenti fasi del ciclo di trattamento dei dati: i) prima o all’inizio del ciclo di trattamento dei dati, vale a dire quando i dati personali sono raccolti presso l’interessato od ottenuti in altro modo; ii) nell’arco dell’intero ciclo di vita del trattamento, ovvero nella comunicazione con gli interessati sui loro diritti; ii) in momenti specifici in cui il trattamento è in corso, ad esempio quando si verifica una violazione di dati oppure in caso di modifica rilevante del trattamento”.

La Società non ha presentato scritti difensivi o documenti, ai sensi dell’art. 166, co. 5 del Codice, in riscontro all’atto di contestazione ed avvio del procedimento dell’Ufficio e dunque non ha fornito alcuna controdeduzione rispetto all’ipotesi di violazione formulata relativa agli obblighi ed ai principi generali in materia di trasparenza previsti dalla normativa.

L’istruttoria dell’Ufficio, come sopra già precisato, ha avuto ad oggetto la privacy policy adottata e pubblicata da Luka alla data del 2 febbraio 2023, ovverosia la versione della stessa aggiornata al 5 luglio 2022.

Dagli atti istruttori emerge innanzitutto che, da un punto di vista formale, alla data del 2 febbraio 2023, la privacy policy era disponibile solamente in lingua inglese, non considerando la lingua del Paese in cui il servizio era offerto, segnatamente la lingua italiana. 

Sotto il profilo sostanziale, si osserva che alla data del 2 febbraio 2023 la privacy policy non rispondeva ai principi di correttezza e trasparenza in quanto incompleta e non corretta.

In particolare, dal punto di vista della completezza delle informazioni rese agli interessati è stato riscontrato che la privacy policy:

-    non indicava in modo granulare la base giuridica relativa ad ognuna delle attività di trattamento svolte, né la tipologia dei dati trattati;

-    non indicava le finalità delle due distinte tipologie di attività di trattamento, ovverosia il trattamento dei dati tramite il “Chatbot Interaction”, finalizzato a consentire l’iscrizione degli utenti al servizio e la loro interazione con la piattaforma, ed il trattamento dei dati nell’ambito dello “Sviluppo del Modello”, finalizzato al miglioramento della sicurezza e delle performance del Large Language Model (LLM) sotteso al servizio offerto (“Model Development”);

-    non chiariva che il servizio fosse offerto esclusivamente a soggetti maggiorenni, pur invitando i minori di 13 anni a non utilizzare il servizio. In particolare il paragrafo 8 della citata privacy policy recitava: “We do not knowingly collect Personal Data from children under the age of 13. If you are under the age of 13, please do not submit any Personal Data through the Services. We encourage parents and legal guardians to monitor their children’s Internet usage and to help enforce our Privacy Policy by instructing their children never to provide Personal Data on the Services without their permission. If you have reason to believe that a child under the age of 13 has provided Personal Data to us through the Services, please contact us, and we will endeavor to delete that information from our databases”. Tali informazioni, pur rendendo chiara la circostanza per cui il servizio non era offerto a soggetti minori di 13 anni (“If you are under the age of 13, please do not submit any Personal Data through the Service”), non chiarivano che il chatbot fosse riservato solo ai maggiorenni, essendo esclusi, infatti, anche gli utenti di età compresa tra i 13 ed i 18 anni.

Quest’ultima circostanza è stata chiarita dalla Società solo in un secondo momento;

-    non forniva alcuna puntuale indicazione in merito al periodo di conservazione dei dati personali ovvero ai criteri utilizzati per determinare tale periodo;

-    non chiariva se vi fosse un trasferimento dei dati personali al di fuori dello SEE e, nel caso, quale fossero la base giuridica del trattamento e le garanzie di adeguatezza adottate di cui al Capo V del Regolamento. Più dettagliatamente le informazioni fornite dalla Società (segnatamente nella parte della privacy policy in cui  affermava che: “By using our services or providing us with any information, you consent to this transfer, processing, and storage of your information in the U.S.A., a jurisdiction in which the privacy laws may not be as comprehensive as those in the country where you reside or are a citizen”) risultavano idonee ad ingenerare nell’interessato un errato convincimento in merito al trasferimento dei suoi dati personali verso gli USA. L’assenza di un trasferimento di dati verso Paesi terzi è stata confermata dalla stessa Società nell’ambito della nota dell’8 maggio 2023 (prot. 74173/23) relativa all’applicabilità del criterio dello stabilimento nell’Unione europea. Pertanto si constata che la presenza di informazioni fuorvianti ha trovato conferma nelle stesse dichiarazioni del titolare;

-    nella sezione 6 “Your data protection rights”, pur non richiamando espressamente l’articolo 22 del Regolamento, forniva specifiche informazioni in ordine a tale diritto, ingenerando nell’utente l’infondata convinzione che i suoi dati personali fossero oggetto di un processo decisionale automatizzato. L’assenza di un trattamento automatizzato ai sensi dell’articolo 22 del Regolamento è stata confermata dallo stesso titolare nella nota di riscontro (prot.74173/23), ove ha sostenuto che “sebbene il chatbot si affidi a processi automatizzati per generare risposte, i Servizi non prendono decisioni basate sulla profilazione che abbiano effetti giuridici o di analoga rilevanza ai sensi dell’articolo 22 del Regolamento”. Pertanto, anche in questo caso, si constata che la presenza di informazioni fuorvianti ha trovato conferma nelle stesse dichiarazioni del titolare.

Con riferimento all’art. 5, par. 1, lett. a), del Regolamento, si richiama la stessa decisione vincolante dell’EDPB citata nel paragrafo precedente (decisione vincolante n. 1/2021), secondo cui la trasparenza deve essere considerata un concetto generale che trova concreta attuazione in diverse disposizioni ed in obblighi specifici (ad esempio, gli artt. 12, 13, 14, 25 e 35). È dunque necessario distinguere gli obblighi specifici derivanti dal principio di trasparenza (di cui agli articoli 12-14 del Regolamento) dal principio espresso nell’art. 5 del Regolamento, in quanto sebbene tali obblighi siano una concretizzazione del principio generale, quest’ultimo ha una portata più ampia.

Il principio di trasparenza, infatti, è un principio onnicomprensivo che rafforza altri principi (es. correttezza, accountability). La conferma di tale ricostruzione è data dal fatto che l’art. 83, par. 5, del Regolamento prevede la possibilità di sanzionare la violazione degli obblighi di trasparenza indipendentemente dalla violazione del principio stesso. In altri termini, gli obblighi di trasparenza non definiscono l’intera portata del principio di trasparenza, ne deriva che la violazione degli obblighi di trasparenza previsti dagli articoli 12-14 del Regolamento può costituire anche una violazione del principio di trasparenza solo se connotata da elementi di gravità e sistematicità.

Nel caso di specie, l’Autorità ritiene ravvisabile anche la violazione del principio di trasparenza di cui all’art. 5, par. 1, lett. a) del Regolamento, tenuto conto della gravità (assenza di informazioni agli interessati circa le basi giuridiche sottese alle varie operazioni di trattamento dei loro dati personali) della natura (mancanza di informazioni chiare circa gli elementi essenziali del trattamento quali base giuridica, finalità, principio di conservazione, trasferimento extra UE) e dell’impatto (trattasi di una tipologia di trattamento nuova connessa ad una tecnologia innovativa quale l’intelligenza artificiale generativa) delle singole specifiche violazioni degli obblighi di cui agli artt. da 12  e 13 del Regolamento.

Per quanto sopra rappresentato, l’Autorità ritiene che Luka abbia violato, alla data del 2 febbraio 2023, gli artt. 5, par. 1, lett. a), 12 e 13 del Regolamento. 

Per completezza, si rappresenta che da accertamenti tecnici ulteriori è emerso che il titolare ha nuovamente aggiornato la privacy policy relativa al servizio Replika in data 23 febbraio 2024. In tale versione risultano modificate talune delle informazioni imprecise e non corrette sopraindicate. Segnatamente la privacy policy, vigente alla data di adozione del presente provvedimento, riporta in modo granulare la base giuridica relativa ad ognuna delle attività di trattamento svolte dal titolare e la tipologia dei dati trattati; chiarisce espressamente che il servizio è offerto esclusivamente a soggetti maggiorenni, e non presenta alcun richiamo, neanche implicito, alle decisioni automatizzate di cui all’articolo 22 del Regolamento. Cionondimeno, le informazioni rese ai sensi degli artt. 12 e 13 del Regolamento continuano ad essere disponibili solo in lingua inglese, a non fornire puntuali riferimenti in merito al periodo di conservazione dei dati personali ovvero ai criteri utilizzati per determinare tale periodo e ad essere potenzialmente idonee ad ingenerare nell’interessato un errato convincimento in merito al trasferimento dei suoi dati personali verso gli USA.

5.3 ARTT.  5, PAR. 1, LETT. C), 6, 7, 8, 24 E 25, PAR. 1, DEL REGOLAMENTO

L’Ufficio ha contestato a Luka la violazione degli artt. 5, par. 1, lett. c); 6; 7; 8; 24 e 25, par. 1 del Regolamento per omessa predisposizione di sistemi atti a verificare l’età dei soggetti alla data del 2 febbraio 2023. 

Ai sensi dell’articolo 5, par. 1, lett. c), del Regolamento “I dati personali sono adeguati, pertinenti e limitati a quanto necessario rispetto alle finalità per le quali sono trattati”.

Ai sensi dell’art. 24, par. 1, del Regolamento “Tenuto conto della natura, dell'ambito di applicazione, del contesto e delle finalità del trattamento, nonché dei rischi aventi probabilità e gravità diverse per i diritti e le libertà delle persone fisiche, il titolare del trattamento mette in atto misure tecniche e organizzative adeguate per garantire, ed essere in grado di dimostrare, che il trattamento è effettuato conformemente al presente regolamento. Dette misure sono riesaminate e aggiornate qualora necessario”.

Ai sensi dell’art. 25, par. 1, del Regolamento, il titolare deve adottare tali misure “tenendo conto dello stato dell'arte e dei costi di attuazione, nonché della natura, dell'ambito di applicazione, del contesto e delle finalità del trattamento, come anche dei rischi aventi probabilità e gravità diverse per i diritti e le libertà delle persone fisiche costituiti dal trattamento, sia al momento di determinare i mezzi del trattamento sia all'atto del trattamento stesso”.

Nelle linee guida n. 4/2019 sull’articolo 25 del Regolamento l’EPDB ha chiarito che “il fulcro della disposizione è garantire una adeguata ed efficace protezione dei dati fin dalla progettazione e una protezione per impostazione predefinita, il che significa che i titolari dovrebbero essere in grado di dimostrare che incorporano nel trattamento le misure e le garanzie adeguate ad assicurare l’efficacia dei principi di protezione dei dati, dei diritti e delle libertà degli interessati” ed ha invitato i titolari a tenere conto, nell’ambito della progettazione e impostazione del trattamento in un’ottica privacy oriented, anche degli obblighi di fornire una tutela specifica ai minori e ad altri gruppi di soggetti vulnerabili.

Nelle stesse linee guida l’EDPB ha altresì sottolineato come “In linea con l’articolo 25, paragrafo 1, il titolare attua misure tecniche e organizzative adeguate che sono concepite per attuare i principi di protezione dei dati e integra nel trattamento le necessarie garanzie per adempiere ai requisiti e tutelare i diritti e le libertà degli interessati. Sia le misure adeguate che le necessarie garanzie intendono perseguire la medesima finalità di tutelare i diritti degli interessati e garantire che la protezione dei loro dati personali sia integrata nel trattamento. Le espressioni misure tecniche e organizzative e necessarie garanzie possono essere intese in senso lato come qualsiasi metodo o mezzo che un titolare può impiegare nel trattamento. Con il termine adeguate si intende che le misure e le necessarie garanzie devono essere idonee a conseguire la finalità prevista, ossia devono attuare efficacemente i principi di protezione dei dati”.

La Società non ha presentato scritti difensivi o documenti, ai sensi dell’art. 166, co. 5 del Codice, in riscontro all’atto di contestazione ed avvio del procedimento dell’Ufficio e dunque non ha fornito alcuna controdeduzione rispetto all’ipotesi di violazione formulata in ordine alla omessa predisposizione di sistemi atti a verificare l’età dei soggetti.

Alla luce delle norme e dell’orientamento sopramenzionati, l’Autorità osserva come sussista in capo al titolare l’obbligo di mettere in atto misure tecniche ed organizzative idonee a garantire ed a dimostrare che il trattamento sia svolto in conformità al Regolamento ed a trattare esclusivamente i dati adeguati, pertinenti e limitati a quanto necessario rispetto alle finalità del trattamento stesso. 

Dall’istruttoria è, tuttavia, emersa la mancata predisposizione da parte della Società di misure volte a garantire una protezione specifica per i dati personali trattati nell’ambito del servizio Replika riferiti ai minori di 18 anni. Invero, l’assenza di procedure di verifica dell’età dell’utente che intendesse accedere al servizio, nonché di meccanismi di interdizione o di blocco a fronte di dichiarazioni da parte dell’utente che rendessero chiara la sua minore età, ha messo in luce come il titolare non abbia valutato, ex ante, i rischi a cui la registrazione e l’utilizzo del servizio da parte di minori di 18 anni potesse dar luogo con la conseguenza che, da un lato, non ha adottato alcuna misura per contrastare tali rischi, minimizzarli ovvero arginarli, e dall’altro ha trattato dati eccedenti a quelli necessari a soddisfare le finalità del trattamento (vale a dire l’offerta del servizio ad utenti maggiorenni).

Dall’istruttoria è emerso che alla data del 2 febbraio 2023, la Società non prevedeva alcun meccanismo per la verifica dell’età degli utenti né all’atto della registrazione al servizio Replika, né durante il suo utilizzo, ancorché escludesse i minorenni tra i potenziali utenti.

In particolare è stata rilevata l’assenza di:

-    una procedura di verifica dell’età dell’utente (il sistema richiedeva solo nome, email e genere) con conseguente rischio di proposizione ai minori di risposte inidonee rispetto al loro grado di sviluppo ed autoconsapevolezza, tra cui contenuti sessualmente espliciti;

-    meccanismi di interdizione o blocco anche a fronte di dichiarazioni dell’utente che rendessero evidente la sua minore età, nonché la proposizione di risposte da parte del chatbot palesemente in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili.

Sino al 2 febbraio 2023, dunque, la Società non ha adottato alcuna misura tecnica ed organizzativa atta a garantire il rispetto dei principi generali del Regolamento e la protezione dei diritti e delle libertà dei minori, esponendo in tal guisa i soggetti minorenni ai rischi significativi per la loro persona che la normativa in argomento mira a limitare, tra cui risposte inidonee rispetto al loro grado di sviluppo psicofisico e di autoconsapevolezza. 

Luka ha adottato meccanismi di verifica dell’età solo a seguito della richiesta del Garante formulata nell’ambito del provvedimento di limitazione provvisoria, adottato d’urgenza il 2 febbraio 2023. In particolare, nel corso delle interlocuzioni che hanno fatto seguito all’adozione del suddetto provvedimento e con specifico riferimento al profilo dell’age gate, la Società ha rappresentato di aver implementato su tutte le pagine di registrazione ai Servizi un age gate che limita l’accesso agli utenti che hanno compiuto 18 anni e che comprende un “periodo di raffreddamento” volto a impedire che le persone che non siano riuscite ad accedere attraverso l’inserimento di dati anagrafici reali inseriscano, immediatamente dopo, una data di nascita diversa. 

La Società ha altresì rappresentato di aver pianificato lo sviluppo di un processo per utilizzare l’analisi del linguaggio al fine di individuare ed impedire l’utilizzo dei Servizi da parte di persone di età inferiore ai 18 anni.

Prima dell’intervento dell’Autorità, quindi, tutti gli utenti, compresi i minori di età, potevano iscriversi al servizio Replika ed utilizzarlo senza che venisse chiesto loro di sottoporsi ad alcuna verifica dell’età. Come già chiarito in sede di contestazione, ad avviso dell’Autorità, l’assenza di uno standard comune idoneo a garantire, in maniera certa e assoluta, l’efficacia di un modello di verifica dell’età dell’utente e la discussione tutt’ora in atto a livello europeo al riguardo, non possono essere considerate ragioni sufficienti ad escludere l’adempimento degli obblighi a cui è tenuto il titolare del trattamento, segnatamente quello di verificare l’effettiva capacità negoziale dell’utente ai fini della validità del contratto.

Da quanto precede emerge che, alla data del 2 febbraio 2023, la Società non abbia né messo in atto, ai sensi dell’art. 24 del Regolamento, misure volte a garantire che il trattamento dei dati all’atto di iscrizione al servizio Replika fosse conforme agli artt. 5, par. 1, lett. c), 24,  25 e del Regolamento, in particolare che la stessa avesse adottato misure tecniche e organizzative “volte ad attuare in modo efficace i principi di protezione dei dati, quali la minimizzazione, e a integrare nel trattamento le necessarie garanzie al fine di soddisfare i requisiti del presente regolamento e tutelare i diritti degli interessati” con conseguente trattamento di dati ultronei, rectius non necessari, rispetto alle finalità di un servizio che, stando alle dichiarazioni dello stesso titolare nonché alla documentazione in atti, era offerto ai soli utenti maggiori di anni 18.

Con specifico riferimento alla violazione di cui all’art. 5, par. 1, lett. c), del Regolamento, si osserva che, in questo caso, l’adozione di misure tecniche ed organizzative adeguate, fin dalla progettazione, finalizzata “ad attuare in modo efficace i principi di protezione dati, quali la minimizzazione”, oltre ad essere un elemento costitutivo dell’art. 25, par. 1, del Regolamento costituisce anche un quid pluris idoneo a ritenere integrata la violazione del principio di  minimizzazione, in linea con quanto chiarito dal considerando 78 del Regolamento.

Nello specifico, la mancata adozione da parte della Società di misure idonee a salvaguardare l’accesso e l’utilizzo del servizio Replika ha comportato non solo che Luka trattasse, sistematicamente, dati personali ulteriori rispetto a quelli realmente necessari per conseguire la finalità del trattamento (vale a dire offrire il servizio ad utenti maggiorenni), ma anche che tale trattamento riguardasse dati relativi a soggetti vulnerabili (minorenni, potenzialmente di età anche inferiore ai 13 anni) che, a causa di tale carenza ed attesa la tecnologia innovativa sottesa al servizio e la natura altamente sensibile delle conversazioni fornite dal chatbot, sono stati esposti ad un rischio particolarmente elevato. 

Le notizie di cronaca, che hanno determinato l’avvio dell’istruttoria dell’Autorità, unitamente a casi concreti di atti di autolesionismo legati all’uso del chatbot riferiti della stampa straniera e sottoposti all’attenzione dell’autorità giudiziaria, sono elementi che suffragano la contestazione dell’Ufficio e che, sulla scorta dei principi espressi dalla più volte richiamata decisione vincolante dell’EDPB n. 1/2021, impongono la valorizzazione della gravità e dell’impatto delle  violazioni facendo ritenere integrata sia la violazione del principio di cui all’art. 5, par. 1, del Regolamento, sia la specifica violazione dell’obbligo di cui agli artt. 24 e 25, par. 1, del Regolamento.

L’Autorità, al contrario, non ritiene sussistano elementi sufficienti per dichiarare accertate le violazioni, contestate ex art. 166, par. 5, del Codice, relativamente al consenso, in particolare l’atto positivo espresso dal minore nell’ambito dei servizi digitali, di cui agli articoli 6 ,7, 8 del Regolamento. In particolare, si osserva come in sede istruttoria sia emerso che, a differenza di quanto erroneamente indicato nella privacy policy nella versione datata 2 febbraio 2023 (cfr. § 5.2) - il servizio Replika non era – e non è – offerto a soggetti minorenni, ne deriva che il titolare non fosse tenuto ad ottemperare all’obbligo di individuare una base giuridica per dei trattamenti che si presumeva non venissero posti in essere. 

Per quanto sopra rappresentato, l’Autorità ritiene che Luka abbia violato, alla data del 2 febbraio 2023, gli artt. 5, par. 1, lett. c) e 24 e 25, par. 1, del Regolamento.

Per completezza si rappresenta che, alla data di adozione del presente provvedimento, da ulteriori accertamenti tecnici è emerso che il sistema di verifica dell’età attualmente implementato dal titolare continua ad essere carente sotto diversi aspetti; in particolare è stato appurato che:

- dopo la creazione del profilo utente, è possibile modificare la data di nascita nella sezione “My Profile” senza che a ciò segua alcuna verifica da parte del titolare del trattamento, con il risultato che un minore che si sia iscritto al servizio indicando una età anagrafica falsa potrebbe prontamente modificarla inserendo quella corretta senza alcuna conseguenza, continuando a poter accedere al servizio; 

- il cooling off period (di 24 ore) non opera laddove la creazione del profilo avvenga tramite navigazione in incognito, infatti, da quanto risulta, una volta fallito il primo controllo dell’età, è possibile completare con successo la registrazione al servizio modificando l’indirizzo email inserito con un nuovo indirizzo (inclusi indirizzi di posta elettronica non esistenti e non funzionanti);

- non sono stati predisposti meccanismi di analisi linguistica che richiedono agli utenti di riconfermare la propria età attraverso il processo di age gate quando gli stessi si identificano come minori di 18 anni, con la sola eccezione del caso in cui l’utente stesso dia particolari input (ad es. si dichiari in modo inequivocabile minori di 18 anni). In presenza di tali casi l’applicazione risponde chiedendo conferma della maggiore età. 

Nell’ambito delle verifiche tecniche è emerso altresì che è offerta all’utente la possibilità di contrassegnare come inappropriate alcune conversazioni, tuttavia non è possibile rilevare le conseguenze di tale segnalazione. 

6. CONCLUSIONI

Alla luce delle valutazioni sopra espresse, si conferma la sussistenza, nei termini sotto indicati, della maggior parte delle violazioni contestate dall’Ufficio notificate con l’atto di avvio del procedimento e si dichiara l’illiceità del trattamento di dati personali effettuato dalla Società, in violazione degli artt. 5, par. 1, lett. a) (con riferimento sia al principio di liceità che di trasparenza) e lett. c), 6, 12, 13, 24 e 25, par. 1, del Regolamento.

L’accertamento della violazione delle predette disposizioni del Regolamento impone la conseguente adozione di misure correttive ai sensi dell’art. 58, par. 2, del Regolamento, segnatamente l’ordine di messa in conformità ex art. 58, par. 2, lett. d) del Regolamento [OMISSIS].

[OMISSIS]

L’Autorità si riserva, come sopra specificato, di esaminare e verificare in un autonomo procedimento i profili riguardanti la liceità dei trattamenti posti in essere dalla Società con specifico riferimento alle basi giuridiche dei trattamenti di dati personali relative all’intero ciclo di vita del sistema di intelligenza artificiale generativa sotteso al servizio Replika.

7.  PROVVEDIMENTI CORRETTIVI EX ART. 58, PAR. 2, LETT. D) DEL REGOLAMENTO

L’art. 58, par. 2, del Regolamento prevede in capo al Garante una serie di poteri correttivi, di natura prescrittiva e sanzionatoria, da esercitare nel caso in cui venga accertato un trattamento illecito di dati personali.

Tra questi poteri, l’art. 58, par. 2, lett. d), del Regolamento prevede il potere di “ingiungere al titolare del trattamento … di conformare i trattamenti alle disposizioni del presente regolamento, se del caso, in una determinata maniera ed entro un determinato termine”.

Da quanto rilevato e ritenuto nei paragrafi che precedono è emerso che Luka ha violato, alla data del 2 febbraio 2023, gli articoli 5, par. 1, lett. a) (con riferimento sia al principio di liceità che al principio di trasparenza) e lett. c), 6, 12 e 13, artt. 24 e 25, par. 1 del Regolamento ma che, a seguito dell’intervento d’urgenza dell’Autorità, ha adottato alcune misure per porre rimedio alle criticità emerse e, successivamente, ha adottato ulteriori misure rispetto alle violazioni contestate nell’atto di avvio del procedimento, che assicurano la conformità del trattamento alla normativa in materia di protezione dei dati personali.

Segnatamente, Luka ha sanato la violazione di cui agli articoli 5, par. 1, lett. a) e 6 del Regolamento modificando la privacy policy (cfr. ultima versione datata 23 febbraio 2024) specificando, dettagliatamente, le basi giuridiche delle varie operazioni di trattamento effettuate attraverso il servizio Replika. 

Alla luce della modifica della privacy policy nei termini appena descritti si ritiene non ricorrano, allo stato, i presupposti per l’adozione di ulteriori misure correttive di cui all’art. 58, par. 2, del Regolamento.

Di contro, con riferimento alla violazione degli articoli artt. 5, par. 1, lett. a), 12 e 13 del Regolamento, relativamente agli obblighi informativi ed alla violazione degli articoli 24 e 25, par. 1 e 5, par. 1, lett. c), del Regolamento, relativamente al sistema di verifica dell’età, permangono profili di non conformità rispetto al Regolamento che si ritiene debbano essere oggetto di specifiche prescrizioni.

Segnatamente, con riferimento agli obblighi informativi l’Autorità ha accertato che, ad oggi, la privacy policy (ultima versione datata 23 febbraio 2024) di Luka continua a non essere conforme alla normativa in materia di protezione dei dati personali nella misura in cui i) è disponibile solo in lingua inglese, ii) non indica in modo puntuale i periodi di conservazione dei dati personali ovvero i criteri utilizzati per determinare tali periodi, iii) è suscettibile di generare negli interessati un errato convincimento in merito al trasferimento dei loro dati personali verso gli USA.

Pertanto, ai sensi dell’articolo 58, par. 2, lett. d), del Regolamento si ingiunge al titolare di conformare la privacy policy agli articoli 5, par. 1, lett. a), 12 e 13 del Regolamento ponendo rimedio alle lacune sopra indicate.

Inoltre, con riferimento al sistema di verifica dell’età, l’Autorità ha accertato che, alla data di adozione del presente provvedimento, il sistema di verifica dell’età impiegato dal titolare del trattamento non è conforme al principio di minimizzazione dei dati ed ai principi di privacy by design e by default atteso che:

- dopo la creazione del profilo, l’utente può modificare la data di nascita nella sezione “My Profile” senza che a ciò segua alcuna verifica da parte del titolare del trattamento. Ne deriva che un minore che si sia iscritto al servizio indicando una età anagrafica falsa potrebbe prontamente modificarla inserendo quella corretta senza alcuna conseguenza e continuando a poter accedere al servizio;

- il cooling off period di 24 ore non opera laddove l’utente crei il profilo navigando in incognito, infatti, da quanto risulta, una volta fallito il primo controllo dell’età, l’utente può completare con successo la registrazione al servizio modificando l’indirizzo email inserito con un nuovo indirizzo (inclusi indirizzi di posta elettronica non esistenti e non funzionanti);

- il titolare non ha predisposto meccanismi di analisi linguistica che richiedano agli utenti di riconfermare la propria età attraverso il processo di age gate in presenza di chiari segnali che identifichino un utente minore di 18 anni, con la sola eccezione del caso in cui l’utente dia particolari input (ad es. si dichiari in modo inequivocabile minore di 18 anni). Solo in presenza di tali casi l’applicazione risponde chiedendo conferma della maggiore età. 

L’Autorità ha, invece, riscontrato positivamente l’implementazione da parte di Luka di una funzione che consente all’utente di contrassegnare come inappropriate alcune conversazioni, sebbene, non sia stato possibile rilevare l’effetto di tale segnalazione.

Ciò posto, ai sensi dell’articolo 58, par. 2, lett. d) del Regolamento, si ingiunge al titolare del trattamento di conformare il sistema di verifica dell’età agli articoli 5, par. 1, lett. c), 24 e 25, par. 1 del Regolamento ponendo rimedio alle lacune sopra indicate.

[OMISSIS]

TUTTO CIÒ PREMESSO IL GARANTE

ai sensi dell’art. 57, par. 1, lett. f), del Regolamento, dichiara illecito il trattamento descritto nei termini di cui in motivazione, effettuato da Luka Inc., con sede in 490 Post St Suite 526, San Francisco, California, Stati Uniti d’America, per la violazione degli articoli 5, par. 1, lett. a) (con riferimento sia al principio di liceità che di trasparenza), 6, 12, 13, 5, par.1, lett. c), 24 e 25, par. 1, del Regolamento e, conseguentemente,

a)    ai sensi dell’art. 58, par. 2, lett. d) del Regolamento ingiunge alla Società, entro trenta giorni dalla notifica del provvedimento, di conformare i trattamenti alle disposizioni del Regolamento, in particolare di conformare la privacy policy agli artt. 5, par. 1, lett. a), 12 e 13 del Regolamento nonché di conformare il sistema di verifica dell’età agli artt. 5, par. 1, lett. c), 24 e 25 del Regolamento, ponendo rimedio alle lacune rispettivamente indicate nei paragrafi 5 e 6 del presente provvedimento;

b)    ai sensi dell’art. 157 del Codice, ingiunge alla Società di comunicare all’Autorità, nel termine di sessanta giorni dalla notifica del presente provvedimento, le iniziative intraprese al fine di dare attuazione alla misura correttiva di cui al punto che precede; l’eventuale mancato adempimento a quanto disposto nel presente punto può comportare l’applicazione della sanzione amministrativa pecuniaria prevista dall’art. 83, par. 5, del Regolamento

[OMISSIS]

DISPONE

a)    la pubblicazione del presente provvedimento, ai sensi degli artt. 154-bis del Codice e 37 del Regolamento n. 1/2019;

[OMISSIS]

L’Autorità si riserva di esaminare e verificare in un autonomo procedimento i profili riguardanti la liceità dei trattamenti posti in essere da Luka Inc., con specifico riferimento alle basi giuridiche dei trattamenti di dati personali relative all’intero ciclo di vita del sistema di intelligenza artificiale generativa sotteso al servizio Replika.

Ai sensi dell’art. 78 del Regolamento, nonché degli artt. 152 del Codice e 10 del d.lgs. 1° settembre 2011, n. 150, avverso il presente provvedimento può essere proposta opposizione all’autorità giudiziaria ordinaria, con ricorso depositato al tribunale ordinario del luogo ove ha la residenza il titolare del trattamento dei dati personali, entro il termine di trenta giorni dalla data di comunicazione del provvedimento stesso, ovvero di sessanta giorni se il ricorrente risiede all’estero.

Roma, 10 aprile 2025            

IL PRESIDENTE
Stanzione

IL RELATORE
Scorza

IL SEGRETARIO GENERALE REGGENTE
Filippi
 

*Pending appeal against the decision, the ancillary penalty consisting in the publication of the injunction order shall not be applied
 

GARANTE PER LA PROTEZIONE DEI DATI PERSONALI

AT today's meeting, attended by President Pasquale Stanzione, Vice-President Ginevra Cerrina Feroni, Board Members Agostino Ghiglia and Guido Scorza, members, and Acting Secretary General Claudio Filippi;

HAVING REGARD TO Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation, hereinafter referred to as the ‘Regulation’);

HAVING REGARD TO the Personal Data Protection Code (Legislative Decree No. 196 of 30 June 2003), as amended by Legislative Decree No. 101 of 10 August 2018, laying down provisions for the adaptation of the national legal system to the aforementioned Regulation (hereinafter referred to as the ‘Code’);

HAVING REGARD TO Regulation No. 1/2019 concerning internal procedures with external relevance, aimed at fulfilling the tasks and exercising the powers assigned to the Garante per la protezione dei dati personali (Italian Data Protection Authority), approved by Resolution No. 98 of 4 April 2019, published in the Official Journal No. 106 of 8 May 2019 and at www.gpdp. it, web doc. no. 9107633 (hereinafter ‘Garante's Regulation No. 1/2019’);

HAVING REGARD TO the documentation on record;

HAVING REGARD TO the observations made by the Secretary-General pursuant to Article 15 of Garante's Regulation No. 1/2000;

RAPPORTEUR Guido Scorza;    

1.    INTRODUCTION

The proceedings originated from an investigation initiated by the Garante of its own motion following the publication of press reports and preliminary fact-finding conducted on the Replika service (https://replika.com/), a chatbot with a written and voice interface developed and managed by the US company Luka Inc.  (hereinafter ‘Luka’ or the ‘Company’) and based on a generative AI system.

Replika is described as a chatbot that can improve the user's mood and emotional well-being by helping them understand their thoughts and feelings, track their mood, learn coping skills, reduce anxiety, and work towards goals such as positive thinking, stress management, socialising, and finding love. Replika creates a ‘virtual companion’ that the user can decide to set up as a friend, therapist, romantic partner or mentor. 

Replika uses a Large Language Model (LLM) system that is constantly fed and improved through interaction with users.

For the purposes of this decision, ‘generative artificial intelligence’ means the field of artificial intelligence that focuses on creating new and original content from input data in response to user requests (prompts), through the use of predominantly neural algorithms. ‘Neural network’ means a standard computational model applicable in a wide variety of contexts that allows the recognition of objects, shapes or patterns within a given data set or data set (e.g. a human face in a photograph). Generative artificial intelligence algorithms are used in a wide range of applications, including the recognition and generation of images, voice or music tracks, text and videos.

An example of generative artificial intelligence is large language models. For the purposes of this measure, ‘Large Language Model’ means a probabilistic model of a natural language, such as English or Italian, based on the assumption that all natural languages are highly redundant and correlated; this gives LLM the ability to identify the word or symbol that is most likely to follow a given piece of data.

In light of the above, the Garante launched an investigation on its own initiative, noting that Luka's processing of personal data in the context of the Replika service could give rise to an infringement of personal data protection legislation, with particular reference to: the privacy policy and the transparency obligations; the absence in the privacy policy of a specific indication of the legal basis for the processing in relation to the various processing operations carried out; the legal basis for the processing of minors' personal data, since in this case it must be excluded that it could be based on the performance of a contract; the absence of any filter to verify the age of users, both when accessing the service (by registering an account) and during interaction with the chatbot; the delivery, through the chatbot, of content that conflicts with the protections that should be ensured to minors and, more generally, to all vulnerable individuals.

In this context, on 2 February 2023, having found that the processing of personal data by Luka as regards the Replika service could give rise to an infringement of Articles 5, 6, 8, 9 and 25 of the Regulation and posed concrete risks to minors, also due to the fact that the responses provided were not in line with the enhanced safeguards to be ensured for minors and vulnerable individuals, the President of the Garante, pursuant to Article 5(8) of the Garante's Regulation No. 1/2000,  adopted an urgent measure (No. 39/2023, Reg. No. 18321/2023) against Luka to temporarily limit the processing of personal data of data subjects in Italy, pursuant to Article 58(2)(f) of the Regulation.

Subsequently, by decision No. 280 of 22 June 2023 (Reg. No. 104960/23), the Garante decided to suspend decision No. 39/2023 temporarily limiting the processing, provided that the controller, pursuant to Article 58(2)(d) of the Regulation, adopted appropriate measures to ensure that the processing of personal data within the Replika service was carried out in accordance with the legislation on the protection of personal data. In particular, the Garante ordered the data controller to:

1.    present an updated privacy policy to all users in Italy before registration and before accessing the Replika service;

2.    implement an age gate mechanism on all service registration pages;

3.    implement a ‘cooling-off period’ to prevent minors from entering a different date of birth when they are denied access to the services;

4.    make it possible for users in Italy to easily and effectively exercise their rights regarding personal data protection, including the right to object to the processing of personal data and to request access, rectification and erasure of data;

5.    submit to the Garante, fifteen days before the date scheduled for the opening of the service to Italian users, a plan for the development of a process aimed at preventing access to the service by persons under the age of 18, possibly supported by a language analysis mechanism with subsequent blocking effect;

6.    submit to the Garante, fifteen days before the service being available again to Italian users, a plan for the implementation of functions that allow users to report inappropriate content to prevent the Replika chatbot from providing such content, such as the possibility of flagging specific responses as inappropriate and providing feedback on the user's experience during the session.

The Garante indicated specific deadlines for the implementation of the above requirements, establishing that those referred to in points 1 to 4 had to be fully complied with by 28 July 2023, and that those referred to in points 5 and 6 had to be implemented within fifteen days of the date of the service being available again to Italian users.

2.    LUKA'S REPLIES TO DECISIONS NO. 39/2023 AND NO. 280/2023 

In a letter dated 3 March 2023 (Reg. No. 38795/23), the Company replied that it had promptly taken steps to comply with the Garante's requests, in particular to comply with the request for temporary limitation of processing for users located in Italy, by immediately blocking access to the Replika service from Italy, both through the app and through its website.

Luka also stated that it had launched a series of initiatives aimed at implementing the Garante's requests in a concrete manner, including through the involvement of external consultants and experts in the field. In particular, the Company stated that it had initiated a number of assessments, actions and processes intended to:

-    implement more robust user age verification mechanisms to better ensure that minors in Italy do not use the ‘Replika’ service, which is reserved for adults; in addition to the age gate tools already in use, the Company undertook to introduce automated measures aimed at recognising underage users based on the analysis of indicators contained in conversations with the chatbot;

-    implement algorithms and processes for moderating inappropriate content, in line with best practice;

-    ensure compliance with the Regulation by, among other things, updating the register of processing activities, reviewing and updating data protection impact assessments (DPIAs), and updating the privacy policy relating to the service, in order to increase transparency for users.

By letter dated 31 March 2023 (Reg. No. 55533/23), the Company requested the corrective measure of the temporary limitation imposed by urgent measure No. 39/2023 be lifted, specifying:

-    that the Replika service was designed to limit the extent of personal data processing, in accordance with the principles set out in Article 5 of the Regulation, including i) minimising the collection of user registration data (name, email address, date of birth – to verify age – and any third-party login data); ii) the adoption of data retention and erasure procedures that strike a balance between the need to provide the user with a smooth experience and the need to minimise the personal information that remains accessible; iii) the design of proprietary artificial intelligence (AI) models to interact with users; iv) the non-sharing of user conversations with third parties other than the Company's essential service providers, who are bound by confidentiality obligations; v) the implementation of strict controls designed to limit access to personal data by its own staff; vi) the non-use of user conversations for advertising or marketing purposes; 

-    that it does not offer the service to minors and to base the processing of users' personal data on the legal basis of contract performance; 

-    that it implemented, following the provision of the Garante, several measures aimed at preventing minors from accessing the service in violation of the Company's terms;

-    that it included its mobile application in the Apple App Store with an age rating of 17 or older, which is the highest age rating allowed by Apple;

-    that it does not collect special categories of personal data, given that the sharing of special categories of personal data by users during their interaction with the chatbot is spontaneous and must therefore be qualified as covered by explicit consent to processing, in accordance with Article 9 of the Regulation;

-    that it takes its data protection obligations seriously and has integrated data protection into the design of the service, in accordance with Article 25 of the Regulation, and that it will continue to ‘develop and improve its policies and procedures to provide users with a consistent, secure and rewarding experience’. 

With specific reference to the Garante's decision, the Company stated:

-    that it promptly blocked access to the Replika service to individuals located in Italy;

-    that it strengthened measures to prevent access to the service by minors under the age of 18, in particular by:  i) introducing an age gate on all service registration pages requiring users to indicate a date of birth greater than or equal to 18 years of age in order to access the service; ii) providing for a ‘cooling-off period’, in line with the guidelines of data protection authorities and best practices, to prevent minors from entering a different date of birth when the system denies access to the service; iii) launching activities aimed at improving automated content control processes (reporting individuals likely to be under 18 and preventing use of the service until age verification is completed through more robust methods);

-    that it updated its privacy policy to address the transparency issues identified by the Garante;

-    that it continues to develop and fine-tune its content moderation practices to prevent harm to users, in particular by creating a trust and safety programme to prevent the chatbot from being involved in offensive or harmful conversations;

-    that it restricted access to conversations of a sexual nature or relating to other adult content to users active at 1 February 2023 and made such conversations unavailable to new users;

-    that it continues to endeavour to ensure compliance with the Regulation through the support of an external data protection consultant. The commitments undertaken by the Company include: i) updating and maintaining the Company's record of processing activities; ii) reviewing and updating data protection impact assessments (DPIAs), including documentation of data protection by design and by default processes; iii) refining and reviewing the Company's security policies and procedures; iv) reviewing the Company's data protection governance (including the possibility of appointing a DPO following the expansion of the Company's activities in the European Union).

The Company, by letter dated 26 April 2023 (Reg. No. 68896/23), submitted a second request for lifting the corrective measure of the temporary limitation imposed by urgent measure No. 39/2023, reiterating the measures taken, as already explained in the previous letter.

The Company, in a letter dated 14 June 2023 (Reg. No. 93675/23), further to the discussions held at the hearing on 31 May 2023, reaffirmed that it had responded promptly to Decision No. 39/2023, immediately blocking access to Replika in Italy and implementing adequate measures in response to the issues raised by the Garante in the aforementioned measure. The Company also expressed its commitment to prevent users located in Italy from engaging in conversations of a sexual nature by providing, once the service is reactivated, two versions of Replika: a free version and a paid version containing romantic but not sexual content. According to the Company, the introduction of a paid ‘romantic’ version will require additional age verification based on the user's payment card details, in line with the latest market standards for age verification mechanisms.

In a letter dated 14 July 2023 (Reg. No. 109176/23), the Company announced that it had complied with the requests set out in points 1-6 of decision No. 280/23 and, in particular, stated:

1.    in relation to the information referred to in point 1 of Decision No. 280/23, that it implemented an updated privacy policy in the registration process and prior to access to the service, and that this information would be displayed to Italian users upon reactivation of the service;

2.    with reference to the age gate mechanism referred to in point 2 of Decision No. 280/23, that it implemented an age verification system on all registration pages and that this system would be applied upon reactivation of the service;

3.    with reference to the cooling-off period referred to in point 3 of Decision No. 280/23, that it implemented a cooling-off period to prevent minors from attempting to access the service again by entering a different date of birth. This period—lasting 24 hours—is to be managed (i) by checking the credentials of a minor user's account and subsequently preventing them from entering a different date of birth and (ii) by installing a cookie to prevent minor users from re-entering a different date of birth from the same browser. The Company stated that this cooling-off period would be applied upon reactivation of the service;

4.    with regard to the exercise of the rights referred to in point 4 of Decision No. 280/23, that it provides users with a simple and effective method for exercising their data protection rights, including the right to object to the processing of their personal data and the rights to request access, rectification and erasure of their data, and that this mechanism would be applied upon reactivation of the service;

5.    with regard to the request to prepare a plan for the development of an age verification mechanism during registration referred to in point 5 of Decision No. 280/23, that it implemented processes to prevent access by minors under the age of 18, including a language analysis mechanism that requires users to reconfirm their age through the age gate process when users identify themselves as under the age of 18. If no date of birth that satisfies the age gate is provided, the user cannot access the service The Company stated that such processes would be applied in Italy upon reactivation of the service;

6.    with regard to the request to prepare a plan for the development of an age verification mechanism during the use of the service referred to in point 6 of Decision No. 280/23, the Company stated that it implemented features that allow users to report inappropriate content to prevent the Replika chatbot from presenting it again, such as the ability to flag specific responses as inappropriate and provide feedback on the user experience during the session. The Company stated that these features would be implemented in Italy upon reactivation of the service.

Luka submitted, together with the letter dated 14 July 2023, a copy of the privacy policy updated on 12 June 2023.

3. FACT-FINDING ACTIVITY  

Parallel to adoption of the precautionary measure, the Garante started gathering the info deemed necessary to carry out the fact-finding activity by sending a request for information, in line with Articles 58(1)(e) of the Regulation and 157 of the Code.

By letter dated 6 April 2023 (Reg. No. 58925/23), the Garante sent a request for information to Luka asking for details on how Replika works (categories of personal data processed and source from which they are collected; method used for collection; how the data collected is processed; where the data is stored; security measures adopted; processing of user data for system training purposes or for other purposes pursued by Luka), the processing of users' personal data (legal basis; storage period; minimum age for accessing the service provided by Replika; DPIA; appointment of a representative pursuant to Article 27 of the Regulation; procedures for managing rights pursuant to Articles 12–22 of the Regulation; legal basis and guarantees of adequacy pursuant to Chapter V of the Regulation, where applicable; clarifications regarding automated processing pursuant to Article 22 of the Regulation), and age verification measures for access to the service on the date of notification of urgent measure No. 39/23.

With regard to this request, in a letter dated 8 May 2023 (Reg. No. 74173/23), the Company, after initially claiming that it has a single establishment in the European Union in the Netherlands, stated that:

-    it uses the messages and content that the user sends to the chatbot to enable conversations with that user (the ‘Chatbot Interaction’). In relation to Chatbot Interaction, the content of the database may include basic profile information, conversation topics, questions that the user may ask, and selected preferences or interests. When a user sends a message, the model analyses the text to enable the chatbot to generate a response based on the latest messages in the conversation. The Company has also made it clear that it uses a database containing all the info sent through the chat to create de-identified data and fine-tune the LLM that forms the basis of the chatbot (‘Model Development’). The section of the database used as a source to create de-identified data is limited to: 1) user ‘Reactions’ (‘like’, ‘dislike’, ‘love’, ‘funny’, ‘meaningless’ or ‘offensive’), if the user chooses to make such a selection; 2) ‘Feedback’ on user satisfaction levels with the conversation (‘happy’, ‘neutral’ or ‘sad’); 3) ‘Snippets’, i.e. small parts of user conversations that provide context for interpreting Reactions and Feedback. The information used by the Company for Model Development does not identify specific individuals and cannot be associated with specific individuals (‘De-identified Data’) as any personal identifiers (such as names, addresses, email addresses, telephone numbers and identification numbers) that may be contained in conversation snippets are removed and the snippets are ‘shuffled’ in a randomised fashion;

-    it collects all personal data described above from users‘ interactions with the service;

-    it uses a system for collecting (‘Reactions’, ‘Feedback’ and ‘Snippets’) and processing in real time users’ interactions with the chatbot using webhooks, i.e. automated tools that capture such information and send it to the Company's servers;

-    it follows, in the processing of ‘De-identified Data’ for Model Development, the following steps: 1) data collection, as described above; 2) pre-processing consisting of cleaning, structuring and removing any personal identification data from such data, in order to safeguard privacy (through aggregation and randomisation techniques); 3) labelling of pre-processed data; 4) analysis and development to evaluate the performance of the LLM, identify patterns and develop filters that prevent the model from producing outputs with inappropriate content; 5) testing and validation (regular testing and validation against predefined criteria);

-    it stores personal data on encrypted databases hosted by Amazon Web Services, Inc. in the United States;

-    it does not use personal data provided by users for Model Development;

-    it employs technical and organisational measures to protect the security of personal data and ‘De-identified Data’ from unauthorised access, use and disclosure. These measures include encryption, access controls, vulnerability management, pre-processing and anonymisation of ‘Snippets’, ‘Reactions’ and ‘Feedback’, training and possible disciplinary measures in the event of non-compliance with the measures by the Company's personnel;

-    it relies on the contractual legal basis for ‘Chatbot Interaction’ as the processing of user data is necessary for the provision of the service, in accordance with the Terms of Service. This processing includes the creation and maintenance of user account profiles, the facilitation of payments and transactions, and the processing of data entered by users to generate the chatbot's response;

-    it relies on the legal basis of legitimate interest for ‘Model Development’;

-    it retains data for ‘as long as it deems reasonably necessary to provide users with a safe, enjoyable and successful experience on the platform’, in accordance with the principle of minimisation;

-    it retains ‘Chatbot Interaction’ data for ‘a period sufficient to enable the retrieval of information to ensure a seamless conversation experience for users with the chatbot, in line with user expectations’;

-    it retains [without further specification, editor's note] user data to create ‘De-identified Data’ for ‘Model Development’;

-    that the minimum age required to use the Replika service is 18 years;

-    that there is no contradiction between the previous point and the statement contained in the Company's privacy policy, which reads: ‘We do not knowingly collect Personal Data from children under the age of 13. If you are under 13, please do not submit any Personal Data through the Services’, as this statement has been included as required by US federal law (COPPA);

-    the Replika mobile application included an age gate that prevented minors under the age of 18 from accessing the service even before the Garante's Decision of 2 February 2023. The Company has also listed its application in the Apple App Store with an age rating of 17+, which is the highest age rating allowed by Apple;

-    all adult content has been placed behind a paywall, out of reach of minors;

-    following the Decision of 2 February 2023, the Company deliberately improved the measures aimed at preventing minors under the age of 18 from accessing the service;

-    it has not designated a representative pursuant to Article 27 of the Regulation as the Company has an establishment in the European Union;

-    with regard to the exercise of the rights of data subjects, the relevant information is provided through a privacy policy published on the Company's website and in the App. Access, rectification and erasure may be requested by users, who may also object to and restrict the processing of any personal data that is not necessary for the provision of the service. Requests are evaluated on a case-by-case basis;

-    it does not engage in any profiling of data subjects or take automated decisions that have legal or equally significant effects;

-    it collects personal data directly from users and does not transfer them from Italy or the European Union in accordance with Chapter V of the Regulation and has entered into data processing agreements with data processors, which include standard contractual clauses where required;

-    for the purpose of content control, it has trained its models to prevent the emergence and escalation of inappropriate content or inappropriate responses. As part of this process, the Company uses open-source data sets specifically designed and made available to the artificial intelligence research community for the purpose of improving the safety and robustness of machine learning models. The Company has also developed, and continues to improve and refine, filters that recognise keywords, phrases and patterns associated with harmful behaviour, such as self-harm, insults or murder. The filters trigger the LLM to respond appropriately to such content, for example by changing the topic of the conversation or providing users with self-help resources. The Company also uses human review in both the evaluation of the AI model and the development of filters;

-    it uses other methods to control content that is inappropriate or conflicts with the app's Terms of Service, including: 1) placing so-called romantic content behind a paywall and disabling sexually explicit content for new users; 2) allowing users to report specific content or conversations as offensive in real time and using such reports to improve the models and prevent them from developing similar content in the future; 3) prohibiting users, in the Terms of Service, from uploading illegal, harmful and threatening content.

Along with its reply of 8 May, the Company provided a copy of the privacy policy applicable on 2 February 2023, its updated version dated 22 March 2023, and a copy of the impact assessment (undated and unsigned).

By letter dated 27 February 2024 (Reg. No. 23744/24), the Garante informed the Company of the initiation of proceedings for the adoption of corrective measures and sanctions pursuant to Article 166(5) of the Code and Article 12 of the Garante's Regulation No. 1/2019, alleging that Luka had infringed Articles 5, 6, 7, 8, 12, 13, 24 and 25(1) of the Regulation in relation to the processing of personal data carried out by the Company through the Replika service as at 2 February 2023.

The Company did not reply to the notice of initiation of proceedings nor did it request to be heard pursuant to Article 166(6) of the Code and Article 13 of the Garante's Regulation No. 1/2019. 

In the notice of initiation of proceedings, which is hereby expressly and fully referred to, the Garante alleged three infringements against the Company on the basis of the critical issues identified in urgent measure No. 39/2023. The evaluation conducted by the Garante focused on the facts, the processing operations and the measures implemented by Luka as at 2 February 2023.

With regard to the failure to identify the conditions governing the lawfulness of the processing, the Garante found that the privacy policy that was online at the time of the adoption of the urgent measure—updated on 5 July 2022—did not provide a granular description of the legal basis for the various processing operations carried out by the Company in connection with the Replika service. The reference to the legal bases for the performance of a contract (Article 6(1)(b) of the Regulation) and the consent of the data subjects (Article 6(1)(a) of the Regulation), as well as to a generic authorisation (‘authorisation’, not obligation) under the law, were not in fact linked or attributable to specific processing operations (so-called granularity), making it impossible to identify and evaluate the suitability of those legal bases. Furthermore, the privacy policy dated 5 July 2022, effective on 2 February 2023, did not contain any reference to the legal basis underlying the processing of personal data for the development of the LLM that powers the chatbot, nor did the documentation subsequently produced—notably the privacy policy—even in the version updated on 22 March 2023, and the DPIA, include elements demonstrating that the Company had identified a legal basis for this purpose prior to 2 February 2023.

In light of the above, the Garante alleged that Luka had possibly infringed Article 5(1)(a) and Article 6 of the Regulation by failing to identify, as at 2 February 2023, the legal bases for the various processing operations carried out through the Replika service.

With regard to transparency obligations, the Garante's evaluation concerned the privacy policy applicable as at 2 February 2023, i.e. the version updated on 5 July 2022. From a formal point of view, the Garante, in the act initiating the proceedings, found that as at 2 February 2023 the privacy policy was only available in English (including for minors) and was not easily accessible.  From a content point of view, it was found that as at 2 February 2023, the privacy policy:

-    did not indicate the legal basis for each processing activity and type of data processed;

-    did not indicate the purposes of the processing with specific reference to the two distinct types of processing, namely processing for ‘Chatbot Interaction’ and processing for ‘Model Development’; 

-    in the sections ‘People mentioned in the chat’ and ‘Integration with your Instagram account’, two categories of personal data processed for the purpose of enabling user conversations were indicated; 

-    did not clarify that the service was offered exclusively to adults, since, as mentioned above, the privacy policy only included a reference to minors under the age of 13 in compliance with the requirements of COPPA (Children's Online Privacy Protection Act);

-    did not provide any specific information regarding the storage period of personal data or the criteria used to determine such period;

-    did not clarify whether personal data were transferred outside the EEA and, in such case, what the legal basis and guarantees of adequacy referred to in Chapter V of the Regulation were. In particular, the text of the privacy policy (see, in particular, the statement ‘By using our services or providing us with any information, you consent to this transfer, processing, and storage of your information in the U.S.A., a jurisdiction in which the privacy laws may not be as comprehensive as those in the country where you reside or are a citizen’) is in clear contradiction with the statement made by the same Company in its letter dated 8 May 2023 (Reg. No. 74173/23), where it is stated that, since the criterion of establishment in the European Union does not apply, no transfer of personal data from the European Union (in particular, from Italy) to the US is possible under Chapter V of the Regulation;

-    in section 6 entitled ‘Your data protection rights’, the privacy policy provided specific information on the right set out in Article 22 of the Regulation, even though the provision was not expressly referred to. This reference (no longer present in the version dated 22 March 2023) was sufficient to lead users to believe that their personal data were subject to automated decision-making in violation of the principles of transparency and fairness. This circumstance was denied by the same data controller in its reply (Reg. No. 74173/23), in which it argued that ‘although the chatbot relies on automated processes to generate responses, the Services do not make decisions based on profiling that have legal or similar effects within the meaning of Article 22 of the Regulation’.

In light of the above, the Garante alleged that Luka had possibly infringed Article 5(1)(a), 6, 12 and 13 of the Regulation, given that, as at 2 February 2023, the privacy policy relating to the Replika service did not comply with the general obligations and principles of transparency and was provided in such a way and at such a time that it could not be readily accessed by users.
Lastly, with regard to the lack of mechanisms for age verification of minors, the Garante alleged the failure to implement measures ensuring specific protection for minors in relation to access to and use of the Replika service as at 2 February 2023. In particular, the following were found to be lacking:

-    a user age verification procedure (the system only required name, email address and gender), with the consequent risk of minors being presented with responses that were unsuitable for their level of development and self-awareness, including sexually explicit content;

-    mechanisms to prohibit or block access even when the user clearly stated that they were a minor; in addition, the chatbot provided responses that were clearly contrary to the protections that should be ensured for minors and, more generally, for all vulnerable individuals.

The Garante, when initiating the proceedings, acknowledged that the Company had implemented age verification mechanisms following the request made by the Garante in the temporary limitation decision adopted as a matter of urgency on 2 February 2023. In particular, during the exchanges that followed the adoption of the aforementioned decision and with specific reference to age verification, the data controller stated that it had implemented an age gate on all registration pages for the Services aimed at restricting access to users who are at least 18 years of age and that the age verification mechanism includes a ‘cooling-off period’ aimed at preventing users—once they have ascertained that it is impossible to access the service by entering their real personal data—from immediately entering a different date of birth that would allow them to access the service. The Company also stated that a process was being developed to use language analysis to identify and prevent the use of the Services by persons under the age of 18.

In light of the above, the Garante alleged that Luka had possibly infringed Article 5(1)(c), 6; 7; 8; 24 and 25(1) of the Regulation for failing to put in place appropriate systems to verify the age of individuals as at 2 February 2023.

4. EXISTENCE OF EU JURISDICTION AND COMPETENCE OF THE GARANTE

As a preliminary observation, the Garante considers it appropriate to address the issues relating to the applicability of European data protection legislation to the service offered by Luka and to its own competence, also taking into account the objections raised by the Company in its reply dated 8 May 2023 to the request for information sent by the Garante.

Article 3 of the Regulation governs the territorial scope of application of the legislation, establishing different criteria depending on whether or not the data controller is established in the European Union. 

In the first case (Article 3(1), known as the establishment criterion), the Regulation applies regardless of whether the processing is carried out in the Union or not, and competence is determined in accordance with the one-stop-shop mechanism, pursuant to Article 56 of the Regulation.

In the second case (Article 3(2), known as the targeting criterion), the Regulation applies to the processing of personal data of data subjects who are in the Union insofar as the processing activities relate to: i) the provision of goods or services to data subjects in the Union (Article 3(2)(a) of the Regulation); ii) the monitoring of the behaviour of data subjects located in the Union insofar as such behaviour takes place in the same Union (Article 3(2)(b) of the Regulation).

The Company stated in the above-mentioned letter that it has a single establishment in the European Union in the Netherlands, reporting that it has ‘a group of employees located in the Netherlands, including a number of decision-makers involved in cross-border data processing for the development of LLM and of the product’ and that ‘the Company's employees located in the Netherlands are involved in decisions concerning the processing of personal data by the Company and the operation of LLM globally, including decisions concerning the minimum portion of users located in Italy’. The existence of a Dutch establishment in the European Union would entail the application of the one-stop-shop mechanism and the competence of the Dutch data protection authority as lead supervisory authority in cooperation with the authorities concerned.

However, this statement is not supported by any evidence. In fact, both in the privacy policy published on Replika's website as at 2 February 2023 (version updated on 5 July 2022) and in subsequent versions thereof (including the current version updated on 23 February 2024), there is no mention of an establishment of the company in the Netherlands; likewise, no mention can be found in the Terms of Service (neither in the version updated on 14 September 2022 nor in the current version, updated on 7 February 2023), which, on the contrary, states that Luka is ‘a software company who designed and built Replika, incorporated in Delaware, and operating in San Francisco, CA’.

Furthermore, the statements in the letter of 8 May 2023 are extremely vague, as they do not even indicate the name and registered office of the company allegedly established in the European Union (thus making it impossible to carry out any checks in cooperation with the Dutch supervisory authority pursuant to Article 61 of the Regulation) and are not supported by any document evidence (e.g. the Dutch company's articles of association or chamber of commerce registration).

As things stand, therefore, the Garante considers that no evidence has been provided to effectively demonstrate the existence of an establishment of the Company in the European Union and, as a result, the applicability of the establishment criterion under Article 3(1) of the Regulation and of the one-stop-shop mechanism with the competence of the Dutch data protection authority.

In the present case, the existence of EU jurisdiction and the competence of the Garante must be ascertained on the basis of the targeting criterion set out in Article 3(2), of the Regulation: more specifically, it must therefore be ascertained, as a preliminary matter, whether the Replika service can be considered as offered to data subjects located in the European Union for the purposes of the applicability of point (a) of the aforementioned Article 3 of the Regulation.

In this regard, reference is made to the ‘Guidelines 3/2018 on territorial scope’, adopted by the European Data Protection Board (EDPB) on 12 November 2019, which provide that the ‘controller [...] demonstrates its intention to offer goods or services to a data subject located in the Union’ (see paragraph 2(a) of the aforementioned Guidelines) and the case law of the Court of Justice of the European Union (judgment Pammer/Reederei Karl Schlüter GmbH & Co and Hotel Alpenhof/Heller – joined cases C-585/08 and C-144/09), which may be taken into account in order to determine whether a commercial activity carried out by an entity is directed to a Member State, among which the fact that the European Union is mentioned in connection with the goods or services offered, the international nature of the activity or the launch of advertising and marketing campaigns aimed at the public of an EU country.

In the present case, the evidence that the Replika service was offered to data subjects located in the European Union and, in particular, in Italy as at 2 February 2023, is clear from the Company's initial reply to the order for temporary limitation issued by the Garante in its urgent measure  No. 39/2023, which states (see letter dated 3 March 2023, p. 1) that ‘the Company promptly complied with the request for temporary limitation of processing for users established in Italy, immediately blocking access to both the app and the service website from Italy’.

Having demonstrated the territorial applicability of the Regulation and the competence of the Garante in the manner and within the terms set out above, the following remarks are made.

The processing of personal data carried out by Luka qualifies as cross-border processing of personal data within the meaning of Article 4(1)(23) of the Regulation, as it is likely to affect data subjects in more than one Member State.

For this type of processing, where the controller has identified a single or main establishment in the European Union, as already explained, the cooperation mechanism described in Articles 60 et seq. of the Regulation applies, and the competence to exercise the tasks and powers referred to in Articles 57 and 58 of the Regulation lies, pursuant to Article 56(1) of the Regulation, with the lead supervisory authority, i.e. the supervisory authority of the Member State in which the single or main establishment is located.

If, on the contrary, as in the present case, the data controller does not have an establishment in the European territory, the data controller shall ‘liaise with the supervisory authorities of each Member State in which it operates through the designated representative’ (see paragraph 3.3. of the ‘Guidelines on the Lead Supervisory Authority’ adopted by the Article 29 Working Party on 13 December 2016, revised on 5 April 2017 and endorsed by the EDPB on 25 May 2018).

In fact, where a controller does not have an establishment in the European Union (or, more precisely, in the EEA), the special rule in Article 56 does not apply and the general rule set out in Article 55(1) of the Regulation applies, according to which ‘each supervisory authority shall be competent for the performance of the tasks assigned to and the exercise of the powers conferred on it in accordance with this Regulation on the territory of its own Member State’.

In the present case, as mentioned above, Luka is a company based in the United States of America and has not demonstrated that it has an establishment in the territory of the European Union. Therefore, the Garante (Italian Data Protection Authority) is competent to evaluate, as regards its own territory, the compliance with the Regulation of the processing of personal data carried out by the Company and to exercise the powers conferred on it by Article 58 of the Regulation.

5. FINDINGS OF INFRINGEMENT

5.1 ARTICLES 5(1)(A) AND 6 OF THE REGULATION

The Garante notified Luka of the infringement of Articles 5(1)(a) and 6 of the Regulation for failing, as at the date of 2 February 2023, to identify the legal bases for the different processing operations carried out through the Replika service which was provided and made available to the public in Italy on that date.

Article 5(1) of the Regulation provides that ‘Personal data shall be: a)processed lawfully, fairly and in a transparent manner in relation to the data subject (‘lawfulness, fairness and transparency’); b) collected for specified, explicit and legitimate purposes and not further processed in a manner that is incompatible with those purposes; further processing for archiving purposes in the public interest, scientific or historical research purposes or statistical purposes shall, in accordance with Article 89(1), not be considered to be incompatible with the initial purposes (‘purpose limitation’); c) adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed (‘data minimisation’); d) accurate and, where necessary, kept up to date; every reasonable step must be taken to ensure that personal data that are inaccurate, having regard to the purposes for which they are processed, are erased or rectified without delay (‘accuracy’); e) kept in a form which permits identification of data subjects for no longer than is necessary for the purposes for which the personal data are processed; personal data may be stored for longer periods insofar as the personal data will be processed solely for archiving purposes in the public interest, scientific or historical research purposes or statistical purposes in accordance with Article 89(1) subject to implementation of the appropriate technical and organisational measures required by this Regulation in order to safeguard the rights and freedoms of the data subject (‘storage limitation); f) processed in a manner that ensures appropriate security of the personal data, including protection against unauthorised or unlawful processing and against accidental loss, destruction or damage, using appropriate technical or organisational measures (‘integrity and confidentiality’)’. Paragraph 2 of the same Article provides that ‘The controller shall be responsible for, and be able to demonstrate compliance with, paragraph 1 (‘accountability’)’.

Recital 39 clarifies that ’Any processing of personal data should be lawful and fair. It should be transparent to natural persons that personal data concerning them are collected, used, consulted or otherwise processed and to what extent the personal data are or will be processed. The principle of transparency requires that any information and communication relating to the processing of those personal data be easily accessible and easy to understand, and that clear and plain language be used. That principle concerns, in particular, information to the data subjects on the identity of the controller and the purposes of the processing and further information to ensure fair and transparent processing in respect of the natural persons concerned and their right to obtain confirmation and communication of personal data concerning them which are being processed’.

Article 6 of the Regulation sets out the conditions for lawful processing by listing six possible legal bases (consent, contract, legal obligation, vital interest, public interest and legitimate interest) on which the data controller must rely to lawfully process personal data necessary for carrying out its activities. As clarified by the EDPB ‘The legal basis must be identified at the outset of processing, and information given to data subjects in line with Articles 13 and 14 must specify the legal basis. (see Guidelines 2/2019 on the processing of personal data under Article 6(1)(b) GDPR in the context of the provision of online services to data subjects)’.

The Company did not submit any defence statements or documents, pursuant to Article 166(5) of the Code, following the Garante’s notice of infringement and initiation of proceedings, and thus did not provide any counter-arguments regarding the alleged infringement related to the failure to indicate the legal basis for each of the processing activities carried out by Luka within the scope of the Replika service.

In the present case, the documentation reviewed during the investigation—particularly the text of the privacy policy published on the date of the adoption of the Garante's urgent measure, as last updated on 5 July 2022—shows that the Company failed to identify, in a granular manner, the legal basis for the different processing operations carried out by the Company within the Replika service, including the processing of data used for the development of the LLM.

The only references provided in the introductory section of the privacy policy are as follows:
‘We care about the protection and confidentiality of your data. We therefore only process your data to the extent that:

•    It is necessary to provide the Replika services you are requesting,

•    You have given your consent to the processing, or

•    We are otherwise authorized to do so under the data protection laws’.

The legal bases referred to therein—namely, the performance of a contract (Art. 6(1)(b) of the Regulation), the consent of the data subjects (Art. 6(1)(a) of the Regulation), and a legal authorisation (although the Regulation in fact requires a legal obligation, not merely an authorisation, as a legal basis)—are cited only implicitly and generically. They are not referred to specific processing operations (the so-called principle of granularity), thereby making it impossible to identify and assess their appropriateness.

Finally, neither the privacy policy nor the documents on file contain any reference to the legal basis for the processing of personal data for the purpose of developing the LLM that powered the chatbot until 2 February 2023.

Specifically, while the evidence provided by Luka is relevant, it is not conclusive. In particular, the DPIA and the privacy policy submitted on 8 May 2023 do not overcome the concerns raised by the Garante regarding the principle of lawfulness and the identification of a valid legal basis for the processing, as required respectively under Articles 5(1)(a) and 6 of the Regulation, since:

-    The privacy policy, including the later version updated on 22 March 2023, does not explicitly mention the purpose of ‘Model Development’ nor its legal basis in the table set out in paragraph 2;

-    The DPIA, while distinguishing between the two processing purposes of ‘Chatbot Interaction’ and ‘Model Development’ (par. I) and analysing their respective legal bases (par. II), does not provide a clearly identified date and therefore does not demonstrate that the identification of the lawfulness conditions under Article 6 of the Regulation occurred prior to 2 February 2023. Moreover, the DPIA refers to legitimate interest as the legal basis for processing for the purposes of ‘Model Development’ without providing any arguments relating to the so-called ‘three-step test’ required in the legitimate interest assessment. Finally, it is pointed out that the DPIA, while being an excellent accountability tool, is not the document chosen by regulators for informing data subjects about processing activities; such information must instead be provided in the privacy policy.

With reference to Article 5(1)(a) of the Regulation, attention is drawn to the principle expressed by the EDPB in its binding decision 1/2021 on transparency—also applicable to the principle of lawfulness—according to which the principles set out in Article 5 of the Regulation must be considered as a general concept which is then implemented in various provisions and specific obligations (in the case of lawfulness, in Articles 6, 7, 8, 9 and 10 of the Regulation). Therefore, according to the EDPB, it is necessary to distinguish the specific obligations arising from a principle (in this case, Article 6 of the Regulation) from the principle itself as set out in Article 5 of the Regulation, since the principle cannot be circumscribed to the specific obligation, although the specific obligation is a concretisation of the principle.

The principle of lawfulness is indeed an overarching principle that reinforces other principles (such as fairness and accountability). This is confirmed by Article 83(5) of the Regulation which allows for separate sanctions for infringing the lawfulness obligations independently of any breach of the principle itself. In this specific case, the Garante considers that there has also been an infringement of the principle of lawfulness referred to in Article 5(1)(a) of the Regulation, taking into account the gravity (lack of a clear and granular identification of the legal bases underpinning the different processing operations), the nature (this is an essential element of data processing) and the impact (this is a new type of processing connected to an innovative technology such as generative artificial intelligence) of the single specific infringement of the obligation referred to in Article 6 of the Regulation.

Based on the foregoing, the Garante considers that Luka failed, as at 2 February 2023, to identify the legal bases applicable to the different processing operations carried out through the Replika service, provided and made available to the public in Italy on that date, in breach of Articles 5(1)(a) and 6 of the Regulation.

With regard to the substantive analysis and evaluation of the legal bases under Article 6(1)(b) and (f) of the Regulation—allegedly relied upon for the use of the chatbot and the post-training of the LLM underlying the Replika service—and, more generally, the legal bases applicable throughout the entire lifecycle of the generative AI system developed by the Company, the Garante reserves the right to initiate a separate and autonomous investigation.

5.2 ARTICLES 5(1)(A), 12 AND 13 OF THE REGULATION

The Garante notified Luka of the infringement of Articles 5(1)(a), 12 and 13 of the Regulation for having provided, as at the date of 2 February 2023, a privacy policy concerning the Replika service which did not comply with the obligations and general principles on transparency established under the Regulation. 

Article 5(1)(a) of the Regulation requires that personal data be processed lawfully, fairly, and in a transparent manner in relation to the data subject (principles of lawfulness, fairness and transparency).

Article 12 of the Regulation lays down rules regarding transparency and the modalities for the exercise of rights, while Article 13 specifies the information that a data controller must provide when personal data are collected from the data subject.

On the subject of transparency, Recital 58 of the Regulation requires that any information addressed to the public or the data subject be concise, easily accessible and easy to understand, and that clear and plain language be used, and, with reference to the specific protection of children, it provides that ‘where processing is addressed to a child, should be in such a clear and plain language that the child can easily understand’.

On the issue of transparency, the Committee's guidance is also relevant, particularly Guidelines 2/2019 on the processing of personal data under Article 6(1)(b) of the GDPR in the context of the provision of online services to data subjects, where it is provided that the legal basis for the processing must not only be identified at the outset of processing, but also explicitly specified in the ‘information given to data subjects in line with Articles 13 and 14’; the Committee's Guidelines 1/2022 on data subject rights – Right of access, are also applicable. Paragraph 142 of these Guidelines affirms that ‘a controller that offers a service in a country should also offer answers in the language that is understood by the data subjects in that country’.

Finally, the Guidelines adopted by the Article 29 Working Party on 11 April 2018, clarified that ‘The concept of transparency in the GDPR is user-centric rather than legalistic and is realised by way of specific practical requirements on data controllers and processors in a number of articles. The practical (information) requirements are outlined in Articles 12 - 14 of the GDPR. (…) The transparency requirements in the GDPR apply irrespective of the legal basis for processing and throughout the life cycle of processing. This is clear from Article 12 which provides that transparency applies at the following stages of the data processing cycle:  i) before or at the start of the data processing cycle, i.e. when the personal data is being collected either from the data subject or otherwise obtained; ii) throughout the whole processing period, i.e. when communicating with data subjects about their rights; and iii) at specific points while processing is ongoing, for example when data breaches occur or in the case of material changes to the processing’.

The Company did not submit any defence statements or documents, pursuant to Article 166(5) of the Code, following the Garante’s notice of infringement and initiation of proceedings, and thus did not provide any counter-arguments in relation to the alleged infringement of the transparency obligations and general principles of transparency as required by the Regulation.

The Garante's investigation, as already noted above, focused on the privacy policy adopted and published by Luka on 2 February 2023, that is to say the version updated on 5 July 2022.
First of all, from a formal point of view, the investigation established that, as at the date of 2 February 2023, the privacy policy was available only in English, not considering the language of the country in which the service was offered, namely Italian. 

From a substantive point of view, it is noted that as at the date of 2 February 2023, the privacy policy failed to comply with the principles of fairness and transparency as it was incomplete and inaccurate.

In particular, with regard to the accuracy of the information provided to data subjects, it was found that the privacy policy:

-    did not specify in a granular manner the legal basis for each processing operation carried out, nor the type of data processed;

-    did not distinguish the purposes of the two distinct types of processing activities, namely the processing of data through ‘Chatbot Interaction’, intended to allow users to register for the service and interact with the platform, and the processing of data for ‘Model Development’, aimed at improving the security and performance of the Large Language Model (LLM) underlying the service offered (‘Model Development’);

-    did not clearly state that the service was intended exclusively for users aged 18 and above, although it encouraged users under the age of 13 not to use the service. In particular, paragraph 8 of the aforementioned privacy policy stated: ‘We do not knowingly collect Personal Data from children under the age of 13. If you are under the age of 13, please do not submit any Personal Data through the Services. We encourage parents and legal guardians to monitor their children’s Internet usage and to help enforce our Privacy Policy by instructing their children never to provide Personal Data on the Services without their permission. If you have reason to believe that a child under the age of 13 has provided Personal Data to us through the Services, please contact us, and we will endeavour to delete that information from our databases’. Although this information made it clear that the service was not intended for persons under the age of 13 (‘If you are under the age of 13, please do not submit any Personal Data through the Service’), it did not clearly specify that access to the chatbot was restricted only to users aged 18 and over, and that users between the ages of 13 and 18 were excluded. This latter circumstance was clarified by the Company only at a later stage;

-    did not provide any precise indication as to the storage period of the personal data or the criteria used to determine that period;

-    did not clarify whether personal data were transferred outside the EEA, nor did it specify, where such transfers occurred, the legal basis for processing or the adequacy measures adopted under Chapter V of the Regulation. More specifically, the information provided by the Company (namely the section of the privacy policy reading: ‘By using our services or providing us with any information, you consent to this transfer, processing, and storage of your information in the U.S.A., a jurisdiction in which the privacy laws may not be as comprehensive as those in the country where you reside or are a citizen’) appeared likely to mislead data subjects as to the transfer of their personal data to the USA. The absence of any transfer of personal data to third countries was confirmed by the Company itself in its letter of 8 May 2023 (Reg. No. 74173/23) concerning the applicability of the criterion of establishment in the European Union. It is therefore noted that the controller's own statements confirm the presence of misleading information;

-    Section 6, ‘Your data protection rights’, while not expressly referring to Article 22 of the Regulation, provided specific information on that right, thus giving users the unfounded belief that their personal data were subject to automated decision-making. The absence of an automated processing within the meaning of Article 22 of the Regulation was confirmed by the data controller in its reply letter (Reg. No. 74173/23), where it claimed that ‘although the chatbot relies on automated processes to generate responses, the Services do not make decisions based on profiling which produce legal effects on data subjects or similarly affect them within the meaning of Article 22 of the Regulation’. This again confirms, through the controller's own statements, the presence of misleading information.

With reference to Article 5(1)(a) of the Regulation, reference is made to the same binding decision of the EDPB mentioned in the previous paragraph (binding decision 1/2021), according to which transparency is to be regarded as a general concept which is then concretised in various provisions and specific obligations (e.g. Articles 12, 13, 14, 25 and 35). It is therefore necessary to distinguish the specific obligations arising from the principle of transparency (set out in Articles 12-14 of the Regulation) from the principle expressed in Article 5 of the Regulation, since although these obligations are a concretisation of the general principle, the latter has a broader scope.

The principle of transparency, in fact, is an overarching principle that reinforces other principles (such as fairness and accountability). This interpretation is confirmed by the fact that Article 83(5) of the Regulation allows for distinct administrative fines for infringing transparency obligations independently of any breach of the principle itself. In other words, the transparency obligations do not define the entire scope of the principle of transparency, it follows that a breach of the transparency obligations laid down in Articles 12 to 14 of the Regulation may also constitute a violation of the principle of transparency where such a breach is marked by elements of gravity and systematicity.

In the present case, the Garante considers that there has also been an infringement of the principle of transparency laid down in Article 5(1)(a) of the Regulation, taking into account the gravity (failure to provide information to the data subjects on the legal bases underlying the different personal data processing operations), the nature (lack of clear information on the essential elements of the processing, such as the legal basis, purpose, storage principle, transfer outside the EU) and the impact (this is a new type of processing connected to an innovative technology such as generative artificial intelligence) of the single specific infringements of the obligations under Articles 12 and 13 of the Regulation.

For the above reasons, the Garante considers that Luka infringed, as at the date of 2 February 2023, Articles 5(1)(a), 12 and 13 of the Regulation.

For the sake of completeness, it should be noted that subsequent technical investigations revealed that the data controller updated the privacy policy for the Replika service again on 23 February 2024. In this latest version, certain inaccuracies previously identified were rectified. Notably, the privacy policy in force at the date of adoption of this decision now granularly mentions the legal basis for each processing activity carried out by the controller and the type of data processed; it expressly clarifies that the service is exclusively intended for users over the age of 18, and contains no reference, not even implicit, to automated decision-making within the meaning of Article 22 of the Regulation. Nonetheless, the information provided under Articles 12 and 13 of the Regulation remains available only in English, does not include specific information on the personal data storage period or the criteria used to determine such a period, and may still mislead data subjects as to the possible transfer of their personal data to the USA.

5.3 ARTICLES.  5(1)(C), 6, 7, 8, 24 AND 25(1) OF THE REGULATION

The Authority notified Luka of the infringement of Articles 5(1)(c); 6; 7; 8; 24 and 25(1) of the Regulation for failing to set up users’ age verification systems as at the date of 2 February 2023. 
Pursuant to Article 5(1)(c) of the Regulation: ‘Personal data shall be adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed’.

Pursuant to Article 24(1) of the Regulation: ‘Taking into account the nature, scope, context and purposes of processing as well as the risks of varying likelihood and severity for the rights and freedoms of natural persons, the controller shall implement appropriate technical and organisational measures to ensure and to be able to demonstrate that processing is performed in accordance with this Regulation. Those measures shall be reviewed and updated where necessary’.

Pursuant to Article 25(1) of the Regulation, the controller shall implement those measures ‘Taking into account the state of the art, the cost of implementation and the nature, scope, context and purposes of processing as well as the risks of varying likelihood and severity for rights and freedoms of natural persons posed by the processing, the controller shall, both at the time of the determination of the means for processing and at the time of the processing itself ‘.

In the Guidelines 4/2019 on Article 25 of the Regulation, the EPDB clarified that ‘The core of the provision is to ensure appropriate and effective data protection both by design and by default, which means that controllers should be able to demonstrate that they have the appropriate measures and safeguards in the processing to ensure that the data protection principles and the rights and freedoms of data subjects are effective’ and called on data controllers to take into account also the obligations to provide specific protection to children under 18 and other vulnerable groups with a privacy-oriented approach in the data processing design process and default settings.

In the same Guidelines, the EDPB also emphasised that: ‘In line with Article 25(1) the controller shall implement appropriate technical and organisational measures which are designed to implement the data protection principles and to integrate the necessary safeguards into the processing in order to meet the requirements and protect the rights and freedoms of data subjects. Both appropriate measures and necessary safeguards are meant to serve the same purpose of protecting the rights of data subjects and ensuring that the protection of their personal data is built into the processing. Technical and organizational measures and necessary safeguards can be understood in a broad sense as any method or means that a controller may employ in the processing. Being appropriate means that the measures and necessary safeguards should be suited to achieve the intended purpose, i.e. they must implement the data protection principles effectively’.

The Company did not submit any defence statements or documents pursuant to Article 166(5) of the Code, following the Garante’s notice of infringement and initiation of proceedings, and thus did not provide any counter-arguments in relation to the alleged infringement of failing to set up users’ age verification systems. 

In the light of the above-mentioned rules and guidelines, the Authority notes that the data controller is required to implement appropriate technical and organisational measures to ensure, and be able to demonstrate, that processing is carried out in accordance with the Regulation and to process only personal data that are adequate, relevant and limited to what is necessary for the purposes for which they are processed. 

However, the preliminary investigation revealed that the Company failed to adopt measures to ensure specific protection of personal data processed through the Replika service in relation to children under the age of 18. In particular, the absence of age verification procedures, as well as the lack of mechanism to block or restrict access following declarations by users indicating that they are under 18, showed that the data controller did not assess, ex ante, the risks likely to arise from minors registering for and using the service. As a result, on the one hand, the controller did not take any measures to prevent, minimise or mitigate such risks, and, on the other, it processed more data than those necessary for the intended purposes of the processing (i.e. offering the service to users over the age of 18).

The investigation showed that, as at 2 February 2023, the Company had not implemented any age verification mechanisms, either at the time of registration to the Replika service or during its use, despite excluding minors from potential users.

In particular, the following shortcomings were identified:

-    absence of an age verification procedure (the system only required name, email address and gender) with the consequent risk of exposing minors to answers inappropriate for their level of development and self-awareness, including sexually explicit content;

-    lack of banning or blocking mechanisms, even when users declared or otherwise made it clear that they were underage, as well as the provision by the chatbot of responses that were clearly incompatible with the level of protection that should be guaranteed to children and, more generally, to all vulnerable individuals.

Until 2 February 2023, therefore, the Company had not adopted any technical and organisational measures to ensure compliance with the general principles of the Regulation or to safeguard the rights and freedoms of minors, thereby exposing them to the significant personal risks that the legislation in question is intended to limit, including the risk of receiving responses inappropriate to their level of psychophysical development and self-awareness.

Luka implemented age verification mechanisms only after receiving the request from the Garante in the context of the temporary limitation measure, adopted as a matter of urgency on 2 February 2023. In particular, during the discussions that followed the adoption of the aforesaid decision and with specific reference to the age gate issue, the Company explained that it had introduced an age gate across all registration pages of the Services restricting access to users over the age of 18 and which includes a ‘cooling-off period’ aimed at preventing users who are initially denied access based on their real personal data from immediately reattempting registration using a different date of birth. 

The Company also stated its intention to develop a process based on language analysis to detect and prevent use of the Services by individuals under the age of 18.

Prior to the Garante's intervention, therefore, all users—including minors—could register to and use the Replika service without being asked to undergo any age verification. As already clarified in the notice of infringement, in the Garante's view, the lack of a common standard capable of guaranteeing, with absolute certainty, the effectiveness of age verification systems, and the ongoing debate at European level on this issue, are not sufficient to exempt the data controller from its obligations, in particular the obligation to verify the user's actual capacity to enter into a contract, which is essential for its validity.

It follows from the foregoing that, as at 2 February 2023, the Company had not implemented, in accordance with Article 24 of the Regulation, the necessary measures to ensure that the processing of personal data at the time of registration for the Replika service complied with Articles 5(1)(c), 24, and 25 of the Regulation. In particular, the Company failed to implement technical and organisational measures ‘which are designed to implement data-protection principles, such as data minimisation, in an effective manner and to integrate the necessary safeguards into the processing in order to meet the requirements of this Regulation and protect the rights of data subjects’. As a result, personal data were processed in excess of what was necessary for the purposes of a service which, according to the declarations of the data controller and the documents on file, was intended to be offered only to users over the age of 18 years.

With specific reference to the infringement of Article 5(1)(c) of the Regulation, it should be noted that, in this case, the adoption of appropriate technical and organisational measures—by design—intended ‘to implement data-protection principles, such as data minimisation’, not only constitutes a core requirement under Article 25(1) of the Regulation, but also represents an additional element substantiating the infringement of the minimisation principle itself, in line with Recital 78 of the Regulation.

More specifically, the Company's failure to adopt appropriate measures to safeguard access to and use of the Replika service resulted not only in the systematic processing by Luka of personal data exceeding what was necessary for the intended purpose of the processing (i.e. providing the service to users over the age of 18), but also that such processing involved data concerning vulnerable individuals (children, even potentially under the age of 13) who, because of this shortcoming, combined with the innovative technology underlying the service and the highly sensitive nature of the interactions generated by the chatbot, were exposed to a particularly high risk. 

The news reports that prompted the Garante to initiate its investigation—together with documented cases of self-harm associated with the use of the chatbot reported in foreign media and brought to the attention of the judicial authorities—support the Garante's allegations. On the basis of the principles expressed by the oft-referred to EDPB binding decision 1/2021, the gravity and impact of the infringements require due consideration, leading to the conclusion that both the infringement of the principle laid down in Article 5(1) of the Regulation and the specific infringement of the obligations under Articles 24 and 25(1) of the Regulation are substantiated.

The Garante, on the contrary, does not consider there to be sufficient grounds to establish an infringement—pursuant to Article 166(5) of the Code—of the provisions regarding the consent of minors, specifically the requirement of a positive act on the part of the child in relation to information society services, as set out in Articles 6, 7 and 8 of the Regulation. In particular, it should be noted that, as emerged during the preliminary investigation—contrary to what was erroneously stated in the version of the privacy policy dated 2 February 2023 (see § 5.2)—the Replika service was not, and is not, offered to minors. Consequently, the data controller was not required to comply with the obligation to identify a legal basis for processing operations which were presumed not to be carried out. 

Based on the foregoing, the Garante considers that, as at 2 February 2023, Luka infringed Articles 5(1)(c), 24 and 25(1) of the Regulation.

For the sake of completeness, it should be noted that, on the date of adoption of this decision, further technical assessments have revealed continuing deficiencies in the age verification system currently implemented by the controller; in particular, it was found that:

- after the user profile is created, it is possible to change the date of birth in the ‘My Profile’ section without this being followed by any verification by the data controller. As a result, children who initially provided a false date of birth to register could subsequently enter their real age and still retain access to the service; 

- the cooling-off period (24 hours) does not apply when the creation of the profile occurs while browsing in incognito mode; in fact, it appears that following an initial failed age check, users may still successfully complete the registration process by entering a different (event fictious) email address;

- no language analysis mechanisms are in place to systematically prompt age confirmation through the age gate process, when users indicate that they are under 18 years of age—except in limited cases where they provide specific inputs (i.e. they unambiguously declare that they are under 18). In such cases, the application prompts users to confirm that they are over 18.

The technical investigation also showed that while users are given the possibility of flagging certain conversations as inappropriate, it is not possible to identify the subsequent actions resulting from such reports.

6. CONCLUSIONS

Based on the above considerations, the Garante confirms the existence of the majority of the infringements alleged and notified in the notice of initiation of proceedings, as detailed below. It also declares the unlawfulness of the personal data processing carried out by the Company, in breach of Articles 5(1)(a) (in relation to both the principles of lawfulness and transparency) 5(1)(c), 6, 12, 13, 24 and 25(1) of the Regulation.

Having established the aforementioned infringements of the Regulation, the Garante shall adopt consequent corrective measures pursuant to Article 58(2) of the Regulation, specifically an order to bring processing operations into compliance under Article 58(2)(d) of the Regulation, [OMISSIS].

[OMISSIS]

As previously noted, the Garante reserves the right to initiate a separate and autonomous investigation to assess the lawfulness of the processing operations carried out by the Company with a particular focus on the legal bases applicable throughout the entire lifecycle of the generative AI system underlying the Replika service.

7.  CORRECTIVE MEASURES PURSUANT TO ARTICLE 58(2)(D) OF THE REGULATION

Pursuant to Article 58(2) of the Regulation, the Garante is granted a series of corrective powers—both of a prescriptive and sanctioning nature—to be exercised when unlawful processing of personal data is found.

Such powers include, pursuant to Article 58(2)(d) of the Regulation, the power ‘to order the controller […] to bring processing operations into compliance with the provisions of this Regulation, where appropriate, in a specified manner and within a specified period’.

From the findings and considerations set out in the preceding paragraphs, it emerges that, as at 2 February 2023, Luka infringed Articles 5(1)(a) (in relation to both the principle of lawfulness and the principle of transparency), 5(1)(c), 6, 12 and 13, as well as Articles 24 and 25(1) of the Regulation. However, following the urgent measure of the Garante, the Company implemented some measures to remedy the identified shortcomings and, subsequently, took additional measures in relation to the infringements notified in the notice of initiation of proceedings, which brought processing into compliance with data protection legislation.

Specifically, Luka remedied the infringement of Articles 5(1)(a) and 6 of the Regulation by amending the privacy policy (see latest version dated 23 February 2024), detailing the legal bases for the different processing operations carried out through the Replika service.

Following the amendments to the privacy policy as described above, it is considered that, at this stage, there are no grounds for adopting further corrective measures under Article 58(2) of the Regulation.

On the other hand, with regard to the infringement of Articles 5(1)(a), 12 and 13 of the Regulation, concerning information obligations, and of Articles 24 and 25(1) and 5(1)(c) of the Regulation, concerning the age verification system, certain aspects remain non-compliant with the Regulation, which the Garante considers must be addressed by specific corrective measures.

In particular, as regards the information obligations, the Garante found that, as of today, Luka’s privacy policy (latest version dated 23 February 2024) is still non-compliant with data protection legislation insofar as: i) it is available only in English; ii) it does not specify the storage periods of personal data or the criteria used to determine such periods; iii) it may still mislead data subjects as to the possible transfer of their personal data to the USA.

Therefore, pursuant to Article 58(2)(d) of the Regulation, the controller is ordered to bring the privacy policy into compliance with Articles 5(1)(a), 12 and 13 of the Regulation by remedying the above shortcomings.

Furthermore, regarding the age verification system, the Garante found that, at the date of adoption of this decision, the age verification system used by the controller does not comply with the principle of data minimisation and with the principles of privacy by design and by default, in that:

- after the user profile is created, users can change their date of birth in the ‘My Profile’ section without this being followed by any verification by the controller. As a result, children who initially provided a false date of birth to register could subsequently enter their real age and still retain access to the service;

- the 24-hour cooling-off period does not apply when the creation of the profile occurs while browsing in incognito mode; in fact, it appears that following an initial failed age check, users may still successfully complete the registration process by entering a different (even fictious) email address;

- the controller has not implemented any language analysis mechanisms prompting users to reconfirm their age through the age gate process when there are clear indications that the user is under the age of 18, except in limited cases where the user provides specific inputs (i.e. they unambiguously declare that they are under 18). Only in such cases, does the application prompt users to confirm that they are over 18.

However, the Garante positively noted the implementation by Luka of a function allowing users to flag certain conversations as inappropriate, although it was not possible to determine the effect of such reports.

In view of the above, pursuant to Article 58(2)(d) of the Regulation, the controller is ordered to bring the age verification system into compliance with Articles 5(1)(c), 24 and 25(1) of the Regulation by remedying the shortcomings identified above.

[OMISSIS]

BASED ON THE FOREGOING, THE GARANTE

pursuant to Article 57(1)(f) of the Regulation, declares unlawful the processing activities described and carried out by Luka Inc., based in 490 Post St Suite 526, San Francisco, California, United States of America, as set out in the reasoning, for infringing Articles 5(1)(a) (with regard to both the principles of lawfulness and transparency), 6, 12, 13, 5(1)(c), 24, and 25(1) of the Regulation and, consequently:

a)    pursuant to Article 58(2)(d) of the Regulation, orders the Company, within thirty days of notification of this decision, to bring its processing activities into compliance with the provisions of the Regulation, in particular by aligning its privacy policy with Articles 5(1)(a), 12, and 13 of the Regulation, and aligning its age verification system with Articles 5(1)(c), 24, and 25 of the Regulation, remedying the shortcomings identified in paragraphs 5 and 6 of this decision, respectively;

b)    pursuant to Article 157 of the Code, orders the Company to inform the Authority, within sixty days of notification of this decision, of the initiatives undertaken to implement the corrective measure referred to in the preceding point; failure to comply with the provisions set out in this point may result in the imposition of the administrative fine provided for in Article 83(5) of the Regulation

[OMISSIS]

PROVIDES

a)    that this decision be published, pursuant to Article 154-bis of the Code and Article 37 of the Garante’s Regulation No. 1/2019;

[OMISSIS]

The Garante reserves the right to investigate and assess in a separate and autonomous proceeding, the aspects concerning the lawfulness of the processing operations carried out by Luka Inc., with specific reference to the legal bases for processing applicable throughout the entire lifecycle of the generative AI system underlying the Replika service.

Under Article 78 of the Regulation, Article 152 of the Code and Article 10 of Legislative Decree No. 150/2011, this decision may be challenged before the ordinary judicial authority, by lodging an appeal with the ordinary court of the controller’s place of residence, within thirty days from the date the decision was notified, or within sixty days if the appellant resides abroad.

Rome, 10 April 2025             

THE PRESIDENT
Stanzione

THE RAPPORTEUR
Scorza

THE ACTING SECTRETARY GENERAL
Filippi