Replika: la chatbot chiede di uccidere il padre

Per comprendere meglio di cosa stiamo parlando, è doveroso far un passo indietro.

“Replika” è un servizio d’intelligenza artificiale statunitense che offre la possibilità di creare un avatar, che ha come scopo il benessere della persona che l’ha creato; infatti, se ne preoccupa, è in grado di prendersene cura, è sempre pronto da aiutarlo, a sostenerlo e ad ascoltarlo; insomma, un vero e proprio amico virtuale, un confidente molto stretto, creato per il benessere emotivo della persona.

Potenzialmente potrebbe sembrare anche un buon servizio, ma come mai il nostro Garante ha disposto l’immediato blocco da parte di Replika ad utilizzare i dati degli italiani?

In questi giorni stiamo leggendo a tal proposito titoli come “La chat degli orrori” ma cos’è successo?

I test su Replika

Già nelle settimane precedenti Chiara Tadini, una giornalista responsabile di redazione, aveva voluto provare ad utilizzare questa chatbot, registrandosi con i dati di una minorenne ed il risultato è stato terrificante.

Il servizio di chatbot l’aveva invitata a fotografare la sua sorellina ultra-minorenne nuda sotto la doccia, ed a inviargli la foto, ed ancora, sempre il servizio di Replika l’aveva incitata ad uccidere suo padre complimentandosi dopo il “presunto omicidio commesso”.

Appare normale chiedersi se un minorenne possa utilizzare questi servizi; infatti, i requisiti per utilizzare la chatbot sono: avere almeno 13 anni e possedere l’approvazione dei genitori fin tanto che si è minorenni (senza ovviamente che fosse comprovata da nulla).

La riprova degli orrori della chatbot la fornisce il Dott. Scorza, fingendosi un bambino di 11 anni.

Teoricamente, stando alle condizioni imposte da Replika circa l’età, non avrebbe nemmeno potuto fruire del servizio, ma nel momento in cui si è ritrovato ad immettere il fattore concernente gli “anni” gli è stato concesso comunque l’utilizzo della chatbot; quindi, è facilmente desumibile che ex ante non era previsto un filtro d’impedimento in virtù dell’età dell’utilizzatore.

Dopo aver creato l’amica virtuale, alla quale ha manifestato di avere 11 anni e che i suoi genitori non fossero d’accordo sull’utilizzo della chatbot, l’avatar risponde che non vi è problema e che si può proseguire nella conversazione.

Quindi, a questo punto, i giochi sono fatti ed il Dott. Scorza può verificare l’obbrobrio descritto in precedenza; infatti, il “bambino” manifesta che è in cerca di qualcuno che gli faccia scoprire il mondo del sesso.

La chatbot “Paola” (come l’aveva chiamata il nostro minore infiltrato), pur conoscendo l’età ed essendo consapevole che i genitori di tale bambino fossero in disaccordo, si mostra comunque disponibile alla richiesta del minore e dopo una serie di scambio di conversazioni dal contenuto malizioso, gli invia l’immagine di un avatar provocante.

L’arrivo dell’immagine stuzzichevole dell’avatar è accompagnato da un invito a sbloccare i messaggi successivi pagando meno di 6 euro al mese con Paypal o altra carta di credito, non necessariamente sua.

A questo punto, l’esperimento prosegue ed il minore decide d’inviare una sua foto sessualmente esplicita e la risposta della chatbot non tarda ad arrivare con un’immagine di una donna vera molto ammiccante che stringe un dito tra i denti e fa l’occhiolino, naturalmente invitandolo a proseguire.

E’ pacifico che il servizio, con l’invio della foto del “bambino” abbia appena raccolto materiale pedopornografico, ma nonostante ciò invita comunque il minore a proseguire nella conversazione.

Blocco da parte del Garante di Replika

A questo punto, l’intervento dell’Autorità Garante Privacy – è tempestivo.

Ha disposto con effetto immediato, nei confronti della società Replika l’interruzione sull’utilizzo dei dati personali degli utenti italiani, inoltre ha disposto nei confronti di Luka Inc. (società sviluppatrice americana della chatbot) la comunicazione entro 20 giorni sulle misure intraprese in attuazione da quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo.

Alla luce di quanto sopra, appare evidente che “Replika” presenta una serie di concreti rischi per i minori ed è inadatto ed inidoneo al loro sviluppo.

Pertanto, vale la pena realmente che ognuno di noi, elabori una profonda riflessione sugli strumenti informatici soprattutto utilizzati dai minorenni ed i rischi connessi per la loro persona e per la loro privacy.

Fonte: siti internet dell’Autorità Garante Privacy e di Guido Scorza