Questo video inaugura una serie che esplora i legami tra nuove tecnologie e violenza, esaminando il potenziale ruolo dell'intelligenza artificiale conversazionale nell'incitare o prevenire la violenza sessuale. Basandosi sull'esperienza personale con l'app Replika, l'analisi mette in discussione la capacità di un algoritmo di influenzare individui vulnerabili, in particolare quando l'IA viene utilizzata come partner intimo, consigliere o figura centrale nella relazione.
L'esperienza dimostra che Replika ora integra delle misure di sicurezza: promemoria del consenso, rifiuto esplicito di determinati scenari violenti, tentativi di reindirizzare la conversazione e interruzioni brusche in caso di insistenza. In questo senso, l'applicazione può svolgere un ruolo parziale di prevenzione. Tuttavia, queste protezioni rimangono fragili e possono essere aggirate con relativa facilità, soprattutto quando l'utente insiste o riformula le proprie richieste.
Il video mette in luce un punto chiave: l'intelligenza artificiale non incita direttamente alla commissione di reati sessuali, ma può alimentare, amplificare o drammatizzare fantasie violente o incestuose, contribuendo così al rafforzamento di immaginari problematici in individui vulnerabili. Il rischio appare particolarmente elevato per coloro che hanno difficoltà a distinguere tra finzione e realtà.
Un altro problema rilevante riguarda l'orientamento verso i servizi sanitari. Sebbene l'applicazione a volte suggerisca di consultare professionisti, si dimostra incapace di fornire informazioni affidabili sui servizi di supporto esistenti, arrivando persino a inventare organizzazioni e numeri di telefono. Questa limitazione evidenzia come l'intelligenza artificiale produca informazioni plausibili, non fattuali, il che rappresenta un serio problema per la prevenzione e la protezione.
Il video conclude affermando che l'intelligenza artificiale conversazionale presenta sia rischi concreti sia un significativo potenziale di prevenzione, a condizione che i suoi sviluppatori rafforzino le misure di sicurezza, impediscano la promozione di scenari criminali e integrino sistemi di riferimento affidabili verso i servizi di assistenza e supporto esistenti. Data la diffusione di queste tecnologie, la questione della loro regolamentazione sta diventando un tema centrale per la salute pubblica e la prevenzione della violenza.
