Este vídeo dá início a uma série que explora as ligações entre as novas tecnologias e a violência, examinando o papel potencial da inteligência artificial conversacional na incitação ou prevenção da violência sexual. Com base na experiência pessoal com o aplicativo Replika, a análise questiona a capacidade de um algoritmo influenciar indivíduos vulneráveis, particularmente quando a IA é usada como parceira íntima, conselheira ou figura central de relacionamento.
A experiência demonstra que o Replika agora incorpora medidas de segurança: lembretes de consentimento, recusas explícitas de certos cenários violentos, tentativas de redirecionar a conversa e interrupções abruptas em casos de insistência. Nesses aspectos, o aplicativo pode desempenhar um papel preventivo parcial. No entanto, essas proteções permanecem frágeis e podem ser contornadas com relativa facilidade, principalmente quando o usuário persiste ou reformula suas solicitações.
O vídeo destaca um ponto crucial: a IA não incita diretamente a prática de crimes sexuais, mas pode alimentar, intensificar ou dramatizar fantasias violentas ou incestuosas, contribuindo assim para o reforço de imaginários problemáticos em indivíduos vulneráveis. O risco parece ser particularmente elevado para aqueles com dificuldade em distinguir entre ficção e realidade.
Outro problema importante diz respeito aos encaminhamentos para serviços de saúde. Embora o aplicativo às vezes sugira profissionais para consulta, ele se mostra incapaz de fornecer informações confiáveis sobre serviços de apoio existentes, chegando ao ponto de inventar organizações e números de telefone. Essa limitação evidencia o fato de que a inteligência artificial produz informações plausíveis, e não factuais, o que representa um sério problema para a prevenção e a proteção.
O vídeo conclui que a IA conversacional apresenta riscos reais e um potencial significativo para a prevenção, desde que seus desenvolvedores fortaleçam as salvaguardas, impeçam a promoção de cenários criminosos e integrem encaminhamentos confiáveis para serviços de assistência e apoio já existentes. Diante da ampla adoção dessas tecnologias, a questão de sua regulamentação está se tornando um importante problema de saúde pública e prevenção da violência.
