Este vídeo da inicio a una serie que explora la relación entre las nuevas tecnologías y la violencia, analizando el posible papel de la inteligencia artificial conversacional en la incitación o prevención de la violencia sexual. Basado en la experiencia personal con la aplicación Replika, el análisis cuestiona la capacidad de un algoritmo para influir en personas vulnerables, especialmente cuando la IA se utiliza como pareja íntima, asesor o figura central en una relación.
La experiencia demuestra que Replika ahora incorpora medidas de seguridad: recordatorios de consentimiento, rechazo explícito de ciertos escenarios violentos, intentos de redirigir la conversación e interrupciones abruptas en casos de insistencia. En este sentido, la aplicación puede desempeñar un papel preventivo parcial. Sin embargo, estas protecciones siguen siendo frágiles y pueden eludirse con relativa facilidad, especialmente cuando el usuario insiste o reformula sus peticiones.
El vídeo subraya un punto clave: la IA no incita directamente a la comisión de delitos sexuales, pero puede alimentar, intensificar o dramatizar fantasías violentas o incestuosas, contribuyendo así a reforzar imaginarios problemáticos en personas vulnerables. El riesgo parece especialmente elevado para quienes tienen dificultades para distinguir entre la ficción y la realidad.
Otro problema importante se refiere a las derivaciones a servicios de salud. Si bien la aplicación a veces sugiere profesionales para consultar, resulta incapaz de proporcionar información fiable sobre los servicios de apoyo existentes, llegando incluso a inventar organizaciones y números de teléfono. Esta limitación pone de manifiesto que la inteligencia artificial produce información plausible, no veraz, lo que supone un grave problema para la prevención y la protección.
El vídeo concluye que la IA conversacional presenta riesgos reales y un importante potencial para la prevención, siempre que sus desarrolladores refuercen las medidas de seguridad, impidan la promoción de conductas delictivas e integren derivaciones fiables a los servicios de atención y apoyo existentes. Dada la amplia adopción de estas tecnologías, su regulación se está convirtiendo en un tema crucial para la salud pública y la prevención de la violencia.
