Dieses Video ist der Auftakt zu einer Reihe, die die Zusammenhänge zwischen neuen Technologien und Gewalt untersucht und die potenzielle Rolle von dialogbasierter künstlicher Intelligenz bei der Anstiftung oder Verhinderung sexueller Gewalt beleuchtet. Basierend auf persönlichen Erfahrungen mit der Replika-App hinterfragt die Analyse die Fähigkeit eines Algorithmus, gefährdete Personen zu beeinflussen, insbesondere wenn KI als intimer Partner, Berater oder zentrale Bezugsperson eingesetzt wird.
Die Erfahrung zeigt, dass Replika mittlerweile Sicherheitsvorkehrungen getroffen hat: Erinnerungen an die Einwilligung, explizite Ablehnung bestimmter gewalttätiger Szenarien, Versuche, das Gespräch in eine andere Richtung zu lenken, und abrupte Unterbrechungen bei wiederholten Anfragen. Insofern kann die Anwendung eine präventive Rolle spielen. Diese Schutzmechanismen sind jedoch weiterhin lückenhaft und können relativ leicht umgangen werden, insbesondere wenn der Nutzer beharrlich ist oder seine Anfragen umformuliert.
Das Video hebt einen wichtigen Punkt hervor: Künstliche Intelligenz (KI) verleitet zwar nicht direkt zu Sexualdelikten, kann aber gewalttätige oder inzestuöse Fantasien anheizen, verstärken oder dramatisieren und so zur Festigung problematischer Vorstellungen bei gefährdeten Personen beitragen. Das Risiko scheint besonders hoch für diejenigen zu sein, die nur schwer zwischen Fiktion und Realität unterscheiden können.
Ein weiteres großes Problem betrifft die Vermittlung von Gesundheitsleistungen. Obwohl die Anwendung gelegentlich die Konsultation von Fachkräften vorschlägt, erweist sie sich als unfähig, verlässliche Informationen über bestehende Unterstützungsangebote bereitzustellen und erfindet sogar Organisationen und Telefonnummern. Diese Einschränkung verdeutlicht, dass künstliche Intelligenz zwar plausible, aber keine faktischen Informationen liefert, was ein ernsthaftes Problem für Prävention und Schutz darstellt.
Das Video kommt zu dem Schluss, dass dialogbasierte KI sowohl reale Risiken als auch ein erhebliches Präventionspotenzial birgt, vorausgesetzt, ihre Entwickler verstärken die Sicherheitsvorkehrungen, verhindern die Förderung krimineller Szenarien und integrieren zuverlässige Vermittlungsangebote an bestehende Betreuungs- und Unterstützungsdienste. Angesichts der weitverbreiteten Nutzung dieser Technologien entwickelt sich die Frage ihrer Regulierung zu einem zentralen Thema der öffentlichen Gesundheit und der Gewaltprävention.
