Deze video opent een serie over de verbanden tussen nieuwe technologieën en geweld, door te kijken naar de mogelijke rol van conversationele kunstmatige intelligentie bij het aanzetten tot of voorkomen van seksueel geweld. De analyse is gebaseerd op een persoonlijk experiment met de Replika-applicatie en stelt het vermogen van een algoritme om kwetsbare mensen te beïnvloeden ter discussie, vooral wanneer de AI wordt ingezet als intieme partner, adviseur of centrale relationele figuur.
De ervaring leert dat Replika nu beveiligingen bevat: herinneringen aan toestemming, expliciete weigeringen van bepaalde gewelddadige scenario's, pogingen om het gesprek om te leiden en duidelijke onderbrekingen bij aandringen. In deze opzichten kan de applicatie een gedeeltelijke preventieve rol spelen. Deze beschermingen blijven echter kwetsbaar en kunnen relatief gemakkelijk worden omzeild, vooral wanneer de gebruiker volhardt of zijn of haar verzoeken herformuleert.
De video belicht een centraal punt: AI zet mensen niet direct aan tot het plegen van seksuele misdrijven, maar kan wel gewelddadige of incestueuze fantasieën voeden, versterken of uitwerken en zo helpen om problematische fantasieën bij mensen in moeilijkheden te versterken. Het risico lijkt vooral hoog te zijn voor mensen met een slecht vermogen om onderscheid te maken tussen fictie en werkelijkheid.
Een ander groot probleem is de doorverwijzing naar zorg. Hoewel de applicatie soms voorstelt om professionals te raadplegen, blijkt ze niet in staat om betrouwbare informatie te geven over bestaande hulpdiensten, en gaat zelfs zo ver dat ze structuren en nummers verzint. Deze beperking herinnert ons eraan dat kunstmatige intelligenties het plausibele produceren en niet het feitelijke, wat een ernstig probleem vormt op het gebied van preventie en bescherming.
De video concludeert dat conversationele AI's zowel reële risico's als een interessant preventiepotentieel hebben, op voorwaarde dat hun ontwerpers voorzorgsmaatregelen versterken, de ontwikkeling van criminele scenario's voorkomen en betrouwbare verwijzingen naar bestaande zorg- en ondersteuningssystemen opnemen. Gezien de massale verspreiding van deze technologieën wordt de vraag hoe ze moeten worden beheerd een belangrijke kwestie op het gebied van volksgezondheid en preventie van geweld.