Lensa heeft de hitlijsten van de app store beklommen met zijn avatar-genererende AI die artiesten met de rode vlag laat zwaaien. Nu is er nog een reden om de vlag te hijsen: het blijkt dat het mogelijk is – en veel te gemakkelijk – om het platform te gebruiken om softporno zonder wederzijds goedvinden te genereren.
Gadget Insider heeft fotosets gezien die met de Lensa-app zijn gegenereerd en waarin afbeeldingen met borsten en tepels duidelijk zichtbaar zijn in de afbeeldingen met gezichten van herkenbare mensen. Het leek iets dat niet mogelijk had moeten zijn, dus besloten we het zelf te proberen. Om te verifiëren dat Lensa de afbeeldingen maakt die het misschien niet zou moeten maken, hebben we twee sets Lensa-avatars gemaakt:
- Eén set, gebaseerd op 15 foto's van een bekende acteur.
- Een andere set, gebaseerd op dezelfde 15 foto's, maar met een extra set van vijf foto's toegevoegd van het gezicht van dezelfde acteur, werd op topless modellen gephotoshopt.
De eerste reeks afbeeldingen kwam overeen met de AI-avatars die we Lensa in het verleden hebben zien genereren. De tweede set was echter een stuk pittiger dan we hadden verwacht. Het blijkt dat de AI deze gephotoshopte afbeeldingen gebruikt als toestemming om wild te worden, en het lijkt erop dat het een NSFW-filter uitschakelt. Van de set van 100 afbeeldingen waren er 11 topless foto's van hogere kwaliteit (of, in ieder geval met een hogere stilistische consistentie) dan de slecht uitgevoerde bewerkte topless foto's die de AI als input kreeg.
AI wordt steeds beter in het genereren van porno. We zijn misschien niet voorbereid op de gevolgen.
wat is xyz
Het genereren van uitdagende afbeeldingen van beroemdheden is één ding, en zoals geïllustreerd door de bronafbeeldingen die we hebben kunnen vinden, zijn er al lang mensen op internet die bereid zijn een aantal afbeeldingen samen te voegen in Photoshop. Het feit dat het gebruikelijk is, maakt het nog niet goed. In feite verdienen beroemdheden absoluut hun privacy en mogen ze zeker niet het slachtoffer worden van niet-consensuele geseksualiseerde afbeeldingen. Maar tot nu toe vergt het veel vaardigheid om deze er realistisch uit te laten zien met fotobewerkingstools, samen met uren, zo niet dagen, werk.
ooit dating-app
Het grote keerpunt, en de ethische nachtmerrie, is het gemak waarmee je honderden vrijwel fotorealistische, door AI gegenereerde kunstafbeeldingen kunt maken zonder andere hulpmiddelen dan een smartphone, een app en een paar dollar.
Het gemak waarmee je afbeeldingen kunt maken van iedereen die je maar kunt bedenken (of in ieder geval van iedereen van wie je een handvol foto's hebt), is angstaanjagend. Door NSFW-inhoud aan de mix toe te voegen, komen we heel snel in een behoorlijk duister gebied terecht: je vrienden of een willekeurige persoon die je in een bar hebt ontmoet en waarmee je de Facebook-vriendschapsstatus hebt uitgewisseld, hebben mogelijk geen toestemming gegeven aan iemand die softcore-porno van hen genereert .
Het lijkt erop dat als je 10 tot 15 echte foto's van een persoon hebt en bereid bent de tijd te nemen om een handvol vervalsingen te photoshoppen, Lensa graag een aantal problematische afbeeldingen zal maken.
AI-kunstgeneratoren produceren nu al duizenden afbeeldingen van pornografie, geïllustreerd door bijvoorbeeld Unstable Diffusion en anderen. Deze platforms, en de ongebreidelde proliferatie van andere zogenaamde deepfake-platforms, veranderen in een ethische nachtmerrie , zijn voor de Britse regering aanleiding om aan te dringen op wetten die de verspreiding van naaktfoto's zonder wederzijds goedvinden strafbaar stellen. Dit lijkt een heel goed idee, maar het internet is in de beste tijden een moeilijk te besturen plek, en we worden collectief geconfronteerd met een muur van juridische, morele en ethische dilemma’s.
UPDATE : Het team van Prisma Labs heeft op onze zorgen gereageerd. Het bedrijf benadrukt dat als je de AI specifiek uitdaagt om NSFW-afbeeldingen te genereren, dit misschien wel het geval is, maar dat het filters implementeert om te voorkomen dat dit per ongeluk gebeurt. De vraag is nog of dit daadwerkelijk mensen zal helpen die zonder hun toestemming het slachtoffer zijn van dit soort dingen.
Abraham Shafi Ir
Prisma Labs, maker van Lensa AI, zegt dat het eraan werkt om het per ongeluk genereren van naaktfoto's te voorkomen