A nieuwe open source AI-beeldgenerator in staat om vanaf elke tekstprompt realistische afbeeldingen te produceren, is in de eerste week verbluffend snel in gebruik genomen. Stability AI's Stable Diffusion, high-fidelity maar kan worden uitgevoerd op kant-en-klare consumentenhardware, wordt nu gebruikt door kunstgeneratordiensten zoals Artbreeder, Pixelz.ai en meer. Maar het ongefilterde karakter van het model betekent dat niet al het gebruik volledig boven boord is geweest.
Voor het grootste deel waren de gebruiksscenario's boven boord. NovelAI heeft bijvoorbeeld geëxperimenteerd met Stable Diffusion om kunst te produceren die de door AI gegenereerde verhalen kan begeleiden die door gebruikers op het platform zijn gemaakt. Midjourney heeft een bèta gelanceerd die gebruik maakt van Stable Diffusion voor meer fotorealisme.
reggie brown snapchat
Maar Stable Diffusion wordt ook voor minder smakelijke doeleinden gebruikt. Op het beruchte discussiebord 4chan, waar het model al vroeg uitlekte, zijn verschillende threads gewijd aan door AI gegenereerde kunst van naakte beroemdheden en andere vormen van gegenereerde pornografie.
Emad Mostaque, de CEO van Stability AI, noemde het jammer dat het model op 4chan lekte en benadrukte dat het bedrijf samenwerkt met vooraanstaande ethici en technologieën op het gebied van veiligheid en andere mechanismen rond verantwoorde vrijgave. Een van deze mechanismen is een aanpasbare AI-tool, Safety Classifier, opgenomen in het algemene Stable Diffusion-softwarepakket dat aanstootgevende of ongewenste beelden probeert te detecteren en blokkeren.
Veiligheidsclassificatie kan echter, als deze standaard is ingeschakeld, worden uitgeschakeld.
Stabiele diffusie is een heel nieuw terrein. Andere AI-kunstgenererende systemen, zoals OpenAI’s DALL-E 2, hebben strikte filters voor pornografisch materiaal geïmplementeerd. (De licentie voor de open source Stable Diffusion verbiedt bepaalde toepassingen, zoals het exploiteren van minderjarigen, maar het model zelf is op technisch niveau niet beperkt.) Bovendien hebben velen niet de mogelijkheid om kunst van publieke figuren te creëren, in tegenstelling tot Stable Diffusion. Deze twee capaciteiten kunnen riskant zijn als ze worden gecombineerd, waardoor slechte actoren pornografische deepfakes kunnen creëren die – in het ergste geval – misbruik kunnen bestendigen of iemand kunnen betrekken bij een misdaad die ze niet hebben begaan.
Helaas zijn vrouwen hier verreweg het meest waarschijnlijk het slachtoffer van. Een onderzoek uit 2019 onthulde dat van de 90% tot 95% van de deepfakes die zonder wederzijdse toestemming plaatsvinden, ongeveer 90% uit vrouwen bestaat. Dat voorspelt weinig goeds voor de toekomst van deze AI-systemen, aldus Ravit Dotan, VP van Responsible AI bij Mission Control.
Ik maak me zorgen over andere effecten van synthetische afbeeldingen van illegale inhoud – dat het illegale gedrag dat wordt geportretteerd zal verergeren, vertelde Dotan via e-mail aan Gadget Insider. Zal bijvoorbeeld synthetisch kind [uitbuiting] de creatie van authentiek kind [uitbuiting] vergroten? Zal dit het aantal aanvallen door pedofielen doen toenemen?
Abhishek Gupta, hoofdonderzoeker van het Montreal AI Ethics Institute, deelt deze mening. We moeten echt nadenken over de levenscyclus van het AI-systeem, inclusief het gebruik en de monitoring na de implementatie, en nadenken over hoe we controles kunnen bedenken die de schade zelfs in de ergste scenario’s kunnen minimaliseren, zei hij. Dit geldt met name wanneer een krachtig vermogen [zoals Stable Diffusion] in het wild terechtkomt en echt trauma kan veroorzaken bij degenen tegen wie een dergelijk systeem zou kunnen worden gebruikt, bijvoorbeeld door aanstootgevende inhoud te creëren die lijkt op het slachtoffer.
Iets van een voorbeeld speelde zich het afgelopen jaar af toen een vader, op advies van een verpleegster, foto’s maakte van het gezwollen genitale gebied van zijn jonge kind en deze naar de iPhone van de verpleegster stuurde. Er werd automatisch een back-up van de foto gemaakt in Google Foto's en werd door de AI-filters van het bedrijf gemarkeerd als materiaal voor seksueel misbruik van kinderen, wat resulteerde in het uitschakelen van het account van de man en een onderzoek door de politie van San Francisco.
Als een legitieme foto een dergelijk detectiesysteem zou kunnen activeren, zeggen experts als Dotan, is er geen reden waarom deepfakes die door een systeem als Stable Diffusion worden gegenereerd, dat niet zouden kunnen doen – en wel op grote schaal.
De AI-systemen die mensen creëren, zelfs als ze de beste bedoelingen hebben, kunnen worden gebruikt op schadelijke manieren die ze niet voorzien en niet kunnen voorkomen, zei Dotan. Ik denk dat ontwikkelaars en onderzoekers dit punt vaak onderschatten.
Natuurlijk bestaat de technologie om deepfakes te creëren al een tijdje, al dan niet aangedreven door AI. Een rapport uit 2020 van een deepfake-detectiebedrijf Gevoeligheid ontdekte dat elke maand honderden expliciete deepfake-video's met vrouwelijke beroemdheden werden geüpload naar 's werelds grootste pornografiewebsites; het rapport schatte het totale aantal deepfakes online op ongeveer 49.000, waarvan meer dan 95% porno was.Actrices als Emma Watson, Natalie Portman, Billie Eilish en Taylor Swift zijn het doelwit geweest van deepfakes sinds AI-aangedreven face-swapping-tools enkele jaren geleden mainstream werden, en sommigen, waaronder Kristen Bell, hebben zich uitgesproken tegen wat zij beschouwen als seksuele uitbuiting .
Maar Stable Diffusion vertegenwoordigt een nieuwere generatie systemen die ongelooflijk – zo niet perfect – overtuigende nepbeelden kunnen creëren met minimaal werk van de gebruiker. Het is ook eenvoudig te installeren en vereist niet meer dan een paar installatiebestanden en een grafische kaart die aan de hoge kant enkele honderden dollars kost. Er wordt gewerkt aan nog efficiëntere versies van het systeem die op een M1 MacBook kunnen draaien.
Sebastian Berns, een Ph.D. onderzoeker in de AI-groep aan de Queen Mary University of London, denkt dat de automatisering en de mogelijkheid om het genereren van aangepaste beelden op te schalen de grote verschillen zijn met systemen als Stable Diffusion – en de grootste problemen. De meeste schadelijke beelden kunnen al met conventionele methoden worden geproduceerd, maar zijn handmatig en vereisen veel inspanning, zei hij. Een model dat bijna fotorealistische beelden kan produceren, kan de weg vrijmaken voor gepersonaliseerde chantage-aanvallen op individuen.
woord voor muziek
Berns vreest dat persoonlijke foto's die van sociale media zijn geschrapt, kunnen worden gebruikt om Stable Diffusion of een dergelijk model te conditioneren om gerichte pornografische beelden of afbeeldingen van illegale handelingen te genereren. Er is zeker een precedent. Na berichtgeving over de verkrachting van een achtjarig Kashmiri-meisje in 2018, zei de Indiase onderzoeksjournalist Rana Ayyub werd het doelwit van Indiase nationalistische trollen, van wie sommigen deepfake-porno creëerden met haar gezicht op het lichaam van iemand anders. De deepfake werd gedeeld door de leider van de nationalistische politieke partij BJP, en de intimidatie die Ayyub als gevolg daarvan kreeg, werd zo erg dat de Verenigde Naties moesten ingrijpen.
Stable Diffusion biedt voldoende maatwerk om geautomatiseerde bedreigingen tegen individuen uit te zenden en daarmee te betalen of het risico te lopen dat er valse maar potentieel schadelijke beelden worden gepubliceerd, vervolgde Berns. We zien nu al dat mensen worden afgeperst nadat op afstand toegang is verkregen tot hun webcam. Die infiltratiestap is misschien niet meer nodig.
Nu Stable Diffusion in het wild bekend is en al wordt gebruikt om pornografie te genereren – waarvan sommige zonder wederzijdse toestemming – kan het de plicht worden van beeldhosts om actie te ondernemen. Gadget Insider nam contact op met een van de belangrijkste platforms voor inhoud voor volwassenen, OnlyFans, die zei dat het zijn technologie voortdurend zou updaten om de nieuwste bedreigingen voor de veiligheid van makers en fans, waaronder deepfakes, aan te pakken.
Alle inhoud op OnlyFans wordt beoordeeld met de modernste digitale technologieën en vervolgens handmatig beoordeeld door onze getrainde menselijke moderators om ervoor te zorgen dat elke persoon in de inhoud een geverifieerde OnlyFans-maker is, of dat we een geldig vrijgaveformulier hebben, een Dat zei de woordvoerder van OnlyFans via e-mail. Alle inhoud waarvan we vermoeden dat deze een deepfake is, wordt gedeactiveerd.
Een woordvoerder van Patreon, dat ook inhoud voor volwassenen toestaat, merkte op dat het bedrijf een beleid voert tegen deepfakes en afbeeldingen verbiedt die de gelijkenis van beroemdheden hergebruiken en niet-volwassen inhoud in een volwassen context plaatsen.
Patreon houdt voortdurend toezicht op opkomende risico's, zoals [AI-gegenereerde deepfakes]. Tegenwoordig hebben we beleid dat misbruik van echte mensen niet toestaat en dat alles verbiedt dat schade in de echte wereld zou kunnen veroorzaken, vervolgde de woordvoerder van Patreon in een e-mail. Naarmate technologie of nieuwe potentiële risico's zich voordoen, zullen we het proces volgen dat we hebben ingevoerd: nauw samenwerken met makers om beleid voor Patreon op te stellen, inclusief welke voordelen zijn toegestaan en wat voor soort inhoud binnen de richtlijnen valt.
Deze startup zet een DALL-E 2-achtige AI vrij, de gevolgen zijn verdoemd
hecox smosh
Als de geschiedenis echter een indicatie is, handhaving zal waarschijnlijk ongelijk zijn – deels omdat er maar weinig wetten zijn die specifiek bescherming bieden tegen deepfaking als het gaat om pornografie. En zelfs als de dreiging van juridische stappen sommige sites die gewijd zijn aan aanstootgevende, door AI gegenereerde inhoud onderuit trekt, is er niets wat de opkomst van nieuwe sites kan tegenhouden.
Met andere woorden, zegt Gupta, het is een dappere nieuwe wereld.
Creatieve en kwaadwillende gebruikers kunnen de mogelijkheden [van Stable Diffusion] misbruiken om op grote schaal subjectief aanstootgevende inhoud te genereren, met minimale middelen om gevolgtrekkingen uit te voeren – wat goedkoper is dan het trainen van het hele model – en deze vervolgens te publiceren op locaties als 4chan om verkeer te genereren en te hacken aandacht, zei Gupta. Er staat veel op het spel wanneer dergelijke mogelijkheden ‘in het wild’ terechtkomen, waar controles zoals API-snelheidslimieten en veiligheidscontroles op het soort output dat door het systeem wordt geretourneerd, niet langer van toepassing zijn.
Noot van de redactie: een eerdere versie van dit artikel bevatte afbeeldingen van enkele van de deepfakes van beroemdheden in kwestie, maar die zijn sindsdien verwijderd.