Nightshade, de tool die data ‘vergiftigt’, geeft kunstenaars een kans om te vechten tegen AI

Nightshade, de tool die data ‘vergiftigt’, geeft kunstenaars een kans om te vechten tegen AI

Het opzettelijk vergiftigen van iemand anders is nooit moreel juist. Maar als iemand op kantoor je lunch blijft wegsnoepen, zou je dan niet toevlucht nemen tot kleine wraakacties?

Voor kunstenaars is het een zware strijd om te voorkomen dat werk wordt gebruikt om AI-modellen zonder toestemming te trainen. Opt-out verzoeken en niet-schrapen-codes vertrouwen erop dat AI-bedrijven te goeder trouw handelen, maar bedrijven die gemotiveerd zijn door winst boven privacy kunnen dergelijke maatregelen gemakkelijk negeren. Zichzelf offline opsluiten is geen optie voor de meeste kunstenaars, die afhankelijk zijn van de zichtbaarheid op sociale media voor opdrachten en andere werkmogelijkheden.

Nachtschade , een project van de Universiteit van Chicago, biedt kunstenaars enige houvast door beeldgegevens te vergiftigen, waardoor deze nutteloos of verstorend worden voor de training van AI-modellen. Ben Zhao, hoogleraar computerwetenschappen die het project leidde, vergeleek Nightshade met hete saus in je lunch, zodat deze niet uit de koelkast op de werkplek wordt gestolen.



juno driver nyc

We laten zien dat generatieve modellen in het algemeen, zonder woordspeling, slechts modellen zijn. Nachtschade zelf is niet bedoeld als een extreem krachtig wapen om deze bedrijven te doden, zei Zhao. Nightshade laat zien dat deze modellen kwetsbaar zijn en dat er manieren zijn om aan te vallen. Wat het betekent is dat er manieren zijn voor eigenaren van inhoud om hardere rendementen te behalen dan door het Congres te schrijven of te klagen via e-mail of sociale media.

Zhao en zijn team proberen Big AI niet neer te halen; ze proberen alleen technologiegiganten te dwingen te betalen voor gelicentieerd werk, in plaats van AI-modellen te trainen op geschraapte afbeeldingen.

Er is een goede manier om dit te doen, vervolgde hij. Het echte probleem hier gaat over toestemming, over compensatie. We geven makers van inhoud alleen maar een manier om ongeoorloofde training tegen te gaan.

Links: De Mona Lisa, ongewijzigd. Midden: De Mona Lisa, naar Nachtschade Rechts: AI ziet de gearceerde versie als een kat in een gewaad.

Links: De Mona Lisa, ongewijzigd. Midden: De Mona Lisa, naar Nachtschade. Rechts: Hoe AI de gearceerde versie van de Mona Lisa ziet. Beeldcredits: Met dank aan onderzoekers van de Universiteit van Chicago

Nachtschadericht zich op de associaties tussen tekstprompts, waarbij op subtiele wijze de pixels in afbeeldingen worden veranderd om AI-modellen te misleiden zodat ze een compleet ander beeld interpreteren dan wat een menselijke kijker zou zien. Modellen zullen kenmerken van gearceerde afbeeldingen onjuist categoriseren, en als ze zijn getraind op een voldoende hoeveelheid vergiftigde gegevens, zullen ze afbeeldingen gaan genereren die totaal niets te maken hebben met de bijbehorende aanwijzingen. Er zijn minder dan 100 vergiftigde monsters nodig om een ​​Stable Diffusion-prompt te corrumperen, schrijven de onderzoekers in een technisch document dat momenteel door vakgenoten wordt beoordeeld .

Neem bijvoorbeeld een schilderij van een koe die in een weiland ligt te loungen.

Door die associatie te manipuleren en effectief te vervormen, kun je de modellen laten denken dat koeien vier ronde wielen en een bumper en een kofferbak hebben, vertelde Zhao aan Gadget Insider. En als ze gevraagd worden een koe te produceren, zullen ze een grote Ford-truck maken in plaats van een koe.

Het Nightshade-team gaf ook andere voorbeelden. Een ongewijzigde afbeelding van de Mona Lisa en een gearceerde versie zijn vrijwel identiek aan de mens, maar in plaats van het vergiftigde monster te interpreteren als een portret van een vrouw, zal AI het zien als een kat die een gewaad draagt.

Als je een AI ertoe aanzet een beeld van een hond te genereren, nadat het model was getraind met behulp van gearceerde beelden waardoor het katten kon zien, leverde dit gruwelijke hybriden op die geen enkele gelijkenis vertonen met een van beide dieren.

Glazuur , een cloaking-tool die de manier vervormt waarop AI-modellen de artistieke stijl zien en bepalen, waardoor het unieke werk van kunstenaars niet kan worden nagebootst. Net als bij Nachtschade kan een persoon een geglazuurd realistisch houtskoolportret bekijken, maar een AI-model zal het als een abstract schilderij zien – en vervolgens rommelige abstracte schilderijen genereren wanneer het wordt gevraagd om fijne houtskoolportretten te genereren.

In gesprek met Gadget Insider Nadat de tool vorig jaar werd gelanceerd, beschreef Zhao Glaze als een technische aanval die als verdediging werd gebruikt. Hoewel Nightshade geen regelrechte aanval is, zo vertelde Zhao onlangs aan Gadget Insider, gaat het nog steeds in de aanval tegen roofzuchtige AI-bedrijven die opt-outs negeren. OpenAI – een van de bedrijven die te maken heeft met een class action-rechtszaak wegens vermeende schending van de auteursrechtwetgeving - nu biedt artiesten de mogelijkheid om zich af te melden worden gebruikt om toekomstige modellen te trainen.

Het probleem met dit [opt-outverzoek] is dat het het zachtste en zachtste soort verzoek is dat mogelijk is. Er is geen handhaving, er is geen bedrijf dat zich aan zijn woord houdt, zei Zhao. Er zijn genoeg bedrijven die onder de radar vliegen, die veel kleiner zijn dan OpenAI, en die geen grenzen kennen. Ze hebben absoluut geen reden om zich aan die opt-outlijsten te houden, en ze kunnen nog steeds je inhoud gebruiken en doen wat ze willen.

Kelly McKernan, een kunstenaar die deel uitmaakt van de class action-rechtszaak tegen Stability AI, Midjourney en DeviantArt, plaatsten een voorbeeld van hun schaduwrijke en geglazuurde schildering op X . Het schilderij toont een vrouw die verstrikt is in neonaders, terwijl gepixelde lookalikes zich met haar voeden. Het vertegenwoordigt generatieve AI die de authentieke stem van menselijke creatieven kannibaliseert, schreef McKernan.

McKernan begon in 2022 langs beelden te scrollen die opvallende gelijkenissen vertoonden met hun eigen schilderijen, toen AI-beeldgeneratoren voor het publiek werden gelanceerd. Toen ze ontdekten dat er meer dan 50 van hun stukken waren geweest geschraapt en gebruikt om AI-modellen te trainen , verloren ze alle interesse in het maken van meer kunst, vertelden ze Gadget Insider. Ze vonden zelfs hun handtekening in door AI gegenereerde inhoud. Het gebruik van Nightshade is volgens hen een beschermende maatregel totdat er adequate regelgeving bestaat.

Het is alsof er buiten een zware storm woedt en ik nog steeds naar mijn werk moet, dus ik ga mezelf beschermen en een doorzichtige paraplu gebruiken om te zien waar ik heen ga, zei McKernan. Het is niet handig en ik ga de storm niet stoppen, maar het zal me helpen door te dringen tot hoe de andere kant er ook uitziet. En het stuurt een boodschap naar deze bedrijven die maar nemen en nemen en nemen, zonder enige repercussies, dat we terug zullen vechten.

De meeste wijzigingen die Nightshade aanbrengt zouden voor het menselijk oog onzichtbaar moeten zijn, maar het team merkt wel op dat de schaduw beter zichtbaar is op afbeeldingen met vlakke kleuren en vloeiende achtergronden. Het hulpmiddel, dat is gratis te downloaden , is ook beschikbaar in een instelling met lage intensiteit om de visuele kwaliteit te behouden. McKernan zei dat hoewel ze konden zien dat hun beeld veranderd was na het gebruik van Glaze en Nightshade, omdat zij de kunstenaar zijn die het schilderde, het bijna onmerkbaar was.

Illustrator Christopher Bretz demonstreerde het effect van Nightshade op een van zijn stukken, het plaatsen van de resultaten op X . Het doorlopen van een afbeelding door de laagste en standaardinstelling van Nightshade had weinig invloed op de illustratie, maar veranderingen waren duidelijk zichtbaar bij hogere instellingen.

Ik heb de hele week met Nightshade geëxperimenteerd en ik ben van plan al het nieuwe werk en een groot deel van mijn oudere online portfolio er doorheen te laten lopen, vertelde Bretz aan Gadget Insider. Ik ken een aantal digitale kunstenaars die al een tijdje geen nieuwe kunst meer hebben uitgebracht en ik hoop dat deze tool hen het vertrouwen zal geven om weer te gaan delen.

Idealiter zouden kunstenaars zowel Glaze als Nightshade moeten gebruiken voordat ze hun werk online delen, schreef het team in een blogpost . Het team test nog steeds hoe Glaze en Nightshade op dezelfde afbeelding reageren en is van plan een geïntegreerde, enkele tool uit te brengen die beide doet. In de tussentijd raden ze aan eerst Nightshade te gebruiken en daarna Glaze om de zichtbare effecten te minimaliseren. Het team dringt erop aan om geen kunstwerken te plaatsen die alleen in de schaduw zijn geplaatst en niet zijn geglazuurd, omdat Nightshade kunstenaars niet beschermt tegen nabootsing.

Handtekeningen en watermerken – zelfs die welke aan de metagegevens van een afbeelding zijn toegevoegd – zijn broos en kunnen worden verwijderd als de afbeelding wordt gewijzigd. De wijzigingen die Nightshade aanbrengt, blijven behouden door bijsnijden, comprimeren, screenshots maken of bewerken, omdat ze de pixels waaruit een afbeelding bestaat, wijzigen. Zelfs een foto van een scherm met een gearceerd beeld zal de modeltraining verstoren, zei Zhao.

CEO christelijke taal

Naarmate generatieve modellen steeds geavanceerder worden, worden kunstenaars geconfronteerd met toenemende druk om hun werk te beschermen en ‘scraping’ te bestrijden. Steg.AI En Imatar help makers het eigendom van hun afbeeldingen te vestigen door watermerken toe te passen die niet waarneembaar zijn voor het menselijk oog, hoewel geen van beide belooft gebruikers te beschermen tegen gewetenloos schrapen. De Geen AI-watermerkgenerator , dat vorig jaar werd uitgebracht, past watermerken toe die door mensen gemaakt werk bestempelen als door AI gegenereerd, in de hoop dat datasets die worden gebruikt om toekomstige modellen te trainen, door AI gegenereerde beelden zullen uitfilteren. Er is ook Oplossing , een hulpmiddel van Spawning.ai , dat de IP-adressen van scrapers identificeert en volgt. Website-eigenaren kunnen de gemarkeerde IP-adressen blokkeren of ervoor kiezen een andere afbeelding terug te sturen, zoals een middelvinger.

Kin.kunst , een andere tool die deze week werd gelanceerd, hanteert een andere aanpak. In tegenstelling tot Nightshade en andere programma's die een afbeelding cryptografisch wijzigen, maskeert Kin delen van de afbeelding en verwisselt de metatags, waardoor het moeilijker wordt om het te gebruiken bij modeltraining.

De critici van Nightshade beweren dat het programma een virus is, of klagen dat het gebruik ervan dat wel zal doen schade aan de open source-gemeenschap . In een screenshot geplaatst op Reddit in de maanden vóór de vrijlating van Nightshade beschuldigde een Discord-gebruiker Nightshade van cyberoorlogvoering/terrorisme. Nog een Reddit-gebruiker die ging per ongeluk viraal op X trok de wettigheid van Nightshade in twijfel en vergeleek het met het hacken van een kwetsbaar computersysteem om de werking ervan te verstoren.

Geloven dat Nightshade illegaal is omdat het opzettelijk het beoogde doel van een generatief AI-model verstoort, zoals OP stelt, is absurd. Zhao beweerde dat Nightshade volkomen legaal is. Het is niet op magische wijze in modeltrainingspijplijnen springen en dan iedereen vermoorden, zei Zhao. De modeltrainers schrapen vrijwillig afbeeldingen, zowel gearceerde als niet, en AI-bedrijven profiteren ervan.

Het uiteindelijke doel van Glaze en Nightshade is om een ​​hogere prijs te vragen voor elk stukje data dat zonder toestemming wordt geschraapt, totdat trainingsmodellen op basis van niet-gelicentieerde data niet langer houdbaar zijn. Idealiter zouden bedrijven onbedorven beelden in licentie moeten geven om hun modellen te trainen, zodat kunstenaars hun toestemming kunnen geven en een vergoeding krijgen voor hun werk.

Steve Jobs zoon

Het is eerder gedaan; Getty Images en Nvidia heeft onlangs een generatieve AI-tool gelanceerd die volledig is getraind met behulp van Getty’s uitgebreide bibliotheek met stockfoto’s. Klanten die zich abonneren, betalen een vergoeding die wordt bepaald door het aantal foto's dat ze willen maken, en fotografen wier werk is gebruikt om het model te trainen, ontvangen een deel van de abonnementsopbrengsten. Uitbetalingen worden bepaald door hoeveel van de inhoud van de fotograaf is bijgedragen aan de trainingsset en de prestaties van die inhoud in de loop van de tijd. Bedraad gemeld .

Zhao verduidelijkte dat hij niet anti-AI is, en wees erop dat AI enorm nuttige toepassingen heeft die niet zo ethisch beladen zijn. In de wereld van de academische wereld en het wetenschappelijk onderzoek zijn de vorderingen op het gebied van AI reden tot feest. Hoewel het grootste deel van de marketinghype en paniek rond AI eigenlijk verwijst naar generatieve AI, wordt traditionele AI gebruikt om nieuwe medicijnen te ontwikkelen en de klimaatverandering te bestrijden, zei hij.

Geen van deze dingen vereist generatieve AI. Geen van deze dingen vereist mooie foto's, verzin feiten, of heeft een gebruikersinterface tussen jou en de AI, zei Zhao. Het is geen kernonderdeel van de meeste fundamentele AI-technologieën. Maar het is zo dat deze dingen zo gemakkelijk met mensen communiceren. Big Tech heeft dit echt aangegrepen als een gemakkelijke manier om winst te maken en een veel groter deel van de bevolking te betrekken, vergeleken met een meer wetenschappelijke AI die feitelijk over fundamentele, baanbrekende mogelijkheden en verbazingwekkende toepassingen beschikt.

De grote spelers in de technologiesector, wier financiering en middelen in de schaduw staan ​​van die van de academische wereld, zijn grotendeels pro-AI. Ze hebben geen prikkel om projecten te financieren die ontwrichtend zijn en geen financieel gewin opleveren. Zhao is er resoluut tegen om inkomsten te genereren met Glaze en Nightshade, of om de intellectuele eigendom van de projecten ooit aan een startup of bedrijf te verkopen. Artiesten als McKernan zijn dankbaar dat ze vrijstelling krijgen van abonnementsgelden, die bijna alomtegenwoordig zijn in software die in de creatieve industrie wordt gebruikt.

Kunstenaars, inclusief ikzelf, voelen zich elke keer weer uitgebuit, zegt McKernan. Dus als ons iets gratis als hulpmiddel wordt gegeven, weet ik dat we het waarderen.’

Het team achter Nightshade, dat bestaat uit Zhao, promovendus Shawn Shan en verschillende studenten, wordt gefinancierd door de universiteit, traditionele stichtingen en overheidssubsidies. Maar om het onderzoek gaande te houden, erkende Zhao dat het team waarschijnlijk een non-profitstructuur zal moeten opzetten en zal moeten samenwerken met kunststichtingen. Hij voegde eraan toe dat het team nog een paar trucjes achter de hand heeft.

Lange tijd werd onderzoek gedaan omwille van het onderzoek, waardoor de menselijke kennis werd uitgebreid. Maar ik denk dat er zoiets als dit is, er is een ethische lijn, zei Zhao. Het onderzoek hiervoor is van belang. . . degenen die hiervoor het meest kwetsbaar zijn, zijn doorgaans het meest creatief en hebben doorgaans de minste steun in termen van middelen. Het is geen eerlijk gevecht. Daarom doen we wat we kunnen om het slagveld in evenwicht te brengen.

Kin.art lanceert een gratis tool om te voorkomen dat GenAI-modellen trainen op kunstwerken

Oprichter van Selkie verdedigt het gebruik van AI in een nieuwe kledingcollectie te midden van tegenreacties