In zijn voortdurende inspanningen om zijn AI-systemen robuuster te maken, heeft OpenAI vandaag de dag gelanceerd het OpenAI Red Teaming Network, een gecontracteerde groep experts om de risicobeoordeling en mitigatiestrategieën van het AI-model van het bedrijf te helpen informeren.
Red teaming wordt een steeds belangrijkere stap in het ontwikkelingsproces van AI-modellen naarmate AI-technologieën, met name generatieve technologieën, mainstream worden. Red teaming kan vooroordelen opvangen (hoewel niet noodzakelijkerwijs) in modellen als DALL-E 2 van OpenAI, dat gevonden om stereotypen rond ras en geslacht te versterken, en aanwijzingen die ervoor kunnen zorgen dat tekstgenererende modellen, waaronder modellen als ChatGPT en GPT-4, veiligheidsfilters negeren.
OpenAI merkt op dat het al eerder met externe experts heeft samengewerkt om zijn modellen te benchmarken en te testen, inclusief mensen die deelnamen aan het bugbounty-programma en het toegangsprogramma voor onderzoekers. Het Red Teaming Network formaliseert deze inspanningen echter, met als doel het werk van OpenAI met wetenschappers, onderzoeksinstellingen en maatschappelijke organisaties te verdiepen en te verbreden, zegt het bedrijf in een blogpost.
Wij zien dit werk als een aanvulling op extern gespecificeerde governancepraktijken, zoals audits door derden, schrijft OpenAI. Er zal een beroep worden gedaan op leden van het netwerk op basis van hun expertise om het rode team te helpen in verschillende stadia van de model- en productontwikkelingslevenscyclus.
Buiten de red teaming-campagnes in opdracht van OpenAI, zegt OpenAI dat leden van het Red Teaming Network de mogelijkheid zullen hebben om met elkaar in gesprek te gaan over algemene red teaming-praktijken en bevindingen. Niet elk lid zal betrokken zijn bij elk nieuw OpenAI-model of product, en de tijdsbijdragen – die slechts vijf tot tien jaar per jaar kunnen bedragen – zullen met de leden individueel worden bepaald, zegt OpenAI.
OpenAI doet een beroep op een breed scala aan domeinexperts om deel te nemen, inclusief mensen met een achtergrond in taalkunde, biometrie, financiën en gezondheidszorg. Er is geen voorafgaande ervaring met AI-systemen of taalmodellen vereist om in aanmerking te komen. Maar het bedrijf waarschuwt dat de mogelijkheden van Red Teaming Network mogelijk onderworpen zijn aan geheimhoudings- en vertrouwelijkheidsovereenkomsten die van invloed kunnen zijn op ander onderzoek.
Wat we het meest waarderen is uw bereidheid om mee te werken en uw perspectief te geven op de manier waarop we de impact van AI-systemen beoordelen, schrijft OpenAI. We nodigen sollicitaties uit van experts van over de hele wereld en geven prioriteit aan zowel geografische als domeindiversiteit in ons selectieproces.
De vraag is: is rood teaming voldoende? Sommigen beweren dat dit niet zo is.
In een recente deel , Wired-medewerker Aviv Ovadya, aangesloten bij het Berkman Klein Center en het Center for the Governance of AI van Harvard, pleit voor violet teaming: identificeren hoe een systeem (bijvoorbeeld GPT-4) een instelling of publiek goed kan schaden en vervolgens de ontwikkeling van instrumenten die datzelfde systeem gebruiken om de instelling en het publieke goed te verdedigen. Ik ben geneigd het ermee eens te zijn dat het een verstandig idee is. Maar, zoals Ovadya in zijn column aangeeft, zijn er weinig prikkels om aan violet teaming te doen, laat staan de AI-releases voldoende te vertragen om voldoende tijd te hebben om het te laten werken.
Red teaming-netwerken zoals die van OpenAI lijken het beste dat we kunnen krijgen – althans voorlopig.