In San Francisco gevestigde AI-chatbotmaker, Replica – die een freemium ‘virtuele vriendschaps’-dienst exploiteert op basis van aanpasbare digitale avatars waarvan de gepersonaliseerde reacties worden aangedreven door kunstmatige intelligentie (en ontworpen, volgens zijn pitch, om menselijke gebruikers zich beter te laten voelen) – heeft van de Italiaanse privacywaakhond de opdracht gekregen om te stoppen met het verwerken van lokale gegevens van gebruikers.
De Garante zei dat het bezorgd is dat Replika’s chatbottechnologie risico’s met zich meebrengt voor minderjarigen – en ook dat het bedrijf geen goede wettelijke basis heeft voor het verwerken van kindergegevens volgens de gegevensbeschermingsregels van de EU.
Bovendien maakt de toezichthouder zich zorgen over het risico dat de AI-chatbots kunnen opleveren voor emotioneel kwetsbare mensen. Het beschuldigt Luka Inc, de ontwikkelaar achter de Replika-app, er ook van dat het niet voldoet aan de regionale wettelijke vereisten om duidelijk aan te geven hoe het de gegevens van mensen gebruikt.
De volgorde Het stopzetten van de verwerking van de gegevens van Italianen is met onmiddellijke ingang van kracht.
In een persbericht Bij de aankondiging van zijn tussenkomst zei de waakhond: De door AI aangedreven chatbot, die een ‘virtuele vriend’ genereert met behulp van tekst- en video-interfaces, zal voorlopig niet in staat zijn om [de] persoonlijke gegevens van Italiaanse gebruikers te verwerken. Een voorlopige beperking op de gegevensverwerking werd door de Italiaanse Garante opgelegd aan het in de VS gevestigde bedrijf dat de app heeft ontwikkeld en exploiteert; de beperking gaat onmiddellijk in.
Uit recente mediaberichten en tests die de SA [toezichthoudende autoriteit] heeft uitgevoerd op ‘Replika’ blijkt dat de app feitelijke risico’s voor kinderen met zich meebrengt – in de eerste plaats het feit dat ze antwoorden krijgen die absoluut ongepast zijn voor hun leeftijd, voegde het eraan toe.
Replika was een vroege API-partner voor OpenAI's tekstgenererende grote taalmodeltechnologie, GPT-3 - hoewel de service niet draait op een kopie van GPT-3 (en het is ook niet dezelfde technologie als OpenAI's bruisende ChatGPT). De startup beweert het eerder verfijnd GPT-3 maakt gebruik van een machine learning-netwerkmodel dat is getraind op dialoog, om de generatieve technologie aan te scherpen voor zijn specifieke gebruiksscenario: conversatie (en het claimt empathische) AI-metgezellen.
Er zijn echter al eerder zorgen geuit over de risico’s die de technologie voor kinderen met zich mee kan brengen – variërend van zorgen over kinderen die worden blootgesteld aan ongepaste inhoud tot meer algemene zorgen, dat ze verslaafd zouden kunnen raken aan de interacties of gewoon zouden worden aangemoedigd om veel geld uit te geven aan het aanpassen van hun avatars of om toegang te krijgen tot andere betaalde inhoud. Maar de Italiaanse waakhond lijkt de eerste toezichthouder te zijn die formele actie onderneemt over de veiligheid van kinderen.
In het bevel van de Garante wordt opgemerkt dat verschillende gebruikersrecensies van de app melden dat er seksueel ongepaste inhoud wordt aangeboden. Het merkt ook op dat, hoewel de app wordt vermeld als 17+, in Apple's iOS- en Google's Android-appstores, de servicevoorwaarden van de ontwikkelaar alleen gebruik door jongeren onder de 13 jaar verbieden. En hoewel jongeren onder de 18 jaar toestemming moeten krijgen van een ouder of voogd, wijst de waakhond erop dat de app niet probeert de leeftijd van gebruikers te verifiëren, noch minderjarigen blokkeert die informatie over hun leeftijd verstrekken – vandaar de mening dat Replika er niet in slaagt om te beschermen kinderen.
Er is eigenlijk geen mechanisme voor leeftijdsverificatie: geen poortmechanisme voor kinderen, geen blokkering van de app als een gebruiker verklaart minderjarig te zijn. Tijdens het aanmaken van een account vraagt het platform alleen om de naam, het e-mailaccount en het geslacht van een gebruiker, merkt het op. En de ‘antwoorden’ die de chatbot geeft, zijn vaak duidelijk in strijd met de verbeterde waarborgen waar kinderen en kwetsbare individuen recht op hebben. Verschillende recensies in de twee belangrijkste App Stores bevatten opmerkingen van gebruikers die seksueel ongepaste inhoud markeren.
‘Replika’ is in strijd met de EU-verordening inzake gegevensbescherming: het voldoet niet aan de transparantievereisten en verwerkt persoonsgegevens op onrechtmatige wijze, aangezien de uitvoering van een contract niet als rechtsgrondslag kan worden ingeroepen, zelfs niet impliciet, aangezien kinderen niet in staat zijn om overeenkomsten aan te gaan. een geldig contract naar Italiaans recht, voegde de Garante eraan toe, en zei dat het zijn in de VS gevestigde ontwikkelaar heeft opgedragen te stoppen met het verwerken van gegevens met betrekking tot Italiaanse gebruikers – waardoor het twintig dagen de tijd krijgt om maatregelen door te geven die zijn genomen om aan het bevel te voldoen.
Als het bevel niet wordt nageleefd, riskeert het een boete van maximaal € 20 miljoen, of 4% van de totale wereldwijde jaaromzet, merkt het verder op.
Er werd contact opgenomen met Replika voor een reactie op het bevel van de Garante.
De Algemene Verordening Gegevensbescherming (AVG) van de EU legt sterk de nadruk op het beschermen van de informatie en privacy van kinderen. Dit suggereert bijvoorbeeld dat diensten die waarschijnlijk minderjarigen als gebruikers hebben, moeten nadenken over het integreren van een kindvriendelijk ontwerp en proactief moeten zijn bij het nemen van risico's. beoordelingen om ervoor te zorgen dat ze potentiële veiligheids- en andere rechtenproblemen opmerken.
Waakhonden in de regio hebben de bereidheid getoond aandacht te besteden aan overtredingen op dit gebied.
Vorig najaar kreeg Instagram bijvoorbeeld een boete van bijna $440 miljoen opgelegd wegens het schenden van de privacy van kinderen. Consumentenbeschermingsautoriteiten in Europa hebben ook hun zorgen geuit over de veiligheid van kinderen op TikTok – hoewel het twee jaar geleden nog niet mogelijk was om TikTok te bevelen gebruikers te blokkeren, maar de leeftijd niet kon verifiëren als reactie op de dood van een kind dat naar verluidt had deelgenomen aan een risicovolle actie. uitdaging op het platform. Dat leidde tot het opschonen van ruim een half miljoen accounts.
Ondanks enige handhaving van de AVG (en wetgeving inzake consumentenbescherming) op het gebied van de veiligheid van kinderen, hebben campagnegroepen betoogd dat kinderen nog steeds niet goed worden beschermd – en zijn ze blijven aandringen op strengere wetten. De beperkingen zullen dus waarschijnlijk alleen maar strenger worden.
In Groot-Brittannië werd in het najaar van 2021 een ontwerpcode van kracht die aangepast is aan de leeftijd, gericht op het beschermen van minderjarigen tegen veiligheids- en privacyrisico’s. Terwijl de Franse waakhond voor gegevensbescherming ook een rapport heeft gepubliceerd reeks aanbevelingen om ervoor te zorgen dat de digitale rechten van kinderen worden beschermd.
Het Verenigd Koninkrijk werkt ook aan de goedkeuring van de op kinderveiligheid gerichte Online Safety Bill, als reactie op de publieke bezorgdheid over waar kinderen online aan worden blootgesteld.
De afgelopen maanden zijn EU-wetgevers ook een totaal verbod overeengekomen op het verwerken van gegevens van minderjarigen voor gerichte advertenties in een paar vlaggenschipupdates van het digitale rulebook van het blok: de Digital Services Act en Digital Markets Act, die later dit jaar van toepassing zullen worden. .
Tech-bazen die bereidwillig de Britse online-veiligheidsregels voor kinderen aan hun laars lappen om strafrechtelijk aansprakelijk te worden gesteld