In maart lanceerde Spotify zijn eerste AI-aangedreven functie met het debuut van zijn AI DJ: een slimme audiogids met een overtuigend realistische stem. Dat AI-persona was eigenlijk gebaseerd op een echte persoon, zo blijkt: Spotify’s hoofd van Cultural Partnerships, Xavier X Jernigan, die de eer had om het eerste stemmodel voor de AI-functie te worden.
Gadget Insider sprak met Jernigan om meer te weten te komen over het proces voor het trainen van de AI en de toekomstplannen van Spotify voor zijn AI DJ-inspanningen.
De nieuwe AI DJ personaliseert de muziekluisterervaring voor luisteraars en stelt een muziekselectie samen op basis van hun interesses. Het heeft ook commentaar gegeven op elk nummer, net als een echte radiopresentator.
Naast de primaire rol van Jernigan bij Spotify, is hij ook de gastheer van verschillende Spotify-podcasts, waaronder The Window, Showstopper en de inmiddels ter ziele gegane podcast The Get Up. Hij is er dus aan gewend dat zijn stem door miljoenen luisteraars wordt gehoord. Toch is het een unieke ervaring om zijn stem te laten herdenken als een AI.
Spotify koos Jernigan als het eerste stemmodel omdat zijn stem en persoonlijkheid al resoneerden met veel van onze luisteraars, vertelde Jernigan aan Gadget Insider. [Het bedrijf was] er vrij zeker van dat ik ook op deze manier zou resoneren.
Spotify’s Morning Show, The Get Up, trok bijna 6 miljoen luisteraars en stond in de top 10 van podcasts op Spotify voordat deze abrupt eindigde in 2022, wat de aantrekkingskracht van Jernigan aantoont.
Toch was het in eerste instantie moeilijk om het stemmodel voor DJ te zijn, gaf de podcastpresentator toe.
hero vijf sessie gopro
Ik werd gepromoot als stemmodel voor DJ en ik stond versteld toen het mij werd uitgelegd, vertelde Jernigan. Stel je voor dat als je dit voor de eerste keer hoort, je niets hebt om naar te kijken en ik denk: 'Wacht, wat? Ik zal het zijn, maar ik ben het niet, en het is tekst en stem, maar het klinkt als ik, en het is AI?
Voor mij was het een nieuwe ervaring om op deze manier met AI te werken. Ik was gewoon weggeblazen, voegde hij eraan toe.
Spotify lanceert ‘DJ’, een nieuwe functie die gepersonaliseerde muziek biedt met AI-commentaar
Spotify zegt dat zijn AI DJ is gebouwd met behulp van zowel Sonantic- als OpenAI-technologieën.
Sonantic is een AI-startup van Spotify vorig jaar verworven . De technologie van het bedrijf was verantwoordelijk voor het bouwen van op AI gebaseerde realistische stemmen, waaronder de stem die werd gebruikt voor de stem van Val Kilmer in Top Gun: Maverick.
Voorafgaand aan de overname heeft Spotify een paar jaar onderzoek gedaan naar AI-aangedreven technologie en in een aantal iteraties aan de DJ-functie gewerkt, merkte Jernigan op. Hij weigerde precies te vertellen hoe lang het proces duurde, maar zei dat de integratie van de Sonantic-technologie het proces echt in een hogere versnelling heeft gebracht.
Jernigan legde het proces van het trainen van de AI uit, wat inhield dat je een studio binnenging, een script voorlas en in verschillende cadensen en verbuigingen sprak om verschillende emoties over te brengen. Hij gaf de AI bepaalde woorden die alleen hij gebruikt om het zo authentiek mogelijk te laten aanvoelen.
We gebruiken woorden die ik zeg… Ik zeg geen ‘deuntjes’ voor liedjes. Zo praat ik gewoon niet, zei hij. Ik zeg ‘hits’ of ‘bangers’. Dus je zult DJ dit soort woorden horen zeggen, vervolgde Jernigan. We hebben zelfs een heel proces gedaan van: hoe zeg ik 'hey', hoe zeg ik 'hallo'. Ik had een notitieboekje bij me en ik schreef gewoon de verschillende zinnetjes op die ik zou zeggen.
Hij voegde eraan toe dat het Spotify-team ervoor zorgde dat hij zijn natuurlijke pauzes en ademhalingen aanhield, zodat de AI-stem echt menselijk zou klinken.
Zelfs de moeder van Jernigan gaf haar goedkeuring aan de resultaten.
Apple waarschuwt iPhone-gebruikers
[DJ] is geslaagd voor de mamatest. Ik heb het voor haar gespeeld voordat het uitkwam, ik heb het aan haar uitgelegd en ik probeer haar zover te krijgen dat ze erover nadenkt, zei hij. Ze luisterde naar al mijn podcasts, dus ze is eraan gewend mijn stem eerder te horen opnemen en afspelen, en ze zei: ‘Dat klinkt precies zoals jij.’ Mijn moeder zei dat het op mij leek, dus ik wist dat het perfect was.
Hoewel er al realistische AI-stemmen bestaan, zouden we zeggen dat de DJ van Spotify de rustigste en meest chille klank is vergeleken met anderen die we hebben gehoord. Hoewel de Duplex-technologie van Google misschien authentiek klinkt, is het niet per se een stem die prettig is om naar te luisteren als je je zomerjam-afspeellijst probeert te beluisteren.
Voor mij, toen ik de voorstelling maakte vanuit het standpunt van stemacteren, was het mijn doel om contact te maken met mensen, met mensen te praten en aan één persoon te denken. Dus toen ik de AI aan het trainen was, stelde ik me één persoon voor terwijl ik in de studio was, met hem praatte en hun vriend was, voegde hij eraan toe.
De nieuwe ‘DJ’-functie van Spotify is de eerste stap in de AI-aangedreven toekomst van de streamer
Naast dat de AI-stem vriendelijk klonk voor luisteraars, werd het ontwerp van de DJ zelf ook benaderbaar gemaakt.
De geanimeerde groene cirkel die gebruikers zien als ze naar de DJ luisteren, is een knipoog naar het Spotify-logo en beweegt als een mond als de AI praat.
Bij het ontwerp hebben we nagedacht over de hele ervaring: hoe het werkt, hoe het klinkt, hoe het eruit ziet en hoe we het voor elke gebruiker persoonlijk kunnen maken, vertelde Emily Galloway, hoofd Product Design for Personalisatie bij Spotify, aan Gadget Insider. . Voor de visuele kant hebben we al vroeg enkele opties onderzocht die technischer aanvoelden (stel je dingen voor als geluidsgolven). Toch voelde dit niet goed, omdat we de AI wilden humaniseren...
We wilden het er uniek uit laten zien en voelen. Het was zelfs zo uniek dat het een ontwerppatent kreeg, voegde Galloway eraan toe.
Jernigan droeg op andere manieren bij aan DJ dan het opnemen van zijn stem.
Om ervoor te zorgen dat de AI deskundig commentaar kon leveren op de muziek, heeft Spotify een writer’s room samengesteld bestaande uit curatoren, cultuurexperts en muziekexperts.
Jernigan heeft een uitgebreide achtergrond in muziek, dus hij was ook een deelnemer in de schrijverskamer. Hij werkte eerder voor topartiesten als Diddy, Amy Winehouse en 2 Chainz.
En hoewel Jernigan het eerste stemmodel voor DJ is, bestaat de mogelijkheid dat luisteraars in de toekomst meer stemmen zullen horen.
Gadget Insider vroeg Jernigan of het bedrijf plannen had om stemmodellen in te huren die andere talen spreken.
Blijf op de hoogte, hintte hij.
De AI DJ is momenteel alleen beschikbaar in het Engels voor Premium-abonnees in de VS en Canada. Vanaf februari bevindt de DJ-functie zich nog in bètatests.
We hebben over de hele linie een hele reeks echt coole nieuwe functies uitgebracht, zei Jernigan. Er komen echt geweldige dingen uit.
bedrijfsontslagen 2023
Spotify introduceert nieuwe technologie om radio-uitzendingen om te zetten in podcasts