De jouwe , een vier jaar oude generatieve AI-startup die bedrijven helpt digitale replica's van individuen te maken voor geautomatiseerde gepersonaliseerde videocampagnes, heeft een nieuwe financiering van miljoen bevestigd en onthuld dat het zijn platform openstelt voor derden om hun software te integreren met de technologie van het bedrijf .
Rapporten verscheen in augustus dat Tavus ongeveer $ 18 miljoen had opgehaald, maar de details waren schaars. Het bedrijf heeft nu tegenover Gadget Insider bevestigd dat het inderdaad miljoen heeft opgehaald in een Series A-ronde onder leiding van Schaal Venture Partners – een VC in een vroeg stadium die eerder onder meer Box, HubSpot en DocuSign heeft gesteund. Andere opmerkelijke investeerders zijn onder meer Sequoia, die vorig jaar de leiding had over de startronde van Tavus ter waarde van $ 6,1 miljoen, die naast Y Combinator (YC) en HubSpot deelnam.
Tavus maakt gebruik van generatieve AI om gepersonaliseerde video's mogelijk te maken met stem- en gezichtsklonen
Video staat centraal
De generatieve AI-beweging wordt het best geïllustreerd door op tekst gebaseerde zoekmachines zoals ChatGPT en tekst-naar-afbeelding-modellen zoals DALL-E, die OpenAI momenteel aan het combineren is tot één alles zingend platform. Maar als we de afgelopen maanden iets kunnen zien, zou generatieve AI aan de vooravond kunnen staan van een nieuwe kleine revolutie, waarbij video centraal staat.
OpenAI debuteerde onlangs met Sora, een tekst-naar-video-model dat de creatieve industrie zoals wij die kennen zou kunnen transformeren. Maar het is verre van de enige speler in de stad, waarbij technologiegiganten als Google al een aantal jaren aan soortgelijke tools werken. Noem een hele reeks startups die zijn opgegroeid aanzienlijk stukjes VC-verandering het afgelopen jaar voor verschillende realisaties van hoe generatieve AI zou kunnen kruisen met video.
Tavus van zijn kant werkt samen met zijn klanten om replica's van individuen te creëren door middel van stem- en gezichtsklonen. Het idee is dat verkoop- en marketingteams Tavus kunnen gebruiken om gepersonaliseerde video's op grote schaal naar potentiële klanten te sturen, of misschien kan een productteam geïndividualiseerde walkthrough-video's maken voor het onboarden van nieuwe klanten - allemaal via eenvoudige op tekst gebaseerde aanwijzingen die gebruikmaken van de eerder gemaakte digitale replica. En door Tavus te integreren met systemen van derden, zoals Salesforce of Mailchimp, kunnen bedrijven een groot deel hiervan automatiseren. Een klant die een online formulier invult en om meer informatie over een product vraagt, kan bijvoorbeeld direct een video per e-mail ontvangen, waarbij een vertegenwoordiger contact opneemt de prospect bij naam en met uitleg over de volgende stappen.
Tavus is er in zijn korte leven tot nu toe in geslaagd een aantal redelijk grote klanten binnen te halen, waaronder Salesforce en Facebook’s moederbedrijf Meta, mede-oprichter en CEO Hassan Raza Ze gebruiken het platform om te verkopen aan hun respectievelijke B2B-klanten via gepersonaliseerde demovideo's.
Tavus als platform
Tot nu toe wordt Tavus bediend via een SaaS-app, waarmee klanten hun eigen AI-videosjablonen kunnen maken. Voor het onboardingproces is een persoon nodig, zoals de CEO of verkoopmanager,om een video van 15 minuten op te nemen op basis van een script van Tavus.

Het klonen van Tavus in actie. Afbeeldingscredits : De jouwe
Dit wordt vervolgens gebruikt om de AI te trainen, waarna de gebruiker naar een webeditor gaat en selecteert welke delen van de video hij wil personaliseren door de variabelen te definiëren – zoals locatie, naam van de manager, bedrijf of product. Door Tavus aan hun CRM-systeem te koppelen, kunnen bedrijven elk van deze variabelen aanpassen aan een bepaald klantensegment, zoals klanten die interesse hebben getoond in een bepaald product.

Variabelen bewerken. Afbeeldingscredits : De jouwe
Bedrijven kunnen honderden van deze replica's maken met verschillende betrokken medewerkers, vol met verschillende achtergronden voor verschillende doelmarkten.
Via de in-app-editor is het mogelijk om een willekeurig aantal verschillende scripts te genereren die aan elke gebruikssituatie kunnen worden gekoppeld, zonder dat u de originele video opnieuw hoeft op te nemen.

De verschillende avatars van Tavus. Afbeeldingscredits : De jouwe
Hoewel dit kernproduct van SaaS niet zal verdwijnen, tilt Tavus vandaag de deksel op van een nieuwe turboversie van zijn technologie, naast de eerste aflevering van een reeks ontwikkelaars-API's waarmee derde partijen Tavus in hun eigen applicaties kunnen integreren.
Repliceren
Het eerste facet van het nieuwe ontwikkelaarsplatform van Tavus is de replica-API, die draait om het maken van fotorealistische digitale replica's vol tekst-naar-video-generatie. Hiermee kan een bedrijf een persoon (bijvoorbeeld hoofd marketing of CEO) repliceren met behulp van een nieuw eigen model gecreëerd door Tavus genaamd Phoenix, dat is gebaseerd op een diepgaande leermethode genaamd neural radiance field (NeRF). Hiermee kan in slechts een paar minuten een 3D-constructie van een persoon uit 2D-beelden worden gegenereerd.
Je kunt er in feite hele video's mee maken met slechts twee minuten aan trainingsgegevens, wat een grote sprong voorwaarts is ten opzichte van de manier waarop we voorheen de personalisatie op grote schaal uitvoerden, vertelde Raza aan Gadget Insider. En dus hoef je nu alleen nog maar twee minuten aan trainingsgegevens op te nemen, en er wordt een volledige replica van jou gemaakt. En als je eenmaal een replica hebt, kun je zoveel video's maken als je wilt: van één, twee of duizend scripts.
snapchat a.i-verhaal

Simulatie die laat zien hoe Tavus het gezicht van een gebruiker in kaart brengt om een realistische replica te creëren. Afbeeldingscredits : De jouwe

Uitvoer: Het Phoenix-model van Tavus construeert een 3D-model met behulp van 2D-video-invoer via NeRF. Afbeeldingscredits : De jouwe
De inaugurele replica-API steunt op de volledige functionaliteit van het Phoenix-model en legt de gezichtsbewegingen van een individu vast, inclusief wangen, neus, wenkbrauwen en lippen.
Het bewegen van je hele gezicht zorgt voor realisme, natuurlijkheid en kwaliteit - als je praat, drukt je gezicht emoties uit die verder gaan dan je bewegende lippen, legde Raza uit. Als je een hele video wilt genereren op basis van een script (waarin je spreekt, een die er natuurlijk uitziet en van ongelooflijk hoge kwaliteit is), zou je de replica-API willen gebruiken.
Tavus ontwikkelt echter ook een aantal aanvullende API's, waaronder één specifiek voor lipsynchronisatie, één voor nasynchronisatie en één voor het uitvoeren van massale, gepersonaliseerde videocampagnes.
De lip-sync API zal volgens Raza lagere instapkosten hebben en is beter voor situaties waarin een hoge mate van kwaliteit en realisme niet nodig is.
De nasynchronisatie-API maakt ondertussen ook gebruik van het lip-sync-model, maar omvat ook meertalige spraakklonen, wat betekent dat een monolinguïstische gebruiker videocampagnes in een willekeurig aantal talen kan verzenden met behulp van zijn eigen stem. In dit geval maakt de API, aangezien het grootste deel van de video hetzelfde blijft, een eenvoudige vervanging van lipbewegingen mogelijk om deze af te stemmen op de verschillende geluiden die uit de mond van de gebruiker komen. Dit zou bijvoorbeeld nuttig kunnen zijn voor de makers van een softwarepakket voor videobewerking, waarbij ze hun gebruikers in staat willen stellen lipsynchronisatie, bewerking en nasynchronisatie aan hun video's toe te voegen.
En dan bundelt de videocampagne-API in feite de replica-API samen met een hele reeks extra tools – zoals hosting, variabele mapping, thumbnails en analyses – voor degenen die grootschalige videocampagnes willen lanceren.
We bieden elke ontwikkelaar de mogelijkheid om out-of-the-box een end-to-end videocampagne-ervaring te bieden, binnen hun eigen oplossingen, aldus Raza. Terwijl de replica- en lip-sync-API’s meer ‘model-as-a-service’ zijn, biedt de campagne-API u tools om eenvoudig een AI-videocampagneplatform te bouwen.
Raza bleef terughoudend over wie enkele van de eerste gebruikers van het Tavus-platform zijn, maar hij zei wel dat het samenwerkt met een van de grootste videoplatforms voor klantbetrokkenheid. Ze willen dit naar hun miljoenen klanten brengen die hun platform al dagelijks gebruiken om video te maken, zei Raza.
Deepfake-dilemma
Instinctief zijn platforms als Tavus rijp voor misbruik. Wat weerhoudt iemand er immers van om een reeds bestaande video te uploaden om een digitale replica te maken? Deepfakes zijn inderdaad een groeiend probleem in de opkomende AI-beweging, maar Raza zegt dat ze controles hebben om bedrog te voorkomen. Wanneer een gebruiker bijvoorbeeld twee minuten aan trainingsbeelden indient, moet hij ook een specifieke mondelinge toestemmingsverklaring indienen, die vervolgens wordt afgestemd op de audio in de trainingsbeelden om er zeker van te zijn dat er een match is.
We voeren deze controles automatisch uit en voeren vervolgens een menselijke controle uit voor elke replica die de geautomatiseerde controles doorstaat om de veiligheid te garanderen, zei Raza.
Het is gemakkelijk in te zien hoe dat zou kunnen werken met Tavus als een zelfstandige SaaS-app, maar nu het een platform is waartoe een groot aantal bedrijven via een API toegang heeft, wie heeft dan de controle over de verificatie? Nou, het blijkt dat Tavus dat is: het bedrijf wil het verificatiewiel in handen houden, ook al levert het alleen maar de engine aan externe ontwikkelaars.
We voeren dezelfde controles uit en nemen ook de verantwoordelijkheid voor verificaties met [de] API, vervolgde Raza.
powertaal.nl
De werkelijkheid uitbreiden
Hoewel OpenAI bijna het publieke gezicht van generatieve AI is geworden, is er meer dan genoeg ruimte voor verschillende spelers iets anders in de mix brengen. Terwijl het onlangs uitgebrachte Sora-model van DALL-E en OpenAI vooral gaat over het helpen van mensen bij het creëren van beelden op basis van tekstprompts, gaat volgens Raza de bestaansreden van Tavus meer over het uitbreiden van iemands eigen realiteit.
We zien een toekomst waarin iedereen een digitale replica van zichzelf wil hebben; Zij controleren dat en hebben daar de volledige zeggenschap over, zei Raza. En het zal belangrijk zijn dat het uiteindelijk steeds meer van je persoonlijkheid, steeds meer van je gebaren en eigenschappen vastlegt. Dat is hoe we de dingen in de toekomst zien – er zullen modellen zijn die dingen creëren die niet bestaan, en dan zullen er modellen zijn die je realiteit uitbreiden.
Met miljoen op de bank zei Raza dat de recente geldinjectie zal worden gebruikt om het vuur aan te wakkeren dat al brandt in de Tavus-torens.
We zijn een AI-onderzoeksbedrijf, dus we willen de ontwikkeling van nieuwere modellen zoals Phoenix kunnen voortzetten, zei Raza. Maar houd dan ook gewoon onze groei vol, we hebben voortdurend veel vraag gehad. En we willen onze machine learning- en engineeringteams voortdurend kunnen inhuren om onze ontwikkelaars- en SaaS-klanten te ondersteunen.