De race om het volgende grote taalmodel te bouwen is begonnen, en nu heeft een concurrent uit China naar verluidt een grote financieringsronde binnengehaald om het naar de voorgrond van het peloton te katapulteren.
naakte naaf
Maanschot AI , een startup op het gebied van kunstmatige intelligentie die minder dan een jaar geleden werd opgericht en LLM's bouwt die lange invoer van tekst en gegevens aankunnen, heeft volgens meerdere mediaberichten uit China ruim $ 1 miljard opgehaald in een Series B-ronde. Als dit klopt, zou deze laatste kapitaalinjectie Moonshot AI op 2,5 miljard dollar waarderen – de grootste afzonderlijke financieringsronde voor Chinese LLM-ontwikkelaars die openbaar is gemaakt.
De startup – die in China YueZhiAnMian heet – heeft zich, zoals velen op het gebied van AI op dit moment, gefocust op de ontwikkeling van grote taalmodellen. Het unieke verkoopargument is met name dat het eraan werkt om context en respons in lange vorm te kunnen verwerken, een gebied dat anderen in het veld al lang te slim af is.
Het is snel gegaan met de eerste inspanningen om dit aan te pakken.
In maart vorig jaar – ter gelegenheid van de 50e verjaardag van Pink Floyd’s The Dark Side of the Moon, het favoriete album van oprichter Yang Zhilin en de inspiratie voor de naam van de startup – werd de startup gelanceerd met een LLM van 100 miljard parameters.
Vervolgens lanceerde Moonshot in oktober zijn eerste chatbot in China, Van wie , dat beweert de verwerking van 200.000 Chinese karakters in één enkel gesprek te kunnen ondersteunen – naar verluidt acht keer de lengte van wat OpenAI’s GPT-4-32K kan bereiken.
Wij hebben contact opgenomen Yang Zhilin , de AI-onderzoeker en academicus die samen met Zhou Xinyu en Wu Yuxin Moonshot heeft opgericht, voor commentaar en zal dit bericht bijwerken als en wanneer hij reageert.
Ondertussen zeggen de rapporten dat de financiering afkomstig is van een lijst van grote investeerders, waaronder een aantal potentieel interessante strategische partners. Co-leiders in de ronde zijn e-commercegigant Alibaba en HongShan – het durfkapitaalbedrijf dat voorheen bekend stond als Sequoia China, volgens Zuid-Chinese ochtendpost . Anderen in de ronde waren onder meer de Chinese super-app Meituan en Xiaohongshu (soms het Chinese antwoord op Instagram genoemd), volgens de Chinese techblog LatePost.
(Bloomberg gemeld een week nadat het financieringsnieuws voor het eerst naar voren kwam dat Alibaba de ronde van $ 1 miljard leidde, waaraan Monolith Management deelnam.)
Moonshot haalde eerder 0 miljoen op van het HongShan en Zhen Fund in een ronde die het op 0 miljoen waardeerde, volgens PitchBook-gegevens .
HongShan, gecontacteerd voor commentaar, weigerde commentaar te geven op de rapporten. Alibaba heeft niet gereageerd op een verzoek om commentaar. We hebben ook afzonderlijk contact opgenomen met Moonshot.
figma-inkomsten
Als dit klopt, zou de betrokkenheid van HongShan hier opmerkelijk zijn. Sequoia Capital kondigde vorig jaar formeel aan dat het zijn Aziatische activiteiten in India en China zou afsplitsen vanwege de toenemende geopolitieke spanningen. Dat proces moet uiteindelijk op 24 maart zijn afgerond.
Maar intussen heeft de Chinese operatie dat wel gedaan onder de loep nemen van de Amerikaanse overheid voor haar AI-deals in de VS; en het Amerikaanse bedrijf wordt eveneens onderzocht op aanhoudende activiteiten in China. Gezien dit alles is het geen verrassing dat de eens zo spraakmakende investeerder zich hier misschien gedeisd houdt.
Het is veelbetekenend dat de rest van de gerapporteerde investeerderslijst een echte who's who is van bekende technische namen. Dit onderstreept de voortdurende terugtrekking – of op zijn minst pauze – onder financiële investeerders naar veelbelovende Chinese startups, vooral die uit het Westen, die deals sluiten in Amerikaanse dollars.
Maar het wijst ook op hoe – net zoals we in de VS hebben zien gebeuren, met bedrijven als Microsoft, Google en Amazon die miljarden dollars in LLM-startups als OpenAI en Anthropic steken – grote technologiebedrijven in China op zoek zijn naar wat hun toekomst zou kunnen zijn. grote AI-spel in de komende maanden en jaren. Het hebben van financiële voet aan de grond bij een handvol veelbelovende hoopvolle bedrijven is een manier om alles wat ze intern proberen op te bouwen, te bekorten of te vergroten.
OpenAI regeert momenteel in de VS en misschien wel overal elders waar het is uitgebreid, maar in China is er geen gezalfde leider, dus een groot deel van de investeringsactiviteiten voelt alsof het gaat om het verspreiden van weddenschappen.
Alibaba is met dat doel ook een investeerder in Baichuan – opgericht door Xiaochuan Wang, een pionier op het gebied van zoekmachines, die eind vorig jaar 350 miljoen dollar ophaalde en daarbij een waardering van 1 miljard dollar passeerde – evenals Zhipu AI, een andere LLM-parvenu, en 01.AI, het LLM-bedrijf opgericht door Kai-Fu Lee.
Alibaba’s aartsrivaal Tencent heeft ondertussen Baichuan, Zhipu, MiniMax en Light Years Beyond gesteund. Vergis je niet: de Chinese internetgiganten hebben die westerse geld-VC’s vervangen door de LLM-kandidaten van het land te steunen.
Maar ook al klinkt miljard als heel veel geld om over te dragen aan een startup die nog geen jaar oud is, dan is een van de redenen waarom grote namen bereid zouden kunnen zijn grote inzetten te doen, vanwege de afkomst.
Pink Floyd-fan werd AI-pionier
Yang Zhilin had een lange lijst met prestaties op zijn naam staan, zelfs voordat hij met Moonshot begon.
hoe je een Joe Rogan-podcast kunt krijgen
Hij heeft een doctoraat in computerwetenschappen behaald aan de Carnegie Mellon Universiteit, waar hij werd geadviseerd door Ruslan Salakhutdinov, die eerder AI-onderzoek leidde bij Apple nadat de iPhone-maker stilletjes een startup had overgenomen die hij had opgericht, genaamd Perceptual Machines – een overname die nooit lijkt te zijn gerapporteerd maar wordt vermeld in de LinkedIn-profiel van de hoogleraar en professionele tijdlijn.
baja pitbike 70cc
Daarvoor studeerde hij aan de Tsinghua Universiteit, geadviseerd door Jie Tang. Hij heeft ook gewerkt bij Google Brain en Meta AI.
Yang heeft ook een andere AI-startup in de maak, Terugkerende.AI , dat specifiek lijkt te zijn gericht op technologieën die zijn gebouwd om verkopers beter in hun werk te helpen (met functies die niet veel anders klinken dan bijvoorbeeld Gong.AI). Volgens 2021 had Recurrent ongeveer $ 60 miljoen opgehaald PitchBoek . En hoewel er sindsdien niet veel kapitaalactiviteit heeft plaatsgevonden, lijkt het bedrijf operationeel te blijven.
Belangrijk voor Moonshot was dat Yang ook een belangrijke auteur was van Transformer-XL, een belangrijke ontwikkeling in de LLM-architectuur om dit mogelijk te maken begrijpen van natuurlijke taal buiten een context van vaste lengte , iets dat een belangrijke rol heeft gespeeld in de ontwikkeling van het platform van Moonshot en, aantoonbaar, de bredere missie.
De focus van Moonshot op langere invoer en uitvoer en het produceren van nauwkeurigere resultaten voor zoekopdrachten waarbij dit betrokken is, legt de basis voor het bedrijf om zich te richten op op tekst gebaseerde gebruiksscenario's die nog niet breed worden benut door bestaande LLM's en generatieve AI-toepassingen, zoals juridische documenten, fictie schrijven en diepere financiële analyse. Kimi Chat is tot en met januari 2024 getraind op informatie, vertelt de chatbot.
Het is niet de enige Chinese speler die werkt aan het wegnemen van de grenzen van lange context. Baichuan kondigde in oktober zijn Baichuan2-192K-model aan, waarvan wordt gezegd dat het dat ook is verwerken ongeveer 350.000 Chinese karakters in één contextvenster.
De markt voor fondsenwerving blijft wereldwijd beperkt, maar deze ronde spreekt van de bereidheid van mensen met diepe zakken om in te springen als de juiste kansen zich voordoen. Maar zelfs met de bredere, mondiale AI-razernij – waar sommige 0 miljard Er zal in 2025 geïnvesteerd worden, voorspelt Goldman Sachs – het financieringslandschap in China is verrassend lauw.
Volgens onderzoeksbureau CBInsight registreerde China in 2023 ongeveer 232 investeringen in de AI-ruimte, een daling van 38% op jaarbasis. Het totale bedrag dat door de Chinese AI-bedrijven werd opgehaald bedroeg grofweg 2 miljard dollar, 70% minder dan het jaar ervoor.