ElevenLabs wprowadza na rynek nowe produkty Voice AI i pozyskuje 80 mln USD w ramach serii B

• ElevenLabs pozyskało 80 mln dolarów w rundzie Series B współprowadzonej przez Andreessen Horowitz, Nat Friedman, Daniel Gross, z udziałem Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital oraz Credo Ventures, aby umocnić pozycję lidera głosów AI.
• Firma prezentuje dziś też nowe produkty, w tym Dubbing Studio, Voice Library — marketplace, wczesny podgląd aplikacji mobilnej Reader oraz nowe modele o większej szybkości i obsłudze większej liczby języków.
• Od premiery technologia ElevenLabs zwiększa dostępność treści na całym świecie w sektorach takich jak gospodarka twórców, publikacje, Conversational AI, rozrywka, edukacja i dostępność. Korzystają z niej miliony osób, dzięki czemu firma osiągnęła status jednorożca.

22 stycznia / globalnie – ElevenLabs, firma badawcza zajmująca się technologią głosową, pozyskała 80 mln dolarów w rundzie Series B współprowadzonej przez Andreessen Horowitz, Nat Friedman, Daniel Gross i z udziałem Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital oraz Credo Ventures, umacniając swoją pozycję światowego lidera badań nad głosami AI i wdrażania produktów.

Od publicznej premiery ElevenLabs wyznacza standardy w naturalnej syntezie mowy, umożliwiając użytkownikom tworzenie i projektowanie głosów AI w szerokiej gamie języków i akcentów, zdolnych oddać różne emocje i intonacje. Od premiery użytkownicy ElevenLabs wygenerowali ponad 100 lat audio, a firma urosła z 5 do 40 pracowników. Dziś z technologii ElevenLabs korzystają pracownicy 41% firm z listy Fortune 500. 

Technologia ElevenLabs znalazła zastosowanie w wielu branżach. Pomaga twórcom wzbogacać odbiór treści za pomocą nałożonych głosów i dubbingu AI, poszerza dostęp do edukacji oraz oferuje nowe rozwiązania w wydawaniu audiobooków, rozrywce i zastosowaniach osobistych, w tym zwiększaniu dostępności. Środki z finansowania posłużą dalszemu dopracowaniu oferty produktów przy jednoczesnym bezpiecznym wdrażaniu technologii AI.

Oprócz dzisiejszego ogłoszenia rundy Series B ElevenLabs przedstawia też kilka nowych produktów, które będą dostępne w najbliższych tygodniach:

• Nowy workflow Dubbing Studio pozwala użytkownikom dubbingować całe filmy oraz generować i edytować transkrypcje, tłumaczenia i znaczniki czasu, dając większą kontrolę nad produkcją treści. Te możliwości uzupełniają dostępną już funkcję dubbingu AI dubbingu, która umożliwia automatyczną, kompleksową lokalizację wideo w 29 językach.
• Marketplace Voice Library zapewni użytkownikom bezpieczną platformę do zarabiania na wersjach AI własnych głosów. Użytkownicy mogą stworzyć profesjonalną replikę swojego głosu AI, zweryfikować ją i udostępnić przez Voice Library. Gdy inni korzystają z tych zweryfikowanych głosów, ich pierwotni twórcy otrzymują wynagrodzenie. Użytkownicy zawsze zachowują kontrolę nad dostępnością swojego głosu i warunkami wynagrodzenia. Marketplace już generuje dochód dla niewielkiej grupy użytkowników alfa.
• Wczesny podgląd aplikacji mobilnej Reader która natychmiast zamienia tekst i adresy URL w audio, ułatwiając dostęp do treści w innym formacie podczas podróży. W ramach okresu próbnego aplikacja będzie bezpłatna przez pierwsze trzy miesiące, a użytkownicy będą mogli zapisać się na wcześniejszy dostęp przez listę oczekujących.

W 2023 roku ElevenLabs rozszerzyło też obecność w wielu sektorach, w tym w publikacjach, gamingu, mediach i Conversational AI, oraz nawiązało partnerstwa B2B z dużymi firmami medialnymi, takimi jak:

• Publikacje: Storytel, The Washington Post, Rheinische Post, Curio
• Conversational AI: FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Media i rozrywka: Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming: Paradox Interactive, NetEase, Inworld AI

Te premiery produktów i partnerstwa następują po okresie ciągłego rozwoju zestawu narzędzi ElevenLabs, opracowanych w oparciu o własne badania. Wśród premier znalazły się: Speech Synthesis do realistycznej zamiany tekstu na mowę oraz model Turbo zoptymalizowany pod kątem opóźnień; Voice Design i Voice Cloning do tworzenia unikalnych głosów; Speech to Speech do przekształcania jednego głosu w drugi. Firma udostępniła też swoje wiodące w branży narzędzie AI Dubbing, które automatycznie tłumaczy audio i wideo na 29 języków przy zachowaniu głosu i emocji oryginalnego mówcy. Firma wkrótce rozszerzy też modele Turbo i Speech to Speech, obecnie dostępne po angielsku, o kolejne języki. 

Opierając się na badaniach stojących za tymi funkcjami, ElevenLabs rozwija też zaawansowane narzędzia do bardziej złożonych workflow, takie jak Studio dla wydawców i Dubbing Studio do lokalizacji wideo. Studio ułatwia wydawcom edycję, strukturę, nawigację i tworzenie długich treści, a Dubbing Studio pomaga przygotować treści dla odbiorców na całym świecie, dając bezpośrednią kontrolę nad transkrypcją, tłumaczeniem i czasem sekwencji.

Firma stworzyła też produkty dla społeczności, takie jak Voice Library — środowisko do udostępniania głosów generowanych przez AI. Wcześniej ograniczone do udostępniania sztucznych głosów stworzonych narzędziem Voice Design, Voice Library pozwala teraz użytkownikom udostępniać własne zweryfikowane repliki głosu utworzone za pomocą Professional Voice Cloning w ramach nowego marketplace Voice Library i zarabiać, gdy korzystają z nich inni. Aby zapewnić bezpieczeństwo i wiarygodność marketplace, ElevenLabs używa technologii Professional Voice Cloning do tworzenia wiernych replik głosów. Przed udostępnieniem głosu użytkownicy muszą przejść weryfikację Voice Captcha, odczytując tekst w określonym czasie, aby potwierdzić zgodność ich głosu z próbkami treningowymi. Ten proces, wraz z moderacją i ręcznym zatwierdzaniem przez zespół ElevenLabs, zapewnia, że udostępniane i monetyzowane są autentyczne głosy zweryfikowane przez użytkowników, tworząc bezpieczniejsze i bardziej godne zaufania środowisko.

Jednym z głównych priorytetów ElevenLabs jest bezpieczny i odpowiedzialny rozwój AI, ze szczególnym naciskiem na wykrywanie, by wszystkie treści generowane przez AI były wyraźnie rozpoznawalne. W zeszłym roku firma udostępniła AI Speech Classifier — narzędzie, które sprawdza, czy próbka audio zawiera treści wygenerowane przez ElevenLabs. W tym roku firma będzie rozwijać możliwości Classifiera, aby obejmował więcej modeli głosów AI, oraz współpracować z innymi platformami dystrybucyjnymi przy szerszym wdrożeniu. ElevenLabs aktywnie rozwija dodatkowe zabezpieczenia zwiększające bezpieczeństwo w przestrzeni publicznej.

Dzięki inwestycji Series B ElevenLabs zamierza umocnić pozycję światowego lidera badań nad głosami AI i wdrażania produktów. Kapitał zostanie przeznaczony na rozwój badań, rozbudowę infrastruktury, tworzenie produktów dla konkretnych branż oraz ulepszanie zabezpieczeń, by zapewnić odpowiedzialny i etyczny rozwój technologii AI.

Piotr Dąbkowski, CTO ElevenLabs, dodaje:

„Zaangażowanie naszego zespołu już wywarło trwały wpływ na głosy AI. Nowe finansowanie pozwala nam podejmować jeszcze większe wyzwania i skupić się na utrzymaniu przewagi w badaniach i rozwoju produktów.”

Mati Staniszewski podsumowuje:

„Nasza ambicja pozostaje taka sama — zmieniać sposób, w jaki korzystamy z treści, przełamując bariery językowe i komunikacyjne. Tworzymy najnowocześniejszą technologię, by treści były dostępne w różnych językach — i głosach — oraz by każdy mógł łączyć się z ważnymi informacjami i historiami. Dotychczasowe postępy są zasługą naszego zaangażowanego zespołu i inwestorów. To dopiero początek naszej drogi, ale razem pomagamy kształtować przyszłość dostępności i komunikacji.”