Czym jest opóźnienie Conversational AI i co na nie wpływa?

W Conversational AI to właśnie opóźnienie odróżnia dobre aplikacje od świetnych.

Conversational AI z założenia dąży do odtworzenia wrażenia rozmowy z człowiekiem — z podobnym zakresem emocji, tonacją i rytmem. Kluczowe jest też „naturalne” opóźnienie między końcem wypowiedzi a odpowiedzią agenta AI. To wyznacza cel oparty na tym, jak ludzie faktycznie się komunikują. 

Firmy, które chcą wdrażać agentów Conversational AI na dużą skalę, muszą maksymalnie ograniczać opóźnienia, by rozmowy brzmiały naturalnie. W tym artykule wyjaśniamy, czym jest opóźnienie Conversational AI, skąd biorą się opóźnienia w całym procesie i jak je ograniczać. 

Podsumowanie

• Opóźnienie Conversational AI to całkowity czas od momentu, gdy użytkownik przestaje mówić, do chwili, gdy słyszy pierwsze słowo agenta.
• Agenci z opóźnieniem powyżej 700 ms mogą brzmieć nienaturalnie, a przy ponad 1200 ms użytkownicy często rezygnują z rozmowy.
• Opóźnienia kumulują się na każdym etapie procesu Conversational AI.
• ElevenAgents obsługuje cały proces w jednej spójnej architekturze, dzięki czemu Conversational AI o niskim opóźnieniu jest dostępne dla twojej firmy.

Czym jest opóźnienie Conversational AI?

Opóźnienie Conversational AI to całkowity czas, jakiego system potrzebuje na odpowiedź po twojej wypowiedzi. W nowoczesnych modelach AI mierzy się je w ms. W praktyce na całkowite opóźnienie składa się kilka oddzielnych procesów, z których każdy jest częścią całego procesu end-to-end. 

Typowy proces Conversational AI wygląda tak:

1. Użytkownik mówi
2. Model speech to text transkrybuje dźwięk
3. Transkrypcja trafia do modelu LLM, który tworzy odpowiedź
4. Tekst z LLM jest następnie zamieniany na dźwięk przez model text to speech
5. Dźwięk jest odtwarzany użytkownikowi

Każdy z tych etapów zwiększa opóźnienie systemu Conversational AI. Dlatego przy omawianiu opóźnień warto wyjaśnić kilka skrótów.

Opóźnienie inferencji modelu

Opóźnienie inferencji modelu to czas, jaki model spędza na generowaniu wyniku, mierzony wewnętrznie i bez czynników zewnętrznych. Pokazuje, jak szybko silnik działa przy typowych danych wejściowych. Na przykład Flash v2.5 ma opóźnienie inferencji modelu na poziomie około 75 ms. Dzięki temu możesz porównywać szybkość modeli różnych dostawców.

Pamiętaj jednak, że nie jest to opóźnienie, którego faktycznie doświadcza użytkownik. Dotyczy wyłącznie całkowitego czasu generowania wyniku przez model.

LLM time-to-first-token

Time-to-first-token (TTFT) dużego modelu językowego (LLM) to całkowity czas potrzebny modelowi na przetworzenie promptu i wygenerowanie pierwszego użytecznego tokenu odpowiedzi.

Generowanie TTS zaczyna się, gdy z LLM dociera pierwszy token. Ta miara pokazuje więc, ile czasu LLM potrzebuje, by uruchomić model TTS. W większości systemów Conversational AI end-to-end TTFT LLM stanowi znaczną część całkowitego opóźnienia. 

TTS time-to-first-audio (TTFA)

TTS time-to-first-audio (TTFA) mierzy czas od pierwszego żądania TTS do chwili, gdy pierwszy fragment audio faktycznie opuszcza model. Opisuje opóźnienie inferencji, ale konkretnie dla silników TTS. 

End-to-end time-to-first-audio (TTFA)

End-to-end TTFA to całkowite opóźnienie Conversational AI. To suma wszystkich części procesu: rozpoznawania mowy, TTFT LLM, TTS, TTFA oraz transmisji sieciowych między etapami. Gdy mówimy o opóźnieniu Conversational AI jako całości, to właśnie tę wartość odczuwa użytkownik.

Gdy użytkownik mówi, czeka na end-to-end TTFA, zanim usłyszy odpowiedź agenta. To całościowa miara, więc poprawa dowolnego etapu procesu ją skraca. 

Dlaczego opóźnienie Conversational AI ma znaczenie

Gdy użytkownik rozmawia z twoim agentem AI, opóźnienie ma kluczowy wpływ na jego odbiór całego doświadczenia. Krótsze opóźnienia skracają oczekiwanie na odpowiedź, dzięki czemu rozmowa brzmi naturalnie, a agent sprawia wrażenie kompetentnego. 

Agenci z dużym opóźnieniem wydają się sztuczni i mniej kompetentni, nawet jeśli jakość ich odpowiedzi jest taka sama. Dla firm różnica zaledwie kilkuset ms może ciągnąć się w nieskończoność, przez co twój agent obsługi klienta będzie sprawiał wrażenie topornego i nieskutecznego.

Oto kilka sytuacji pokazujących, dlaczego opóźnienie Conversational AI ma znaczenie w praktyce:

• Poniżej 500 ms: Agent konwersacyjny działa sprawnie i szybko reaguje. Użytkownicy mogą nawet nie zauważyć przerwy między końcem swojej wypowiedzi a pierwszą odpowiedzią, więc rozmowa płynie naturalnie.
• Od 500 ms do 1000 ms: Przerwa między końcem wypowiedzi użytkownika a odpowiedzią może stać się wyczuwalna. Jest odrobinę zbyt długa, więc użytkownicy mogą próbować się dostosować: powtarzać wypowiedź lub czekać, by sprawdzić, czy agent ich zrozumiał.
• Powyżej 1000 ms: Opóźnienia zaczynają być odczuwalnie długie, a pauzy mogą sprawiać, że agent AI nie nadąża za rozmową. Transkrypcje mogą pokazywać sporadyczne przerwania lub prośby o rozmowę z ludzkim agentem. W niektórych przypadkach użytkownicy mogą zakończyć połączenie.

Każdy z tych progów przekłada się na realne wyniki biznesowe. 

Przy niskich opóźnieniach agent obsługi klienta może naturalnie odpowiadać na pytania i pomagać użytkownikom bez dodatkowego wsparcia. Odciąża to twoich ludzkich agentów i utrzymuje wysoką satysfakcję klientów. Przy wysokich opóźnieniach sfrustrujesz klientów agentem, który zdaje się zbyt długo wahać. 

W innym artykule opisaliśmy benchmarki budżetu opóźnień agentów głosowych, aby pokazać, jak wygląda dobre opóźnienie dla wartości P50 i P95. 

Co powoduje opóźnienia w Conversational AI?

Opóźnienie Conversational AI obejmuje kilka różnych procesów, z których każdy dokłada swoją część do całości. Dlatego ograniczanie opóźnień to bardziej problem całego systemu niż kwestia wyboru lepszego modelu. W procesie współpracuje przecież kilka modeli.

Dla deweloperów przygotowaliśmy szczegółowy przewodnik techniczny o optymalizacji opóźnień agentów głosowych, który pomoże ci poprawić każdy etap end-to-end time-to-first-audio (TTFA).

Poza głównym procesem opóźnienia zwiększają też inne czynniki, takie jak telefonia i wywołania funkcji, choć nie należą do infrastruktury modelu. 

Oto przegląd wszystkich czynników wpływających na opóźnienie Conversational AI. 

Automatyczne rozpoznawanie mowy

Opóźnienie rozpoznawania mowy nie jest czasem potrzebnym na wygenerowanie transkrypcji. Transkrypcja działa w tle, gdy użytkownik mówi, więc po zakończeniu wypowiedzi tekst jest w dużej mierze gotowy. 

Opóźnienie to w rzeczywistości przerwa między końcem mowy a zatwierdzeniem i przekazaniem transkrypcji do kolejnego etapu. Scribe v2 Realtime skraca ją do około 150 ms, stale przesyłając dane, aby wynik był gotowy, gdy tylko skończy się tura.

Wykrywanie końca tury 

Voice Activity Detector (VAD) działa między rozpoznawaniem mowy a modelem językowym. Jego zadaniem jest określenie, kiedy użytkownik faktycznie skończył mówić. 

Aby uniknąć błędów, VAD czeka na określony czas ciągłej ciszy, zanim uzna turę za zakończoną. To dodatkowe opóźnienie, zanim model językowy przetworzy choćby jedno słowo. Wydłuża ono czas odpowiedzi, ale zapobiega sytuacji, w której system zaczyna odpowiadać, gdy użytkownik jeszcze mówi. 

Technicznie rzecz biorąc, gdyby wszystkie inne komponenty Conversational AI nie miały żadnych opóźnień, czas przypisany do zmiany tury byłby korzystny. Ludzie robią krótką pauzę przed odpowiedzią. Podobna przerwa ze strony maszyny dodaje rozmowie realizmu. Jednak ponieważ inne komponenty Conversational AI już powodują opóźnienia, najlepiej utrzymać je na minimalnym poziomie.

Przetwarzanie przez model językowy

Gdy transkrypcja z silnika speech to text (STT) jest gotowa, model językowy tworzy odpowiedź. Opóźnienie na tym etapie to czas do rozpoczęcia generowania tokenów, a nie do wygenerowania całej odpowiedzi. Tokeny są przesyłane bezpośrednio do etapu TTS, więc najważniejszy jest TTFT. 

Poza wyborem modelu na ten etap wpływa długość promptu i rozmiar bazy wiedzy. Im więcej kontekstu musi uwzględnić LLM, tym więcej czasu potrzebuje. Projektując takie systemy na dużą skalę, znajdź równowagę między użyteczną bazą wiedzy a krótkim promptem, by zachować szybkość działania.

Synteza mowy

Opóźnienie TTS to czas między otrzymaniem pierwszych tokenów z modelu językowego a rozpoczęciem dźwięku. Tokeny docierają szybciej, niż człowiek słyszy mowę, więc model syntezy nie czeka na pełną odpowiedź. Opóźnienie TTS to wyłącznie czas do pierwszego fragmentu audio. 

Ten etap był kiedyś największym pojedynczym źródłem opóźnień w Conversational AI — starsze modele potrzebowały 2–3 sekund, by zacząć generować mowę. Flash v2.5 od ElevenLabs rozwiązuje ten problem, oferując syntezę mowy z opóźnieniem około 75 ms i skracając to wąskie gardło z kilku sekund do ułamka sekundy.

Opóźnienie sieciowe

Przesyłanie danych między lokalizacjami zawsze dodaje opóźnienie, a odległość geograficzna tylko zwiększa opóźnienie sieciowe w obie strony. 

Ponieważ odpowiedź end-to-end wymaga współpracy kilku komponentów, opóźnienia mogą znacząco narastać na kolejnych połączeniach sieciowych. 

Wywołania funkcji

Wywołania funkcji dodają rundy API na etapie LLM. Szybkie wewnętrzne wyszukiwanie zajmuje dziesiątki milisekund, ale system płatności lub magazynowy może dodać sekundy. Wielkość opóźnienia zależy wyłącznie od wywoływanej usługi, dlatego ten etap jest najtrudniejszy do bezpośredniej optymalizacji. 

Najlepiej poprosić LLM, by odpowiedział, zanim zakończy się wywołanie narzędzia. Zdanie w stylu „Już to sprawdzam” angażuje użytkownika, gdy trwa zewnętrzne wywołanie, zamiast pozostawiać ciszę. Odpowiedź głosowa zaczyna się, gdy narzędzie działa równolegle.

Jak ograniczyć opóźnienia Conversational AI

Ograniczanie opóźnień Conversational AI wymaga pracy nad każdym etapem procesu, zaczynając od tych o największym wpływie. Pojedyncze usprawnienia pomagają, ale największą różnicę zobaczysz, optymalizując cały proces.

Oto kilka zasad, które pomogą ci ogólnie ograniczyć opóźnienia Conversational AI:

• Wybór modelu TTS: Modele TTS zoptymalizowane pod kątem szybkości, takie jak Flash v2.5, korzystają z innych architektur niż modele zoptymalizowane pod jakość, takie jak Eleven v3. W przypadku działających w czasie rzeczywistym agentów głosowych najlepszy będzie model o najwyższej jakości, który mieści się w twoim limicie opóźnień — niemal zawsze model zoptymalizowany pod kątem szybkości.
• Wybór modelu LLM: Mniejsze, szybsze modele LLM zwykle osiągają krótszy time-to-first-token niż większe. Wybór najszybszego LLM, który nadal spełnia twoje wymagania jakościowe, jest równie ważny jak wybór modelu TTS.
• Streaming: Streaming TTS zwraca dźwięk w fragmentach w trakcie syntezy, więc użytkownik słyszy pierwsze słowo, gdy model nadal generuje resztę. Ta zasada dotyczy także wyjścia LLM: uruchomienie syntezy TTS po pierwszym zdaniu, gdy model językowy generuje kolejne, pozwala odzyskać czas w procesie. 
• Projektowanie promptu systemowego: Użytkownicy mogą uprościć prompty systemowe, przenosząc instrukcje do procedur lub workflow zamiast umieszczać je w każdym kroku decyzyjnym. Dzięki temu model ma mniej kontekstu do przetworzenia w każdej turze.
• Zabezpieczenia: Zabezpieczenia działające w modelu streamingowym pozwalają rozpocząć odtwarzanie, zanim zakończy się kontrola, zamiast blokować dźwięk do jej końca.
• Wspólna lokalizacja modeli: Używanie modeli działających możliwie blisko siebie, na przykład w stosie ElevenLabs Agents, utrzymuje komponenty w pobliżu i eliminuje opóźnienia wynikające z połączeń między modelami hostowanymi osobno.
• Lokalizacja geograficzna: Bliskość twoich serwerów i użytkowników może znacznie ograniczyć opóźnienia, ponieważ bezpośrednio zmniejsza sieciową część end-to-end TTFA. 

Więcej informacji znajdziesz w tym przewodniku technicznym o optymalizacji opóźnień. 

Zacznij korzystać z Conversational AI o niskim opóźnieniu z ElevenAgents

Opóźnienie Conversational AI to kluczowa kwestia przy tworzeniu i wdrażaniu agentów. W ElevenAgents optymalizacja opóźnień jest częścią procesu. Od technik nakładania procesów, które skracają czas odzyskiwania, po niskie opóźnienia inferencji poszczególnych komponentów — ElevenAgents tworzy dla twojej firmy rozwiązania Conversational AI o niskim opóźnieniu. 

Ostatecznie chodzi o realizm. Użytkownik ma czuć swobodę rozmowy z człowiekiem, a jednocześnie korzystać z zalet programu komputerowego. Dzięki skróceniu poszczególnych procesów jest to dziś możliwe.

Dowiedz się więcej o ElevenAgents lub skontaktuj się z działem sprzedaży, aby zacząć już dziś.

FAQ: opóźnienie Conversational AI