Eleven v4

Eleven v4 हमारा सबसे नया और सबसे उन्नत टेक्स्ट टू स्पीच मॉडल है, और मॉडलों की नई पीढ़ी का पहला मॉडल है। Eleven v3 की तुलना में यह आउटपुट क्वालिटी, वॉइस की सटीकता, एकरूपता, भावना, डिलीवरी, ऑडियो टैग और भाषा कवरेज को बेहतर बनाता है।

आम तौर पर, Eleven v4, Eleven v3 से बेहतर अपग्रेड है और लगभग हर मामले में बेहतर नतीजे देता है। हम ज़ोर देकर सलाह देते हैं कि आप v4 पर स्विच करें और फर्क खुद देखने के लिए इसे अपनी वॉइस और कंटेंट के साथ टेस्ट करें। कुछ खास मामलों में कोई दूसरा विकल्प बेहतर हो सकता है, लेकिन ज़्यादातर यूज़र्स के लिए v4 बेहतर विकल्प होगा।

टैग, विराम चिह्न और डायलॉग प्रॉम्प्टिंग के लिए, Prompting Eleven v4 देखें।

वॉइस क्लोनिंग

Eleven v4 के साथ वॉइस क्लोनिंग की सटीकता में बड़ा सुधार हुआ है। क्लोन की गई वॉइस, सोर्स वॉइस की विशेषताओं — टिंबर, कैडेंस और डिलीवरी — को पिछले किसी भी मॉडल की तुलना में ज़्यादा सटीकता से कैप्चर करती हैं।

Eleven v4 में इंस्टेंट वॉइस क्लोन्स (IVCs) पहले से कहीं ज़्यादा सटीक हैं। वे सोर्स वॉइस की खास विशेषताओं को ज़्यादा सटीकता से कैप्चर करते हैं, जिससे छोटे ऑडियो सैंपल से जल्दी एक विश्वसनीय क्लोन बनाना आसान हो जाता है।

Eleven v4 में प्रोफेशनल वॉइस क्लोन्स (PVCs) पूरी तरह समर्थित हैं। वे वॉइस की सटीकता में हुए इन्हीं सुधारों पर आधारित हैं और उन वर्कफ़्लो के लिए सोर्स वॉइस की ज़्यादा सटीक प्रतिकृति देते हैं, जिनमें सबसे उच्च स्तर की एकरूपता और नियंत्रण चाहिए।

सटीकता में इस बड़े सुधार की वजह से Eleven v4, Eleven v3 से काफ़ी अलग सुनाई दे सकता है। Eleven v3 ने डिलीवरी और सटीकता पर ज़ोर देते हुए Eleven v4 की नींव रखी, जबकि Eleven v4 उसी नींव पर वॉइस की सटीकता को काफ़ी बेहतर बनाता है। इसलिए, Eleven v4 को सोर्स वॉइस को ज़्यादा सटीकता से कैप्चर करने के लिए डिज़ाइन किया गया है, हालांकि आपको अब भी पसंद आ सकता है कि कोई वॉइस Eleven v3 में कैसी सुनाई देती थी। सटीकता और व्यक्तिगत पसंद हमेशा एक जैसी नहीं होतीं, इसलिए हम सुझाव देते हैं कि अपने इस्तेमाल के मामले के लिए सबसे अच्छा विकल्प चुनने हेतु दोनों वर्ज़न को अपने कंटेंट के साथ तुलना करें।

क्योंकि Eleven v4 सोर्स वॉइस की विशेषताओं, जैसे उसके एक्सेंट, डिलीवरी, आवाज़ की तीव्रता और अन्य विशिष्ट गुणों को ज़्यादा सटीकता से दोहराता है, इसलिए सोर्स रिकॉर्डिंग की क्वालिटी पहले से ज़्यादा मायने रखती है। साफ़ और स्पष्ट ट्रेनिंग ऑडियो, अनचाही ध्वनियां या विशेषताएं जोड़े बिना Eleven v4 को वॉइस सही ढंग से कैप्चर करने में मदद करता है। बैकग्राउंड नॉइज़, डिस्टॉर्शन या रिकॉर्डिंग से जुड़ी अन्य समस्याएं नतीजे को प्रभावित कर सकती हैं।

हम अभी भी Eleven v4 के साथ प्रयोग कर रहे हैं, ताकि इसे सबसे अच्छे तरीके से इस्तेमाल करने का तरीका समझ सकें। अब तक, यह सूक्ष्म ऑडियो को कैप्चर करने में काफ़ी बेहतर लगता है, खासकर तब जब बहुत सारा ट्रेनिंग ऑडियो हो, जैसे प्रोफेशनल वॉइस क्लोन्स में। अधिक विविध डेटासेट से मॉडल को नियंत्रित करने के तरीके की टेस्टिंग जारी रहने पर, विविध ट्रेनिंग डेटा इस्तेमाल करने संबंधी हमारी सलाह बदल सकती है। अभी के लिए, हम सुझाव देते हैं कि अपने ट्रेनिंग ऑडियो में बोलने की एक ही शैली रखें, जिसे Eleven v4 को पहले के मॉडलों की तुलना में बेहतर ढंग से कैप्चर करना चाहिए।

नेटिव एक्सेंट हैंडलिंग

पुराने मॉडलों की तुलना में Eleven v4 में यह सबसे बड़े बदलावों में से एक है, और इसे स्पष्ट रूप से समझना ज़रूरी है।

जब आप जिस भाषा में जनरेट कर रहे हैं वह आपकी रेफ़रेंस वॉइस की भाषा से मेल खाती है, तो मूल एक्सेंट पहले की तरह ही पूरी तरह बरकरार रहता है।

जब आप जिस भाषा में जनरेट कर रहे हैं वह रेफ़रेंस वॉइस की भाषा से अलग होती है, तो Eleven v4 रेफ़रेंस वॉइस के मूल भाषा वाले एक्सेंट को बनाए रखने के बजाय लक्ष्य भाषा में धाराप्रवाह, स्वाभाविक लगने वाली स्पीच जनरेट करता है।

व्यवहार में: अगर आप किसी कोरियाई स्पीकर की वॉइस क्लोन करते हैं और अंग्रेज़ी जनरेट करते हैं, तो Eleven v4 कोरियाई एक्सेंट के साथ बोली गई अंग्रेज़ी के बजाय स्वाभाविक, धाराप्रवाह अंग्रेज़ी तैयार करेगा। इससे हर वॉइस को हर समर्थित भाषा में इस्तेमाल किया जा सकता है। यह खास तौर पर डबिंग, बहुभाषी कंटेंट और ऐसे वॉइस एजेंट्स के लिए उपयोगी है जिन्हें एक ही वॉइस के ज़रिए अलग-अलग भाषाओं में यूज़र्स की सेवा करनी होती है।

अगर आपका वर्कफ़्लो इस बात पर निर्भर है कि कोई वॉइस दूसरी भाषाओं में अपना नेटिव एक्सेंट बनाए रखे, तो माइग्रेट करने से पहले इस व्यवहार को सीधे Eleven v4 के साथ टेस्ट करें — यह अलग-अलग भाषाओं में जनरेशन के काम करने के तरीके में जानबूझकर किया गया बदलाव है, कोई बग नहीं।

हालांकि, इस नई सुविधा को अभी भी बेहतर बनाया जा रहा है और हम इसे हमेशा चालू रखने के बजाय टॉगल बनाने के तरीके खोज रहे हैं। यह अभी एक रिसर्च प्रोजेक्ट है, इसलिए फिलहाल हमारे पास इसकी कोई समयसीमा या अन्य जानकारी नहीं है।

मॉडल वेरिएंट्स

Eleven v4 दो वेरिएंट्स में आता है, ताकि आप अपने इस्तेमाल के मामले के लिए क्वालिटी और स्पीड का सही संतुलन चुन सकें:

• Eleven v4 (eleven_v4) — हमारा सबसे उच्च-क्वालिटी मॉडल, जो कंटेंट क्रिएशन, ऑडियोबुक्स, कैरेक्टर वॉइसओवर और ऐसे किसी भी इस्तेमाल के मामले के लिए आदर्श है जहां क्वालिटी सबसे अहम हो।
• Eleven v4 Turbo (eleven_v4_turbo) — बेहद कम लेटेंसी बनाए रखते हुए बेहद उच्च क्वालिटी प्रदान करता है। इसे खास तौर पर कन्वर्सेशनल एजेंट्स और इंटरैक्टिव वॉइस अनुभवों जैसे रियल-टाइम इस्तेमाल के मामलों के लिए बनाया गया है।

दोनों वेरिएंट्स में दो वॉइस सेटिंग्स होती हैं: स्टेबिलिटी और सिमिलैरिटी।

स्टेबिलिटी यह नियंत्रित करती है कि अलग-अलग जनरेशन में डिलीवरी कितनी एक जैसी रहे। कम वैल्यू ज़्यादा एक्सप्रेसिव और विविध डिलीवरी देती हैं; ज़्यादा वैल्यू परफॉर्मेंस को एक निश्चित बेसलाइन के करीब रखती हैं।

सिमिलैरिटी यह नियंत्रित करती है कि आउटपुट रेफ़रेंस वॉइस का कितनी बारीकी से पालन करे। ज़्यादा वैल्यू रेफ़रेंस के और करीब पालन को लागू करती हैं, जिससे कुछ स्वाभाविकता कम हो सकती है।

Eleven v4 में स्टाइल और स्पीड स्लाइडर्स उपलब्ध नहीं हैं, और SSML समर्थित नहीं है।

ऑडियो टैग (जैसे [whispering], [shouting], [laughing]) आपको बारीकी से नियंत्रण के साथ डिलीवरी निर्देशित करने देते हैं, और Eleven v4 उन्हें पिछले मॉडलों से कहीं अधिक सूक्ष्मता के साथ संभालता है। वे अभी पूरी तरह सटीक नहीं हैं, और हम टैग निर्देशों का मॉडल कितनी विश्वसनीयता से पालन करता है इसे लगातार बेहतर बना रहे हैं — यह हमारे निरंतर निवेश का एक सक्रिय क्षेत्र है और इसमें सुधार होता रहेगा।

उदाहरण

वॉइस क्लोनिंग की सटीकता

हर उदाहरण की शुरुआत वॉइस लाइब्रेरी प्रीव्यू से होती है। फिर हमने कुछ टेक्स्ट लिया और उस वॉइस के इंस्टेंट वॉइस क्लोन का उपयोग करके उसे Eleven v3 और Eleven v4, दोनों पर जनरेट किया।

यह एकदम सही तुलना नहीं है। Eleven v4 प्रोफेशनल वॉइस क्लोन्स के साथ भी काम करता है, जो मैच को और बेहतर बना सकते हैं। हालांकि, तुलना को निष्पक्ष रखने के लिए हमने Eleven v3 और Eleven v4 दोनों के लिए इंस्टेंट वॉइस क्लोन्स का इस्तेमाल किया।

ये उदाहरण दिखाते हैं कि मॉडल मूल वॉइस का कितना हिस्सा कैप्चर करता है। यह ध्यान रखना ज़रूरी है कि इसमें ऑडियो का EQ, क्वालिटी, वॉल्यूम और अन्य छोटे विवरण व कमियां भी शामिल हैं, जैसे प्लोसिव्स, तीखी सिबिलेंस और वॉल्यूम में उतार-चढ़ाव।

पहले प्रीव्यू सुनें, फिर Eleven v3, फिर Eleven v4।

वॉइस NfUrCNRReUL9RXS9upG1।

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

वॉइस HBDoL4wkcalemIO0nUAu।

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

वॉइस ऐक्टिंग

ये Eleven v4 जनरेशन हैं। टेक्स्ट में मौजूद ऑडियो टैग डिलीवरी को निर्देशित करते हैं।

वॉइस EkK5I93UQWFDigLMpZcX।

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

वॉइस t7VaN65ClS2VrEUwk1nR।

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

ऑडियोबुक

यह Eleven v4 नैरेशन है। टैग सीन की गति और टोन सेट करते हैं।

वॉइस KHRvDizAHFVPzoSehNY6।

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

मॉडल लगातार विकसित होता रहेगा

Eleven v4 पर सक्रिय रूप से लगातार काम किया जा रहा है। लॉन्च के बाद भी जब हम मॉडल को ट्रेनिंग और बेहतर बनाते रहेंगे, तो क्वालिटी बेहतर होने के साथ इसका व्यवहार समय के साथ बदल सकता है। हम सुझाव देते हैं कि मॉडल के विकसित होने पर आप समय-समय पर अपने इस्तेमाल के मामले को फिर से टेस्ट करें। जैसे-जैसे महत्वपूर्ण अपडेट जारी होंगे, हम उन्हें साझा करेंगे।

अक्सर पूछे जाने वाले सवाल