Vai alla navigazione

API Dubbing v2

Dubbing v2 è ora disponibile tramite l’API. Traduce audio e video in oltre 90 lingue, preservando la voce, il tono e il ritmo di ogni speaker.

La nuova API basata sui progetti conserva le trascrizioni e le traduzioni di origine come JSON modificabile. Crea un progetto da un file o URL, aggiungi una o più lingue di destinazione, modifica singoli segmenti della trascrizione o traduzioni, quindi rigenera solo le regioni che sono cambiate. Segui la guida rapida a Dubbing per creare il tuo primo doppiaggio.

ElevenAgents

  • Filtri di guardrail delle conversazioni: Elenca conversazioni aggiunge i parametri query facoltativi guardrail_types (GuardrailType[]) e custom_guardrail_names (array di stringhe). La gerarchia di conversazioni esistente può ora essere filtrata con il parametro facoltativo parent_conversation_id (stringa).
  • Stato delle divergenze dei branch: Elenca branch dell’agente aggiunge include_commit_status facoltativo (booleano, predefinito false). Quando è abilitato, i riepiloghi dei branch includono i campi annullabili commits_ahead, commits_behind e merged_into_branch_id.
  • Controlli di conversazioni e strumenti: Gli override del client ora supportano max_duration_seconds e pronunciation_dictionary_locators. La configurazione del server MCP aggiunge request_meta per passare valori MCP _meta alle chiamate degli strumenti, mentre i timeout degli strumenti webhook ora supportano fino a 300 secondi.
  • Utilizzo dell’analisi post-chiamata: La fatturazione delle conversazioni aggiunge una ripartizione analysis con totali progressivi per funzionalità e snapshot delle esecuzioni. I messaggi della trascrizione aggiungono triggered_guardrails e i turni di conversazione aggiungono producing_llm facoltativo.

Voci

  • Filtri di ricerca delle voci: Ottieni tutte le voci v2 aggiunge i parametri query facoltativi gender, age, language, accent, use_cases, min_notice_period_days, include_custom_rates, include_live_moderated e high_quality.

Rilasci SDK

SDK JavaScript

  • v2.63.0 - Aggiunte opzioni di Speech to Text in tempo reale per lingue secondarie, rilevamento della lingua e delle entità, filtraggio dell’audio di sottofondo, logging e autenticazione con token monouso. Aggiunti eventi per trascrizione finale, entità e richiesta non valida; corretti l’invio di termini non accettati, parametri audio_format duplicati e limiti VAD inclusivi.
  • v2.62.0 - Aggiunti metodi per l’aggiornamento in blocco delle trascrizioni Dubbing e DubbingRegenerateResponse; aggiunti filtri di guardrail delle conversazioni, stato dei commit dei branch dell’agente, avvisi dell’agente e supporto per MCP requestMeta. La creazione di lingue di destinazione non accetta più modelId.
  • v2.61.0 - Aggiunti filtro della gerarchia di conversazioni, fatturazione dell’analisi post-chiamata, metadati dei guardrail attivati, dettagli dei conflitti di merge dei branch, oscuramento dell’input DTMF e caricamenti di trascrizioni Dubbing. Rimossi i tipi di sessione realtime OpenAI esportati e le varianti di risultato degli strumenti run_subagent_*.

SDK Python

  • v2.63.0 - Aggiunte opzioni di Speech to Text in tempo reale per lingue secondarie, rilevamento della lingua e delle entità, filtraggio dell’audio di sottofondo, logging e autenticazione con token monouso. Aggiunti eventi per trascrizione finale, entità e richiesta non valida; corretto l’invio di termini non accettati e ora vengono rifiutate le connessioni senza chiave API o token.
  • v2.62.0 - Aggiunti metodi Dubbing update_segments e DubbingRegenerateResponse; aggiunto supporto per guardrail_types, custom_guardrail_names, include_commit_status e MCP request_meta. Gli aggiornamenti dei segmenti Dubbing ora utilizzano modelli per il body della richiesta e la creazione di lingue di destinazione non accetta più model_id.
  • v2.61.0 - Aggiunti parent_conversation_id, fatturazione dell’analisi, metadati dei guardrail attivati, conflitti di merge dei branch, oscuramento dell’input DTMF e caricamenti di trascrizioni Dubbing. Rimossi i tipi di sessione realtime OpenAI e i modelli di risultato run_subagent_*.

SDK Android

  • v0.12.1 - Corretto il problema per cui le disconnessioni intenzionali delle sessioni solo testo venivano segnalate come ConversationStatus.ERROR.
  • v0.12.0 - Aggiunto ConversationConfig.useMediaStream per instradare l’audio delle conversazioni attraverso lo stream multimediale Android. Le normali chiusure WebSocket remote ora segnalano DisconnectionDetails.Agent, mentre quelle avviate localmente segnalano DisconnectionDetails.User.

Server MCP

  • v0.12.2 - Corretto un problema di path traversal.

API

Nuovi endpoint

Dubbing

  • Aggiorna in blocco i segmenti di origine - PATCH /v1/dubbing/project/{project_id}/transcript/segments
    • Richiede DubbingBulkSegmentUpdateRequest
    • Aggiorna atomicamente il testo, lo speaker o i tempi dei segmenti di origine
    • Restituisce DubbingBulkSourceSegmentUpdateResponse con segments e revision aggiornati
  • Aggiorna in blocco i segmenti di destinazione - PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments
    • Richiede DubbingBulkTargetSegmentUpdateRequest
    • Aggiorna atomicamente le traduzioni di più segmenti di destinazione
    • Restituisce DubbingBulkTargetSegmentUpdateResponse con segments e revision aggiornati

Endpoint aggiornati

ElevenAgents

  • Elenca conversazioni - GET /v1/convai/conversations
    • Aggiunto parent_conversation_id facoltativo (stringa)
    • Aggiunti guardrail_types ripetibile facoltativo (GuardrailType[]) e custom_guardrail_names facoltativo (array di stringhe)
  • Elenca branch dell’agente - GET /v1/convai/agents/{agent_id}/branches
    • Aggiunto include_commit_status facoltativo (booleano, predefinito false)
    • I riepiloghi dei branch aggiungono commits_ahead (intero), commits_behind (intero) e merged_into_branch_id (stringa) annullabili

Voci

  • Ottieni tutte le voci v2 - GET /v2/voices
    • Aggiunti filtri facoltativi gender, age e accent (stringa)
    • Aggiunti filtri facoltativi language e use_cases (array di stringhe)
    • Aggiunti filtri facoltativi min_notice_period_days (intero), include_custom_rates, include_live_moderated e high_quality (booleano)

Modifiche agli schemi

ElevenAgents

  • Gli schemi di override del client aggiungono max_duration_seconds (intero) e pronunciation_dictionary_locators (array)
  • Gli schemi di input e output del server MCP aggiungono mappe request_meta
  • Le impostazioni della piattaforma dell’agente aggiungono alerting; il rilevamento della lingua aggiunge only_at_conversation_start (booleano)
  • AnalysisCharging.last_run ora è obbligatorio e non annullabile; i totali progressivi aggiungono runs obbligatorio (intero)
  • Le risposte dei chunk RAG ora richiedono content_format e document_type