Dubbing v2 API

Dubbing v2 ist jetzt über die API verfügbar. Es übersetzt Audio und Video in mehr als 90 Sprachen und bewahrt dabei Stimme, Tonfall und Sprechtempo aller Sprecher.

Die neue projektbasierte API speichert Quelltranskripte und Übersetzungen als bearbeitbares JSON. Erstellen Sie ein Projekt aus einer Datei oder URL, fügen Sie eine oder mehrere Zielsprachen hinzu, bearbeiten Sie einzelne Transkriptsegmente oder Übersetzungen und generieren Sie dann nur die geänderten Bereiche neu. Folgen Sie der Dubbing-Schnellstartanleitung, um Ihre erste Synchronisation zu erstellen.

ElevenAgents

  • Guardrail-Filter für Konversationen: Konversationen auflisten fügt die optionalen Abfrageparameter guardrail_types (GuardrailType[]) und custom_guardrail_names (String-Array) hinzu. Die bestehende Konversationshierarchie kann jetzt mit dem optionalen Parameter parent_conversation_id (String) gefiltert werden.
  • Status von Branch-Abweichungen: Agent-Branches auflisten fügt das optionale Flag include_commit_status (Boolean, Standardwert false) hinzu. Wenn es aktiviert ist, enthalten Branch-Zusammenfassungen die nullable Felder commits_ahead, commits_behind und merged_into_branch_id.
  • Steuerung von Konversationen und Tools: Client-Overrides unterstützen jetzt max_duration_seconds und pronunciation_dictionary_locators. Die MCP-Serverkonfiguration fügt request_meta hinzu, um MCP-_meta-Werte an Tool-Aufrufe zu übergeben. Timeouts für Webhook-Tools unterstützen jetzt bis zu 300 Sekunden.
  • Nutzung der Analyse nach Anrufen: Die Konversationsabrechnung fügt eine Aufschlüsselung nach analysis mit laufenden Summen pro Funktion und Ausführungs-Snapshots hinzu. Transkript-Nachrichten erhalten triggered_guardrails und Konversationswechsel das optionale Feld producing_llm.

Stimmen

  • Filter für die Stimmensuche: Alle Stimmen v2 abrufen fügt die optionalen Abfrageparameter gender, age, language, accent, use_cases, min_notice_period_days, include_custom_rates, include_live_moderated und high_quality hinzu.

SDK-Releases

JavaScript SDK

  • v2.63.0 - Optionen für Echtzeit-Spracherkennung für sekundäre Sprachen, Sprach- und Entitätserkennung, Filterung von Hintergrundgeräuschen, Logging und Single-Use-Token-Authentifizierung hinzugefügt. Ereignisse für finale Transkripte, Entitäten und ungültige Anfragen hinzugefügt; Versand nicht akzeptierter Bedingungen, doppelte audio_format-Parameter und inklusive VAD-Grenzen korrigiert.
  • v2.62.0 - Methoden für Massenaktualisierungen von Dubbing-Transkripten und DubbingRegenerateResponse hinzugefügt; Guardrail-Filter für Konversationen, Commit-Status für Agent-Branches, Agent-Benachrichtigungen und MCP-requestMeta-Unterstützung hinzugefügt. Das Erstellen von Sprachzielen akzeptiert modelId nicht mehr.
  • v2.61.0 - Filterung der Konversationshierarchie, Abrechnung der Analyse nach Anrufen, Metadaten ausgelöster Guardrails, Details zu Branch-Merge-Konflikten, DTMF-Eingabeschwärzung und Dubbing-Transkript-Uploads hinzugefügt. Exportierte OpenAI-Realtime-Session-Typen und run_subagent_*-Tool-Ergebnisvarianten entfernt.

Python SDK

  • v2.63.0 - Optionen für Echtzeit-Spracherkennung für sekundäre Sprachen, Sprach- und Entitätserkennung, Filterung von Hintergrundgeräuschen, Logging und Single-Use-Token-Authentifizierung hinzugefügt. Ereignisse für finale Transkripte, Entitäten und ungültige Anfragen hinzugefügt; Versand nicht akzeptierter Bedingungen korrigiert. Verbindungen ohne API-Schlüssel oder Token werden jetzt abgelehnt.
  • v2.62.0 - Dubbing-Methoden update_segments und DubbingRegenerateResponse hinzugefügt; Unterstützung für guardrail_types, custom_guardrail_names, include_commit_status und MCP-request_meta hinzugefügt. Dubbing-Segmentaktualisierungen verwenden jetzt Request-Body-Modelle, und das Erstellen von Sprachzielen akzeptiert model_id nicht mehr.
  • v2.61.0 - parent_conversation_id, Analyseabrechnung, Metadaten ausgelöster Guardrails, Branch-Merge-Konflikte, DTMF-Eingabeschwärzung und Dubbing-Transkript-Uploads hinzugefügt. OpenAI-Realtime-Session-Typen und run_subagent_*-Ergebnismodelle entfernt.

Android SDK

  • v0.12.1 - Korrigiert, dass beabsichtigte Verbindungsabbrüche bei reinen Text-Sessions als ConversationStatus.ERROR gemeldet wurden.
  • v0.12.0 - ConversationConfig.useMediaStream hinzugefügt, um Konversationsaudio über den Android-Medienstream zu leiten. Normale Remote-WebSocket-Schließungen melden jetzt DisconnectionDetails.Agent, während lokal initiierte Schließungen DisconnectionDetails.User melden.

MCP-Server

  • v0.12.2 - Ein Problem mit Path Traversal korrigiert.

API

Neue Endpunkte

Dubbing

  • Quellsegmente gesammelt aktualisieren - PATCH /v1/dubbing/project/{project_id}/transcript/segments
    • Erfordert DubbingBulkSegmentUpdateRequest
    • Aktualisiert Quellsegmenttext, Sprecher oder Timing atomar
    • Gibt DubbingBulkSourceSegmentUpdateResponse mit den aktualisierten segments und revision zurück
  • Zielsegmente gesammelt aktualisieren - PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments
    • Erfordert DubbingBulkTargetSegmentUpdateRequest
    • Aktualisiert Übersetzungen für mehrere Zielsegmente atomar
    • Gibt DubbingBulkTargetSegmentUpdateResponse mit den aktualisierten segments und revision zurück

Aktualisierte Endpunkte

ElevenAgents

  • Konversationen auflisten - GET /v1/convai/conversations
    • Optionales parent_conversation_id (String) hinzugefügt
    • Optionale wiederholbare Parameter guardrail_types (GuardrailType[]) und custom_guardrail_names (String-Array) hinzugefügt
  • Agent-Branches auflisten - GET /v1/convai/agents/{agent_id}/branches
    • Optionales include_commit_status (Boolean, Standardwert false) hinzugefügt
    • Branch-Zusammenfassungen erhalten die nullable Felder commits_ahead (Integer), commits_behind (Integer) und merged_into_branch_id (String)

Stimmen

  • Alle Stimmen v2 abrufen - GET /v2/voices
    • Optionale Filter gender, age und accent (String) hinzugefügt
    • Optionale Filter language und use_cases (String-Array) hinzugefügt
    • Optionale Filter min_notice_period_days (Integer), include_custom_rates, include_live_moderated und high_quality (Boolean) hinzugefügt

Schema-Änderungen

ElevenAgents

  • Client-Override-Schemas erhalten max_duration_seconds (Integer) und pronunciation_dictionary_locators (Array)
  • MCP-Server-Eingabe- und Ausgabeschemas erhalten request_meta-Maps
  • Einstellungen der Agent-Plattform erhalten alerting; die Spracherkennung erhält only_at_conversation_start (Boolean)
  • AnalysisCharging.last_run ist jetzt erforderlich und nicht nullable; laufende Summen erhalten das erforderliche Feld runs (Integer)
  • Antworten für RAG-Chunks erfordern jetzt content_format und document_type