Scribe v2 Realtime

ライブ音声認識モデルとして最速かつ最高精度のScribe v2 Realtimeを正式リリースしました。92以上の言語で最先端の精度を実現し、レイテンシーはわずか150msです。[詳細はこちら]。

Agents Platform

  • ウィジェットの通話終了時フィードバック:ウィジェットで、評価フィールドやコメントフィールドを任意で設定できる通話終了時のフィードバック収集をサポートしました。エージェントとの会話内で直接ユーザーフィードバックを収集できます。
  • ソフトタイムアウト設定:会話中の間をエージェントがどう扱うかを制御する包括的なソフトタイムアウト設定を追加しました。ターンレベルと会話レベルで、プロンプトと動作を設定できます。
  • 高度な会話フィルタリング:conversationsエンドポイントで、通話時間の範囲、評価パラメータ、データ収集パラメータ、特定のツール名によるフィルタリングが可能になりました。
  • 会話フィードバックの強化:評価やコメントを含む構造化されたフィードバックタイプに対応し、ユーザー体験の追跡を改善しました。

ElevenCreative Studio

  • プロジェクトメタデータの拡張:プロジェクトに、ビデオサムネイル、外部オーディオ参照、オーディオ時間を含む拡張スナップショット情報などの包括的なアセット追跡機能を追加しました。

請求

  • 請求書詳細の強化:請求書レスポンスに新しいdiscounts配列による詳細な割引情報が含まれるようになりました。非推奨のdiscount_percent_offフィールドとdiscount_amount_offフィールドを置き換えます。subtotal_centsフィールドとtax_centsフィールドにより、請求書の内訳をより明確に確認できます。

Music API

  • ステム分離のレイテンシー改善:ステム分離エンドポイントを更新し、オーディオファイルをより適切に処理するとともに、処理リクエストのレイテンシーをより予測しやすくしました。

SDKリリース

JavaScript SDK

  • v2.23.0 - Speech to Text(Scribe)エンドポイントをscribe_realtimeに更新し、デベロッパー体験の向上のため追加のTypeScript型をエクスポートしました。
  • v2.22.0 - 会話フィルタリング、ソフトタイムアウト設定、ウィジェットフィードバック機能を含む最新のAPIスキーマ変更に対応しました。

Python SDK

  • v2.22.1 - Speech to Text(Scribe)エンドポイントをscribe_realtimeに更新し、安定性向上のため循環インポートの問題を修正しました。
  • v2.22.0 - 会話フィルタリング、ソフトタイムアウト設定、ウィジェットフィードバック機能を含む最新のAPIスキーマ変更に対応しました。

Agentsパッケージ

Android SDK

  • v0.5.0 - プログラムによるオーディオ制御のためにsetVolume関数とgetVolume関数を追加しました。サンプルアプリには音量シークバーを含む実装例も追加しています。

API

更新されたエンドポイント

Agents Platform

会話管理

  • 会話を取得

    • 最小通話時間で会話をフィルタリングするcall_duration_min_secsクエリパラメータ(整数)を追加
    • 最大通話時間で会話をフィルタリングするcall_duration_max_secsクエリパラメータ(整数)を追加
    • 評価基準でフィルタリングするevaluation_paramsクエリパラメータ(文字列の配列)を追加
    • データ収集パラメータでフィルタリングするdata_collection_paramsクエリパラメータ(文字列の配列)を追加
    • 特定のツールを使用した会話をフィルタリングするtool_namesクエリパラメータ(文字列の配列)を追加
  • 会話フィードバックを送信

    • 構造化されたフィードバックタイプを持つConversationFeedbackRequestModelを使用するようになりました
    • フィードバックカテゴリを指定するtypeフィールドを追加
    • 数値フィードバック用のratingフィールドを追加
    • テキストフィードバック用のcommentフィールドを追加

エージェント設定

  • エージェントウィジェットを取得
    • 通話終了時フィードバック収集を設定するためのWidgetEndFeedbackConfigを持つend_feedbackフィールドを追加
    • フィードバックフォームで任意の評価フィールドとコメントフィールドに対応
  • エージェントを取得&エージェントを更新
    • 新しいプラットフォーム設定オプションを含むようレスポンススキーマを更新
    • 追加の設定フィールドでリクエストスキーマを拡張

ターンと会話の設定

テスト

  • エージェントテストを実行

    • ワークフロー式のサポートに向けてリクエストスキーマを拡張
    • 追加のテスト結果フィールドを含むようレスポンススキーマを更新
  • テスト呼び出しを取得

    • レスポンスに拡張されたテスト結果データを含む
    • ワークフロー式の結果用スキーマを更新

ElevenCreative Studio

  • プロジェクトを取得

    • ビデオと外部オーディオ参照を含む必須のassetsフィールドを追加
    • ビデオアセットメタデータ用にProjectVideoResponseModelを導入
    • 外部オーディオ追跡用にProjectExternalAudioResponseModelを導入
    • ビデオサムネイル用にProjectVideoThumbnailSheetResponseModelを導入
  • プロジェクトスナップショットを取得

    • 新しいProjectSnapshotExtendedResponseModelでレスポンスを再構成
    • スナップショットデータに必須のaudio_duration_secsフィールドを追加
    • ProjectSnapshotResponseModelからcharacter_alignmentsを削除
    • スナップショットコレクション用にProjectSnapshotsResponseModelを導入

請求

  • サブスクリプションを取得
    • DiscountResponseModelエントリを持つ必須のdiscounts配列を追加
    • discount_percent_offフィールドを非推奨化(引き続き利用可能ですが、削除予定です)
    • discount_amount_offフィールドを非推奨化(引き続き利用可能ですが、削除予定です)
    • 税引き前請求書合計用にsubtotal_centsフィールド(整数、nullable)を追加
    • 税額用にtax_centsフィールド(整数、nullable)を追加
    • 新しい割引フィールドと合計フィールドを含むよう請求書の例を更新

Speech to Text

Text to Speech

音声管理

プロフェッショナルボイスクローン(PVC)

言語プリセット

  • 言語プリセットモデルに、ローカライズされたソフトタイムアウトメッセージ用のsoft_timeout_translationフィールドを追加

APIインテグレーショントリガー

  • 新しいAPIコレクションconvai_api_integration_trigger_connectionsを登録

非推奨

  • 請求書フィールドdiscount_percent_offおよびdiscount_amount_offは非推奨です。代わりにdiscounts配列を使用してください