強制アラインメント

  • 強制アラインメントの改善:信頼性を向上させるため、強制アラインメント処理でまれに発生する失敗ケースを修正しました。

音声

  • ライブモデレーション済み音声フィルター:共有音声エンドポイントにinclude_live_moderatedクエリパラメータを追加しました。ライブモデレーション済みの音声を含めるか除外するかを指定できます。

Agents Platform

  • シークレット動的変数:secret__プレフィックスを使用して、動的変数をシークレットとして指定できるようになりました。シークレット動的変数はWebhookツールのヘッダーでのみ使用でき、LLMに送信されることはないため、機密データのセキュリティが向上します。詳細を見る。
  • ターンをスキップするシステムツール:skip_turnという新しいシステムツールを導入しました。有効にすると、ユーザーが考える時間や操作する時間が必要だと明示した場合(例:「ちょっと待って」「少し時間をください」)、エージェントは自身のターンをスキップします。これにより、意図的なユーザーの間の際にターンタイムアウトが発生するのを防ぎます。詳細はターンをスキップするツールのドキュメントをご覧ください。
  • テキスト入力のサポート:テキストフィールドを含む「user_message」イベントによるWebSocket接続でのテキスト入力に対応しました。また、入力中やその他のUI操作を示す「user_activity」イベントにも対応し、テキストとオーディオ入力が混在する際のエージェントのターン管理を改善しました。
  • RAGチャンク上限:RAG取得時に収集するチャンクの最大数を設定できるようになり、 コンテキストウィンドウの使用量とコストをより細かく管理できます。
  • ウィジェット設定を強化:テキスト入力とテキスト専用モードを含む、ウィジェットのカスタマイズオプションを拡張しました。
  • LLM使用量計算ツール:エージェントで想定されるLLMトークン使用量とコストを計算するツールを導入し、コスト見積もりと計画を支援します。

オーディオネイティブ

  • アクセシビリティの改善:AudioNativeプレーヤーのアクセシビリティを複数の面で改善しました:
    • すべてのボタンにaria-labelを追加
    • すべてのインタラクティブ要素でキーボードナビゲーションを有効化
    • プログレスバーのハンドルをフォーカス可能かつキーボード操作可能に変更
    • スクリーンリーダーとの互換性を高めるため、フォーカスインジケーターの視認性を改善

API

新しいエンドポイント

更新されたエンドポイント

音声

  • 共有音声を取得 - ライブモデレーションのステータスで音声をフィルタリングするため、GET /v1/shared-voicesにinclude_live_moderatedクエリパラメータを追加しました。

Agents Platform

  • エージェント設定:

    • 新しいskip_turnツール設定でシステムツールを強化
    • max_retrieved_rag_chunks_countパラメータでRAG設定を改善
  • ウィジェット設定:

    • テキスト専用モードのサポートを追加
  • 一括通話:

    • 一括通話レスポンスに、デフォルト値が「twilio」のphone_providerフィールドが含まれるようになりました。

テキスト読み上げ

  • 音声設定:
    • オーディオ生成品質を制御するqualityパラメータを音声設定に追加
    • モデルのレスポンススキーマを更新し、can_use_qualityフィールドを追加