実験 | ElevenLabs Documentation

実験では、トラフィックの一定割合をバリアントに振り分け、主要な成果への影響を測定し、勝者を本番環境に昇格させることで、プロンプト構造、ワークフローロジック、音声、個性、ツール、ナレッジベースなど、エージェント設定のあらゆる側面で管理されたA/Bテストを実行できます。

実験はエージェントのバージョン管理を基盤に構築されています。実験を実行する前に、エージェントでバージョン管理を有効にする必要があります。

実験する理由

体系的な実験がなければ、最適化は直感頼みになります。プロンプトの調整で「良くなった気がする」。ワークフローの調整で自己解決率が「改善するはず」。新しいエスカレーション経路が「より効率的に見える」。

実験は推測を根拠に置き換えます。実際のトラフィックに対して変更をテストし、現実の結果を測定して、機能するものを昇格させます。

実験は次の4ステップで行います。

現在のエージェント設定を起点に、新しいブランチを作成します。システムプロンプト、ワークフロー、音声、ツール、ナレッジベース、ガードレール、評価基準など、あらゆる項目を変更できます。各変更はバージョン管理された設定として追跡されます。

エージェント設定のBranchesタブに移動し、Create branchをクリックします。

バリアントに送るライブ会話の割合を定義します。リスクを抑えるために少ない割合（5～10%）から始め、自信が高まるにつれて増やします。

Edit traffic splitをクリックし、各ブランチの割合を設定します。割合の合計は必ず100%ちょうどにする必要があります。

分析ダッシュボードを使用して、バリアントのパフォーマンスをベースラインと比較します。ブランチパネルのSee analyticsをクリックすると、ブランチでフィルタリングされたビューに直接移動できます。

チームは次のような成果を測定できます。

バリアントが測定可能な改善を示したら、そのトラフィック割合を増やすか、メインブランチにマージして新しいデフォルトにします。完全なバージョン履歴が保持されるため、必要に応じてロールバックできます。

トラフィックは割合に応じてブランチ間で分割されます。ルーティングは会話IDに基づく決定論的なものであるため、同じユーザーはセッションをまたいでも常に同じブランチに到達します。

デフォルトでは、トラフィックはユーザーベース全体でランダムに振り分けられます。APIを使用して会話を開始する場合は、どのブランチ設定で会話を開始するかを制御することで、特定のコホートを特定のブランチに振り分けられます。

すべてのトラフィック割合の合計は、必ず100%ちょうどにする必要があります。そうでない場合、デプロイは失敗します。

実験は、顧客向けワークフローと運用ワークフロー全体で継続的な最適化をサポートします。

顧客体験

改訂したエスカレーションフローが、対応時間を増やさずにCSATを改善するかテストします。さまざまな挨拶スタイル、共感の度合い、解決戦略を比較できます。

収益

より直接的な口調や異なる適格性判定ロジックがコンバージョンを高めるかテストします。異議への対応、価格の提示方法、フォローアップのタイミングを試せます。

運用

ツールロジックの変更によって平均対応時間やインフラコストが削減されるか測定します。さまざまなナレッジベース設定やワークフロー構造をテストできます。

各実験は特定のエージェントバージョンに紐づいているため、すべてのパフォーマンス変化を明確に定義された設定変更に帰属させられます。

エージェント設定のあらゆる側面をブランチ間で変えられます。

カテゴリ	例
システムプロンプト	口調、指示、個性、ガードレール
ワークフロー	ノード構造、分岐ロジック、エスカレーション経路
音声	音声の選択、TTSモデル、速度設定
ツール	ツール設定、Webhookツールロジック、MCPサーバー
ナレッジベース	異なるドキュメント、RAG設定
LLM	モデルの選択、温度、最大トークン数
評価基準	ブランチごとに異なる成功指標
言語	言語設定、多言語設定