成功評価
成功評価
会話の品質、目標達成、顧客満足度を評価するカスタム基準を定義します。
成功評価では、会話に対するカスタム目標と成功指標を定義できます。各基準は会話の文字起こしに対して評価され、詳細な根拠とともにsuccess、failure、unknownのいずれかの結果を返します。
概要
成功評価では、LLMを活用した分析により、特定のビジネス目標に照らして会話の品質を評価します。これにより、すべての顧客対応において体系的なパフォーマンス測定と品質保証が可能になります。
仕組み
各評価基準は、カスタムプロンプトを使用して会話の文字起こしを分析し、次を返します。
- 結果:
success、failure、またはunknown - 根拠:その結果が選ばれた理由の詳細な説明
評価基準の種類
目標プロンプト基準
目標プロンプト基準では、特定の目標が達成されたかを確認するため、会話の文字起こしとカスタムプロンプトをLLMに渡します。これは最も柔軟な評価タイプであり、複雑なビジネスロジックにも使用できます。
例:
- 顧客満足度の評価
- 問題解決の検証
- コンプライアンスチェック
- カスタムビジネスルールの検証
設定
ベストプラクティス
効果的な評価プロンプトの書き方
- 成功と失敗の条件を具体的に示す
- プロンプトにエッジケースと例を含める
- 可能な場合は明確で測定可能な基準を使用する
- さまざまな会話シナリオでプロンプトをテストする
一般的な評価基準
- 顧客満足度:「顧客が満足を表明した、または問題が解決した場合は成功とする」 - 目標達成:「顧客が 要求されたアクション(予約、購入など)を完了した場合は成功とする」 - コンプライアンス:「エージェントが 必要なコンプライアンス手順をすべて遵守した場合は成功とする」 - 問題解決:「通話中に顧客の技術的な 問題が解決した場合は成功とする」
曖昧な結果の処理
unknownの結果は、LLMが文字起こしから成功または失敗を判定できない場合に返されます。これは多くの場合、次のような状況で発生します。
- 不完全な会話
- 曖昧な顧客の回答
- 文字起こし内の情報不足
unknownの結果を監視して、基準プロンプトの改善が必要な領域を特定してください。
ユースケース
トラブルシューティング
評価基準で予期しない結果が返される
- プロンプトの明確さと具体性を確認する
- サンプル会話でテストしてロジックを検証する
- 評価基準のエッジケースを検討する
- 文字起こしに評価に十分な情報が含まれているか確認する
「unknown」の結果が多い
- プロンプトで探すべき情報を具体的に示す - 会話に評価に十分なコンテキストが含まれているか検討する
- 文字起こしの品質と完全性を確認する - よくあるエッジケースを処理できるよう基準を調整する
パフォーマンスに関する考慮事項
- 評価基準ごとに会話分析の処理時間が追加される
- 複雑なプロンプトは評価に時間がかかる場合がある
- 包括的な分析と応答時間のトレードオフを検討する
- 特定のニーズに合わせて最適化できるよう使用状況を監視する
成功評価の結果は、外部システムや分析プラットフォームとのインテグレーション用に通話後 Webhookから利用できます。


