マルチモーダル入力

概要

マルチモーダル入力の設定では、音声以外の方法でユーザーがエージェントに情報を送る方法を管理できます。エージェントの詳細設定タブにあるマルチモーダル入力で設定します。

ファイル入力

ファイル入力では、ユーザーがチャットで画像やPDFをエージェントに送信できます。選択したモデルが画像および／またはドキュメント入力に対応している場合、エージェントはそれらのファイルを読み取れます。

設定

ユーザーはウィジェット、Slackなどの対応チャットチャネル、または会話ファイルのアップロードAPIでファイルを添付できます。

DTMF入力

DTMF入力では、発信者が通話中に電話のキーパッドで数字を入力できます。音声認識に頼らずに電話番号、メニューの選択肢、その他の数値入力を収集する場合に使用します。

これは、エージェントからトーンを送信するキーパッドのタッチトーンを再生システムツールとは逆の機能です。

各キーパッド入力は、シーケンスが完了するまでバッファリングされます。シーケンスが完了すると、1つのユーザーターンが作成されます。

1. 発信者がキーを押します。エージェントが話している場合、最初の数字によって中断されます。
2. 以降の数字は同じバッファに追加されます。
3. 発信者が#を押す（ハッシュ終端が有効な場合）、またはタイムアウトまでに次の数字が入力されないと、シーケンスが完了します。
4. エージェントは収集した数字をユーザーターンとして受け取り、応答します。

ハッシュ終端が有効な場合、#は終端文字となり、収集される文字列には含まれません。空のバッファで#を押しても無視されます。バッファには0-9、*、#、A-Dを最大50文字まで入力できます。

設定

DTMF入力が無効な場合、conversation_config.conversation.dtmf_input_settingsはnullです。有効な場合のデフォルト値は次のとおりです。

マスキングは、保存された会話データ内のキーパッドターンに適用されます。通話中にエージェントから数字を隠すことはなく、エージェントが読み上げる数字やツールに送信する数字を書き換えることもありません。これは会話履歴のマスキングとは別の機能です。

キーパッド入力を求めるタイミングを認識できるよう、エージェントのシステムプロンプトを更新してください。例：

If you need the caller's phone number, ask them to type it on their keypad. Wait for the DTMF
input before continuing.