ログページは、実際のユーザーからの入力履歴(クエリ)とそれに対するエージェントの応答内容をモニタリングすることで、
ナレッジの強化や応答品質の改善につなげるための、STORMにおける重要な分析ツールです。
実ユーザーのクエリ分析
•
ログページでは、ユーザーが実際に入力した質問(クエリ)の履歴を確認できます。
•
これにより、以下のようなインサイトが得られます:
◦
よくある質問の傾向や関心の高いテーマの把握
◦
ナレッジベースにおける情報の不足や抜け漏れの発見
◦
補完が必要なナレッジの登録・更新の優先順位の整理
エージェントの応答確認
•
各クエリに対して、エージェントがどのような応答を返したかもあわせて確認できます。
•
以下のような点をチェックすることで、応答品質を体系的に評価できます:
◦
ユーザーの意図に正確に応じているか
◦
誤情報や情報の抜け落ちがないか
◦
追加学習が必要なケースが存在していないか
•
会話履歴の確認とログ検索機能
ログページでは、ユーザーとエージェントの過去の会話履歴を詳細に確認・検索することができます。
目的に応じて柔軟にフィルタリングし、必要なやり取りだけを抽出することが可能です。
会話履歴の確認・検索方法
•
過去のユーザーとエージェントのやり取り(チャット履歴)を一覧で確認できます。
•
以下の条件で絞り込み検索が可能です:
検索条件 | 説明 |
任意の期間を指定可能 | |
LINE・Web・KakaoTalkなど、連携チャネル単位でフィルター可能 | |
特定の語句・テーマで検索できます | |
特定の会話をピンポイントで検索したい場合に使用します | |
該当チャットの全履歴を時系列で表示したい場合は、右側の「その他」→「会話履歴をすべて表示」を選択してください |
テスト環境とサービス環境の切り替え
•
STORM管理画面でテストした履歴のみを見たい場合:
→ 「環境フィルター」で 「STORMテスト環境」 を選択
•
実ユーザーとの会話のみを見たい場合:
→ 「サービス環境」を選択してください
特定の応答状態で絞り込み
次のような条件を指定することで、レビューが必要なログのみ抽出することが可能です:
状態 | 説明と対応 |
回答できなかったケース(例:ナレッジ不足)→ 「残念です」フィードバック推奨 | |
システム内部で処理できなかったケース → 対象ユーザーに個別フォローアップ推奨 | |
回答精度に不安があると自動判断されたケース → 確認後「残念です」フィードバック可能 | |
十分に正確な回答と評価されたケース → 「よくできました」フィードバックで記録可能 |
会話履歴のダウンロード
•
表示中の会話履歴はCSVファイルとしてダウンロード可能です。
•
ダウンロード対象は、現在のフィルター条件に該当する履歴のみとなりますので、
必要な条件を事前に設定してから出力を行ってください。
この機能を活用することで、
品質のばらつきを見逃さず、ナレッジやプロンプトの改善につなげる運用が可能になります。
ご希望があれば、定期レビューの運用フロー例やCSVテンプレートのご提供も承ります。
お気軽にご相談ください。

