テストの実行
テストの目的
テスト機能は、エージェントやサービスを本番公開する前に、意図通りに正常に動作しているかを確認するための重要な準備ステップです。
STORMでは以下のような目的でこのテスト機能を運用しています：
主な確認項目
1.
機能動作の検証
各機能が設計どおり正確に動作するかをチェックします。
これは、サービスの安定性・信頼性を確保するための基本項目です。
2.
ナレッジ検索性能の確認
ユーザーの質問に対し、AIが適切な知識を正しく検索・引用できているかを検証します。
3.
プロンプト理解と実行能力の確認
入力された指示（プロンプト）に対し、システムが意図を正確に解釈し、正しく処理を行えているかを確認します。
4.
エラー原因の分析と改善支援
テスト中に見つかった誤動作や不具合について、原因の特定と改善学習へのフィードバックを行います。
テストの重要性
これらの確認を通じて、リリース前に潜在的な課題を洗い出し、サービスの完成度を高めることができます。
結果として、安定かつ信頼性の高いユーザー体験の提供につながります。
テストの方法
•
画面下部のチャット欄に、ユーザーが入力しそうな内容を試しに入力してみてください。
→ 実際の応答を確認できます。
Dev Live 環境の切り替え
•
Dev（開発） または Live（本番） を選んで、環境ごとにテストが可能です。
•
Live環境では、事前にデプロイされている必要があります。
→ 公開されたバージョン単位でテストが行えます。
フォルダ指定
•
テスト時に、特定のフォルダのみを対象に設定することができます。
•
この場合、選択されたフォルダ内のドキュメントのみを参照して、エージェントが応答を生成します。
回答ソースの確認
回答ソース機能では、エージェントが生成した回答がどのデータに基づいて構成されたのかをご確認いただけます。
応答内容の信頼性や正確性を評価したい場合に、非常に有効な機能です。
•
出典チャンク
◦
回答に使用されたナレッジチャンク（Knowledge Chunk）が番号付きで一覧表示されます。
◦
各番号をクリックすることで、該当箇所の原文を画面上でご確認いただけます。
•
出典ドキュメント
◦
該当チャンクが抽出された元の文書を内蔵ビューア（PDF対応）で直接表示できます。
◦
回答の根拠となる資料をその場で確認できるため、確認作業がスムーズに行えます。
•
詳細ログ
◦
検索結果、プロンプト、回答の構成プロセスなどがログとして記録されており、いつでも確認可能です。
◦
応答精度の確認や、問題発生時の原因分析に役立ちます。
フィードバック
フィードバック機能は、テストや運用の中で得られたエージェントの応答品質を評価し、性能改善のための学習データとして活用できるように設計された機能です。
ユーザーは各応答に対して、
「よくできました」 または 「残念です」 のいずれかを選択して評価を行うことができます。
それぞれのフィードバックは、以下の目的と活用方法に基づいて運用されています。
よくできました
エージェントが意図通りに正確で有用な情報を検索・活用し、適切な回答を生成した場合に選択してください。
この評価が使われるケース：
•
入力されたリクエストやプロンプトに対して、内容の正確さ・表現の自然さともに適切な回答が行われた場合
活用方法：
•
記録された「よくできました」のフィードバックは、
RAG埋め込みモデルのファインチューニング用データとして活用されます。
•
モデルのファインチューニングは、
営業チームへの個別依頼を通じて対応可能です。
残念です
エージェントの応答が期待と異なる場合や、正確性・関連性に欠けていた場合に選択してください。
この評価が使われる主なケース：
•
適切な情報を検索できなかった／ナレッジベースに該当情報が存在しなかった
•
検索結果はあったが、LLMが内容を正しく解釈できなかった
•
回答すべき問いに対して、事前に正解が定義されているが誤った応答を返した
管理者による対応：
•
「残念です」と評価された応答に対して、管理者が模範回答を手動で登録することで、
将来的に同様の質問が来た際に、エージェントがより正確な応答を返せるよう制御できます。
フィードバック機能は単なる回答評価にとどまらず、エージェントの性能を体系的に改善するための主要な手段です。積極的なフィードバック活用は、より精度の高い、信頼できる応答品質の構築に貢献します。
フィードバック機能の意義
この機能は単なる応答評価にとどまらず、
エージェントを継続的に学習・改善させるための重要な仕組みです。
現場からのフィードバックを積極的に取り入れることで、
精度の高い・信頼できる対話体験の実現に大きく貢献します。
想定した回答が返ってこない場合の対応方法
AIエージェントからの回答が**「期待と異なる」「誤っている」「エラーになる」**といった場合、以下の内容を参考に、原因確認や対応を行ってください。
システムエラーメッセージが返された場合
•
画面右上にある 「エラー報告」ボタン をクリックしてください。
内容は自動的に技術サポートチームに共有されます。
「わかりません」や誤回答が返された場合
▼ 技術サポートへの連絡
以下の情報を添えて、サポートチームまでご連絡ください：
•
該当の chat ID
•
期待していた回答の内容
•
参照されるべき文書名とその該当箇所の情報
ご自身で確認できるポイント
1. 出典（引用）に期待する情報が含まれていたか？
•
含まれている場合
→ LLMの推論や理解精度の問題が考えられます。
◦
対応方法：
▪
使用モデルを変更する（例：GPTからClaudeへ）
▪
LLMパラメータ（温度・Top Pなど）を調整する
▪
プロンプトの構成や指示内容を再設計する
•
含まれていない場合
→ 対応すべき情報がナレッジに未登録、または検索できていない可能性があります。
以下のチェックポイントをご確認ください：
チェック項目 | 説明と対応策 |
| 文書が未学習 | → 該当文書をアップロード・学習させてください |
| 文書は学習済だがバージョンに含まれていない | → Dev / Live 環境を切り替えて再確認してください |
| 文書は学習済だがパースに失敗している | → StormParseでの変換結果をご確認ください（表や画像を含む場合に注意） |
2. 検索に失敗している場合
•
文書は正しく学習済・バージョン反映済でも回答がずれている場合、
→ 検索エンジン側でヒットできていない可能性があります。
この場合は、以下の対応をご検討ください：
•
フィードバック機能を使って、該当の質問と正しい回答を直接登録する
•
模範回答の追加により、今後の応答を安定的に制御できます
補足
複雑な原因が絡むケースもあります。迷われた場合は、お気軽に技術サポートまでお問い合わせください。
再現性のある質問内容がわかると、対応がスムーズです。