ステータス: 🟢 現役 最終更新: 2026-07-13 作成者: にしむら(学習キュレーター)
この章のゴール
ログを見て改善を回す「LLMOps」の考え方を実践できるようになること。作って終わりにせず、使われるほど良くなる仕組みを持ちます。
まず結論
LLMOpsとは、公開したAIのログ（実際のやり取り）を見て、問題を見つけ、プロンプトやナレッジを直し、再テストする改善サイクルのことです。Difyはこのログの閲覧やフィードバック収集の機能を備えています。AIアプリは一度作れば完成ではなく、実際の質問を見て磨き続けることで実用レベルに近づきます。
やさしい解説
公開後のAIには、想定外の質問が必ず来ます。LLMOpsの出発点は「実際に何を聞かれ、どう答えたか」を見ることです。Difyのログ画面では、ユーザーとの会話履歴、どのくらいトークンを消費したか、ユーザーの良し悪し評価などを確認できます。ここから「うまく答えられていない質問」を拾い出すのが第一歩です。
改善の打ち手は主に2つです。ひとつはプロンプトの修正で、口調・出力形式・答えられないときの振る舞いを調整します。もうひとつはナレッジの改善で、不足していた文書を追加したり、チャンクの分け方を見直したりします。どちらを直すべきかは、ログを見て「知識が足りないのか、指示が曖昧なのか」を切り分けて判断します。
改善は必ず「変更→再テスト」をセットで行います。直したつもりが別の質問で悪化することもあるため、代表的な質問をいくつか手元に用意しておき、変更のたびに一通り試すと安全です。1回のサイクルで完璧を目指さず、小さく直して回数を重ねるのが実務的です。
003事業で顧客に管理画面やチャット履歴をどう提供するか、ログをどこに保存するかといった運用設計は、辞典側の reference/admin-and-logs.md を参照してください。具体例
ある中小企業のFAQボットは、公開後のログで「有給の繰り越し」に関する質問に曖昧な回答をしていることが分かりました。原因を調べると、就業規則に繰り越しの条項が載っておらず、ナレッジに情報自体が無いことが判明しました。そこで運用細則の文書を追加で取り込み、同じ質問を再テストして正しく答えることを確認しました。プロンプトではなくナレッジ側の問題だった、という切り分けがLLMOpsの肝です。
ミニ演習
問題: ログを見たところ、あるボットが自社独自の制度について毎回一般論しか答えていませんでした。まず疑うべきは「プロンプト」と「ナレッジ」のどちらですか。
答え: ナレッジ（知識ベース）。
解説: 独自制度について一般論しか出ないのは、その情報がナレッジに入っていない可能性が高いためです。まず該当文書が取り込まれているかを確認し、無ければ追加します。文書はあるのに拾えていない場合は、チャンクサイズや検索件数の調整、それでも駄目ならプロンプトの見直しへと進みます。
この章のまとめ
- LLMOpsは「ログを見る→問題発見→プロンプト/ナレッジ修正→再テスト」の改善サイクル
- 直す前に「知識不足か、指示の曖昧さか」を切り分ける
- 変更と再テストは必ずセット。小さく直して回数を重ねる
次に読む
07-exercises.md— 実践課題・理解度チェック・復習プラン