運用のコツとトラブル対応

篠原 隆司

アフィリエイト広告を利用しています

このページの内容が役に立ったら X (旧twitter) でフォローして頂けると励みになります
挨拶や報告は無しで大丈夫です

チャットボットの公開と回答精度の改善が一段落したら、あとは日常の運用フェーズです。放置すると回答が古くなり、お客様の信頼を失います。

この記事では、日常の運用フロー、FAQ の更新手順、よくあるトラブルと対処法、コストの管理方法をまとめています。

日常の運用フロー

週1回のログ確認ルーティン

週1回のログ確認ルーティン

チャットボットの運用で最も大事なのは、定期的にログを確認することです。週1回、以下の手順を15〜30分で回すだけで、回答品質を維持できます。

手順やること目安時間
1Dify のログ画面を開き、直近1週間の会話を確認する10分
2回答がおかしいものをピックアップする5分
3前回の記事の分類に従って原因を特定し、FAQ またはプロンプトを修正する10分
4修正後にプレビューで確認する5分

毎週やることで、問題が小さいうちに対処できます。1ヶ月放置すると、修正すべき項目が溜まって手がつけられなくなります。

FAQ情報の更新手順

FAQ更新のトリガー

商品追加・キャンペーン時の対応

FAQ の更新が必要になるタイミングは決まっています。

  • 商品の追加・廃止 — 新商品の情報を FAQ に追加、廃止商品は削除または「取扱終了」に更新
  • キャンペーン・セール — 期間限定の送料無料や割引情報を FAQ に追加。終了後に削除を忘れないこと
  • 送料・配送条件の変更 — 金額や日数が変わったら即座に反映。古い情報が残ると苦情の原因になる
  • 返品・交換ポリシーの変更 — 条件変更は FAQ とプロンプトの両方を確認

更新の手順は記事7で説明した「ドキュメントの差し替え」と同じです。該当カテゴリの FAQ ファイルを修正し、ナレッジベースに再アップロードします。

キャンペーンのように期間限定の情報は、終了日をカレンダーに登録しておき、終了後に FAQ から削除するのを忘れないようにします。「3月末まで送料無料」という FAQ が4月以降も残っていると、お客様に誤った情報を伝えてしまいます。

よくあるトラブルと対処法

よくあるトラブル3分類

チャットボットが応答しない

考えられる原因確認方法対処法
OpenAI の API キーが無効Dify の設定 → モデルプロバイダーでエラーが出ていないかOpenAI の管理画面で API キーの状態を確認。期限切れなら再発行
OpenAI のクレジット残高不足OpenAI の Billing ページで残高を確認クレジットを追加
Dify のサービス障害Dify のステータスページを確認復旧を待つ
埋め込みコードの問題ブラウザの開発者ツール（コンソール）でエラーを確認CSP 設定の見直し、コードの再配置

的外れな回答が続く

考えられる原因確認方法対処法
ナレッジベースの検索精度が低い検索テストで質問を投げてヒット状況を確認FAQ の質問文を改善、チャンク分割を見直す
プロンプトが不適切ログで参照チャンクは正しいのに回答がおかしい場合プロンプトの調整（記事7参照）
FAQ の情報が古いFAQ ファイルの内容を確認最新の情報に更新して再アップロード
コンテキスト変数が外れているLLM ノードの設定を確認{{#context#}} がプロンプトに含まれているか確認

APIエラーが出る

エラー原因対処法
401 UnauthorizedAPI キーが無効または期限切れOpenAI で API キーを再発行し、Dify に再登録
429 Rate LimitAPI の呼び出し回数が上限に達した時間をおいてリトライ。頻発するなら OpenAI の Usage Tier を確認
500 Internal Server ErrorOpenAI 側の一時的な障害しばらく待ってリトライ
max_tokens エラーDify プラグインとモデルの互換性問題Dify の OpenAI プラグインのアップデートを確認

コストの確認と管理

コストの確認と管理

API利用料の確認方法

チャットボットのランニングコストは、OpenAI の API 利用料と Dify のプラン料金の2つで構成されます。それぞれ別の画面で確認します。

確認対象確認場所確認できる情報
LLM・Embedding の利用料OpenAI の Usage ダッシュボード（platform.openai.com/usage）モデルごとのトークン消費量と金額、日別・月別の推移
Dify のクォータ消費Dify の設定 → モデルプロバイダー残りクレジット数（Sandbox プランの場合）
Dify のプラン料金Dify の設定 → 請求現在のプラン、次回請求日

自分の OpenAI API キーを使っている場合、LLM の呼び出しは Dify のクレジットではなく OpenAI に直接課金されます。コストを正確に把握するには、OpenAI の Usage ダッシュボードを見る必要があります。

記事2で試算したコストの目安は以下のとおりでした。

項目月額目安
GPT-5.4 nano（月1,000回チャット）約110円
text-embedding-3-small数十円程度
Dify Sandbox プラン無料
合計数百円/月

実際の利用量が試算と大きくずれていないか、月に1回は Usage ダッシュボードを確認しておきます。想定以上にコストがかかっている場合は、以下を確認してください。

  • チャット回数が想定より多い — 利用者が増えている（良いことだが、コストに影響）
  • 1回あたりのトークン数が多い — プロンプトが長すぎる、FAQ の回答が冗長
  • 不要なテスト呼び出し — 改善作業中のプレビューテストが積み重なっている

次の記事では、チャットボットの導入を終えた今だからこそ見えてきた課題と、次のステップとしての改善・自動化・コスト最適化の提案をまとめます。