LLMOツールの計測プロンプトを変更するには？比較を壊さない版管理の手順

LLMOツールで計測するプロンプトを変えるときは、元の質問と条件を保存し、新しい質問を別の版として扱います。同じ目的の質問でも、製品名や条件の追加によって回答の出やすさが変わるためです。この記事では、質問を改善しながら過去との比較を続けるための変更台帳と、5ステップの運用手順を紹介します。

ここでいうプロンプトは、AI回答の可視性を調べるために登録する質問です。記事を生成する指示文とは区別します。また、版番号や台帳は本記事で提案する管理方法であり、特定のLLMOツールにそのまま備わっている機能名ではありません。

質問の改善と、比較条件の変更を分けて考える

質問を見直すこと自体は必要です。製品の用途が変わった、営業で新しい質問が増えた、顧客が使わない表現が登録されていた、といった場合は修正する価値があります。一方、質問を変えた後の数値を、以前と同じ条件の続きとして扱うことはできません。

例えば「少人数の営業チーム向けの顧客管理ツールは？」を「日本語サポートがあり、移行支援を受けられる顧客管理ツールは？」へ変えると、人数条件が外れ、サポートと移行支援が加わります。自社への言及が増えても、サイト改善の効果なのか、質問の条件が自社に合うようになったためなのかを、この比較だけでは判断できません。

したがって、変更の判断には二つの目的を置きます。一つは見込み客の疑問をより正確に測ること。もう一つは、何を変更した結果なのかを後から説明できることです。良い数字が得られるまで質問を直す運用では、顧客の意思決定を把握するという本来の目的が曖昧になります。

質問の種類を整理したい場合は、既存のLLMOで狙うクエリの4分類と検索意図分析を先に確認してください。本記事は分類後の質問を、継続計測でどう管理するかに焦点を当てます。

変更前に残す「計測条件の控え」

質問の文章だけを保存しても、同じ条件を再現できるとは限りません。対象AI、検索の実行条件、言語、地域、指名・非指名の区分なども同時に残します。画面に出ていない内部設定は推測せず、「提供元へ確認」「設定不可」と記録します。

LLMOチェキの公式の計測方法では、定期計測とオンデマンド計測でWeb検索の実行条件が異なると説明されています。2026年9月13日に同ページの記載を確認しました。手動で一度聞いた結果と、ツール内の集計値を比べる場合も、経路と条件の違いを記録してください。

プロンプトを変更する5ステップ

図：質問の変更理由と元の条件を残し、新旧の観測を区別して運用します。

1. 目的を決める

何が不足しているために変更するのかを一文にします。「直近の商談で、移行支援の有無を比較する相談が増えたため」のように、読者や顧客の疑問を根拠にします。自社の言及率が低いことだけを、質問が不適切だと判断する理由にしないでください。

変更案には、既存の疑問を測り直すのか、新しい疑問を追加するのかも書きます。新しい用途なら、旧版を廃止する必要があるとは限りません。比較対象として残す質問と、新しい需要を調べる質問を分ける判断ができます。

2. 旧版を保存

質問全文と計測条件を控え、元の結果を読み返せる状態にします。過去の回答、引用URL、集計値、取得日時を保存できる範囲で残します。ツールの履歴機能が不明な場合は、上書き前に提供元へ確認してください。

画面の画像を残す場合も、質問全文が省略されていないかを確認します。旧版を再実行できなくなる場合には、その事実と終了日を台帳へ書きます。後から旧版のグラフが消えても、終了した観測であることを説明できるようにするためです。

3. 新版を作る

何を変えたかが分かるように、新版には別の版番号を付けます。例えば同じ利用目的を追う質問IDをQ07、旧版をv1、新版をv2とします。別の検索意図へ変わった場合は、新しい質問IDを発行する方が整理しやすくなります。

一度に多くの条件を書き換える必要があるときは、差分を箇条書きにします。「人数条件を削除」「移行支援を追加」「対象を法人向けに限定」のように書くと、次の担当者も比較の限界を理解できます。版番号を付けるだけで文章の違いが分からない状態は避けましょう。

4. 同条件で併走

運用上可能なら、同じ期間に旧版と新版を計測します。対象AIや検索モードなど、質問以外の条件をそろえます。併走の目的は、新旧の質問で回答や出典がどう変わるかを確かめることです。短い試行だけで安定した差を証明するものではありません。

両方を計測すると追加の利用枠を使う場合があります。必要な件数、利用上限、費用を先に確認し、併走できなければ切替日を明記したうえで前後を別系列として扱います。併走のために契約を変更することを、すべての企業に必須とはしません。

5. 系列を分ける

結果には版番号を付け、旧版と新版を別々に表示します。新版への切替をグラフに注記し、切替後の値をそのまま施策の改善率へ変換しないようにします。固定した質問群の結果も併記すると、継続して見ている対象の変化を確認できます。

判断は「新しい質問が顧客の疑問に合っているか」「回答を確認して次の作業を決められるか」で行います。自社の数字が良い方を採用するという基準にせず、採用した理由、採用日、再検討する条件を残してください。

そのまま使える変更台帳の記入例

次の表は架空の顧客管理サービスの例です。実際の製品や導入企業の成果を示していません。台帳の項目と記入の粒度を、自社の運用へ応用してください。

ここで重要なのは、新版に置き換えたことで旧版の目的が消えていないかです。「少人数向け」という需要が引き続きあるなら、その質問は継続し、移行支援の質問を別に追加する選択もあります。変更台帳は、単なる作業履歴ではなく、何を測るかの判断を残すために使います。

機密の商談内容を根拠にする場合は、顧客名や契約条件を質問へそのまま転記する必要はありません。相談の意図を抽象化し、計測に必要な条件だけを使います。社内の情報管理ルールに従い、台帳の共有範囲も決めてください。

新旧比較では、率と内訳をセットで読む

旧版が20回答中4回答、新版が20回答中8回答で自社に言及したとします。率は20%と40%ですが、これを「サイト改善によって言及率が倍増した」とは書けません。質問の条件を変更しており、短い観測の変動もあるためです。

同じ回数を実行しても、成功した回答の数が違う場合があります。各版で分子と分母を示し、欠測は別の件数で残します。また、再実行した結果から良い回答だけを選ぶと、最初の計画と異なる集計になります。再実行が必要だった理由と、集計へ含めた範囲を記録しましょう。

固定質問と探索質問を同じ合計へ混ぜない

継続して追う固定質問と、新しい需要を探る探索質問は役割が異なります。固定質問は同条件の推移を見るため、探索質問は新しい比較軸や用途を見つけるために使います。どちらか一方だけで運用しなければならないわけではありません。

例えば月初に固定質問10問を選び、別枠で探索質問3問を試す運用が考えられます。この件数は説明用の計画例です。月末に探索質問を合計へ混ぜて「全体の言及率が改善した」と見せると、改善と対象構成の変化を区別できなくなります。

固定群へ質問を移す場合は、採用日と理由を記録し、次の比較期間から扱いを統一します。以前の期間の合計も作り直せる場合は、同じ質問群にそろえた参考値として別に示します。計測していなかった過去の質問に、推測値を入れて系列を補完してはいけません。

よくある変更をどう扱うか

句読点だけの変更でも、必ず数字が変わると決めつける必要はありません。ただし、いつ何を直したかが分からない状態にしないことは大切です。影響の大小を推測して履歴を消すより、簡単な変更ログを一貫して残す方が確認しやすくなります。

引き継ぎで確認すること

運用担当が変わるときは、現在の質問一覧だけでなく、終了した質問とその理由も渡します。なぜ自社に有利そうな質問を使っていないのか、なぜ数値の低い質問を残しているのかを共有すると、目的の違う質問へ入れ替わることを防ぎやすくなります。

引き継ぎ資料には「測る対象」「質問を変えてよい条件」「変更を確認する担当」「過去データの保存場所」を含めます。営業が新しい顧客の疑問を見つけ、マーケティングが質問の重複を確認し、計測担当が版を付けて登録する、といった分担も明記できます。

定期的な確認では、使われていない質問を消す前に、判断材料として参照されているかを確認します。すぐに施策につながらない質問でも、重要な選定条件の基準値として役立つ場合があります。停止・継続の理由を、直近の率の高低だけで決めないようにしましょう。

計測ツールを移行するときの対応表

別のLLMOツールへ移行する場合は、質問の文章を同じにしただけで過去と同じ計測になったとは判断しません。取得経路、対応するAI、検索条件、ブランド判定、履歴の保存方法が異なる可能性があります。移行前後の設定を並べ、共通する条件と比較できない部分を明示します。

移行後の最初のレポートでは、計測環境が変わった日を明示します。自社への言及が増えていても、サイトの改善だけに結び付けず、環境の違いを含む観測として説明します。旧環境を解約する前には、必要な履歴を保存できたかを確認してください。契約終了後に閲覧できることを前提にしないようにします。

廃止した質問を再開する場合

一度停止した質問を再開するときは、同じ文章であっても停止期間を埋めず、その日からの観測として扱います。停止している間にAIや自社の製品、競合の情報が変わっている可能性があるためです。再開日と条件を記録し、空白期間に一定の結果が続いていたような線を引かないでください。

停止した理由も確認します。需要がなくなったために止めた質問と、計測枠の都合で止めた質問では、再開の判断が異なります。新しい顧客の疑問を知るために復活させるなら、その根拠を残します。過去に自社の結果が良かったという理由だけで戻すと、都合のよい観測対象を選ぶことになりかねません。

再開後の初回レビューでは、回答が現在も想定する製品カテゴリを扱っているか、引用先が現在の情報かを確認します。別の用途へ意味が変わっている場合は、旧版の再開ではなく新しい質問として扱う方が整理しやすくなります。この判断も台帳に残しておけば、次の担当者が過去の数値を誤って接続することを防げます。

LLMOチェキで始める場合

LLMOチェキでは、登録した質問に対するAIの言及・引用の計測や、回答・出典の確認を案内しています。利用するプランの対応範囲と計測方法を確かめ、まずは自社の判断に必要な質問を固定してください。

版管理の専用機能の有無は、契約前または運用開始時に確認します。機能がない場合も、質問IDと版を外部の台帳で管理し、ツール内の登録内容と対応付けられます。製品候補を比較したい方は、LLMOツールの目的別・予算別比較から必要な運用条件を整理できます。