LLMOツールの引用元はどれくらい偏っている？上位集中率・サイト数・質問別の分布を読む

LLMOツールで引用URLが増えていても、多様な情報源から評価されているとは限りません。同じサイトのページが繰り返し引用されている場合もあれば、少数の回答に大量のリンクが付いている場合もあります。引用元の偏りは、引用件数、引用サイト数、引用が付いた回答数を分け、上位のサイトが占める割合を質問別に確かめると読みやすくなります。

この記事では、引用元の分布からコンテンツの改善先を選ぶ方法を解説します。計算例はすべて説明用の架空データです。紹介する集中率は本記事で定義する分析方法であり、特定のLLMOツールの標準スコアやAIの評価基準ではありません。数字を小さくすること自体を目標にせず、どの質問にどの根拠が必要かを判断する材料として使います。

引用件数が多い状態と、出典が分散している状態は違う

ある回答が一つの公式サイトから五つのページを参照している場合、URLは五つあっても、運営元が異なる五つの情報源があるわけではありません。逆に、三つのサイトが一回ずつ引用されただけでは、その傾向が繰り返し観測できるかは分かりません。件数の多さと情報源の広がりには、それぞれ別の確認が必要です。

集計に使う単位も揃えます。本記事の基本単位は「一つの回答に、一つのURLが引用元として現れた組」です。同じ回答内で同一URLが何度も示されても一組として数えます。同一サイトの別URLが出れば別の組として数え、サイト別に合計します。別の回答で再び同じURLが出た場合は、新しい観測として数えます。

例えば引用の延べ件数が二十件、引用付き回答が八件だったとしても、二十を回答数として扱ってはいけません。一つの回答に複数のURLが含まれるためです。また、全出典の上位集中率と自社サイト内のページ集中率では、分母が異なります。自社への引用が多いかを調べる表と、全体の出典構成を調べる表を分けると、誤った改善判断を防げます。

上位集中率は「何に依存しているか」を見る補助指標

上位一サイト集中率は、引用件数が最も多いサイトの件数を、対象とした引用の延べ件数で割ります。上位二サイト集中率なら、多い順に二サイトの件数を足して同じ分母で割ります。ここでいう上位は、AI回答での表示順や検索順位ではなく、集計した引用件数の順です。

説明用に、同じ期間・同じ質問群で集めた引用二十件を四サイトに分けます。サイトAが十件、Bが六件、Cが三件、Dが一件なら、上位一サイト集中率は10÷20＝50％、上位二サイト集中率は（10＋6）÷20＝80％です。引用サイト数は四つです。これら三つを一緒に記録すると、四サイトを観測したものの大部分はAとBに集まっていると説明できます。

集中率が高いことを一律に問題とする必要はありません。製品の契約条件を問う質問で、その製品の公式ページが多く引用されるのは、内容との対応を確認すべき自然な場面です。一方、複数製品の比較で特定の古い紹介ページに集中しているなら、更新日や比較条件を点検する理由になります。良し悪しの判断には、引用先の内容と質問の目的が必要です。

特定の閾値を業界標準の合格ラインとして扱わないことも大切です。扱う商材、質問の範囲、計測回数が違えば、分布も変わります。社内で注意基準を置くなら「上位二サイトが一定割合を超えたら原文を読む」という調査の開始条件にします。基準を超えただけでコンテンツが劣る、あるいはAIから信用されていないとは判定しません。

サイトのまとめ方を先に決める

最初はURLのホスト名を単位にすると、何をまとめたかを追跡しやすくなります。www付きのホストとヘルプ用サブドメインを一つのサイトとして扱いたい場合は、対応表に理由を残して統合します。末尾の文字だけを機械的に切り取って同一サイトとみなすと、意図しない統合や分割を起こすおそれがあります。

同じ運営会社が複数のメディアを持つ場合は、サイト単位の集計に加えて運営元単位も見ると参考になります。ただし、所有関係が分からないものを推測だけで同じ会社にまとめません。運営者情報や会社概要で確認できた範囲を記録し、未確認はそのまま残します。サイト数と独立した編集判断の数が一致するとは限らないためです。

転載記事にも注意します。異なるドメインで同じ原稿が配信されていても、独立した取材や検証が複数あるとは言えません。似た内容を見つけたら配信元、署名、公開日、参照元への記載を読み、必要に応じて同一原稿のグループを別列に作ります。引用の事実を消すのではなく、情報の由来を補助列で説明します。

引用元の偏りを読む5ステップ

図：対象を固定、単位を決める、上位比率を計算、質問別に読む、改善先を選ぶの5ステップ。本文でも同じ手順を説明。

1. 対象を固定

比較したい質問群、AIの種類、観測期間、言語、地域、指名質問を含めるかを先に決め、実際に取得できた回答数を記録します。計測できなかった回答は、引用がなかった回答と分けて残します。

「LLMOツールを比較したい」という質問と、特定の製品名を含む使い方の質問では、必要な出典が異なります。最初は目的が近い質問を一つ選び、小さな集計から始めると判断しやすくなります。対象の選定理由も残しておけば、都合のよい質問だけを選んだ結果ではないか確認できます。

2. 単位を決める

回答IDとURLの組を引用の一件とし、同じ回答内の同一URLを重複計上しない規則を定めます。サイトをまとめる対応表と、自社サイトの対象範囲を作り、観測URLを上書きせずに集計列を追加します。

ヘルプページを自社に含めるか、関連会社のサイトを別にするかなど、迷った判断をメモします。途中で分類規則を変えたときは、前後の集計を同じ規則で作り直すか、比較不可として扱います。数字を調整するためにサイトのまとめ方を後から変えないことが、再現できる分析の前提です。

3. 上位比率を計算

サイト別の引用件数を集計し、総引用件数、異なるサイト数、上位一サイトと上位二サイトの割合を並べます。分母がゼロの場合は割合を計算せず、引用未観測と表示します。

小さな母数では、一件追加されるだけでも割合が大きく動きます。二件中一件の50％と、二百件中百件の50％を同じ安定性で読まないようにします。上位だけを表示する画面では「その他」に含めた件数も残し、全件に対する割合か、表示中の件数だけに対する割合かを明示します。

4. 質問別に読む

全体の集計を質問群とAIの種類ごとに分け、上位サイトの引用箇所を原文で確認します。根拠として必要な情報と、現在の自社ページにある情報を照合し、不足している事実や説明を整理します。

全体で上位のサイトが、すべての質問で強いとは限りません。例えば導入手順の質問を多く計測した月は、ヘルプサイトの割合が上がることがあります。質問構成が変わった影響を、自社コンテンツの評価変化と混同しないよう、質問群ごとの回答数も比較表に添えます。

5. 改善先を選ぶ

不足が確認できた質問について、自社の説明更新、一次資料の追加、掲載情報の訂正など実行できる施策を一つ選びます。対応者、確認期限、変更ページ、次に観測する条件を台帳に残します。

比較情報が不足しているなら、対象読者、比較軸、適用条件を明確にします。実装の説明が不足しているなら、操作例や設定条件を加えます。多数の類似ページを増やして見かけの出典数を上げるのではなく、実際の判断に必要な根拠を読者が辿れる状態を目指します。

質問別の分布を見ると、同じ数字でも対応が変わる

架空の担当チームが、上位二サイト集中率80％という集計結果を見たとします。対象が公式仕様の確認なら、まず公式ページの情報が正確に引用されているかを点検します。比較検討なら、どの比較軸の説明が不足しているかを確認します。導入作業なら、引用された操作手順が現行の画面や条件に対応しているかを見ます。

ここで外部サイトへの掲載依頼を行う場合も、引用されているという理由だけで依頼先を決めない方がよいでしょう。読者層、編集方針、情報の更新方法、自社の説明との関係を確認します。本来不要な掲載を増やしても、ユーザーの疑問への回答が充実するとは限りません。編集上の独立性がない複数の掲載を、第三者評価の広がりとして報告しない配慮も必要です。

自社ページに原因があると決めつけるのも早計です。AI回答で引用される箇所が、そもそも自社では公表していない業界統計であれば、引用元となる調査機関が集中していることには理由があります。自社がその統計の出典になろうとするより、元の資料を正確に参照し、そのデータから自社の利用場面をどう考えるか説明する方が適切な場合があります。

偏りの変化と施策の効果を混同しない

改善後に上位集中率が下がっても、それだけで施策が成功したとは判断できません。新しいサイトの引用が増えたのか、以前の上位サイトの引用が減ったのか、引用の総数が変わったのかを分けます。集中率とともに、各サイトの実数、総回答数、引用付き回答数を残しておくと、この違いを確認できます。

例えば架空のケースで、サイトAの引用十件が変わらず、ほかのサイトが十件から三十件に増えれば、Aの割合は50％から25％に下がります。Aへの引用が減ったわけではありません。逆に、Aが十件から五件に減り、ほかも十件から五件に減れば、割合は50％のままです。割合が同じでも全体の観測量は半分です。

分析対象の回答を毎回入れ替えている場合は、同じ質問・同じAIの組み合わせで比較できる範囲を別に作ります。新しく追加した質問は新規枠に分け、既存枠の推移を残します。複数AIを合算する場合も、AIごとの回答数の構成変化が分布に影響していないか確認します。全体平均だけでは現場の問題を特定しにくくなります。

また、割合を表示する際の丸め方を統一します。小数第一位まで示す場合でも、計算には丸める前の件数を使います。表の割合が丸めのため100％にならない場合は注記を入れ、無理に一つのサイトの割合を調整しません。小さな差を意味のある変化として強調しないよう、母数と計算規則を読み手に示します。

上位の境界で同数のサイトがある場合も、表示の規則を揃えます。上位二サイトだけを計算するのか、同順位のサイトをすべて含めるのかで対象数が変わるためです。本記事の計算例では件数順に二サイトを選びます。同数がある場合は選定規則を添え、同順位をすべて含む集計には別の名前を付けます。報告するサイト名が変わっても、同数による表示順の違いだけなら、実際の引用件数の変化とは分けて説明できます。

改善台帳に残すのは、順位表よりも判断の根拠

毎回の報告では「上位サイトはどこか」だけで終わらせず、「そのサイトの何が、どの質問に答えていたか」を短い文にします。例えば「導入後の設定変更に関する質問では、条件別の手順を示すヘルプが多かった。自社の説明は初期設定のみなので、変更時の手順を追記する」という形です。施策と根拠がつながっていれば、次の担当者も判断を引き継げます。

一方で、引用先を読んでも改善すべき点が見つからない場合は、その結果を残してかまいません。「現時点で情報不足を特定できないため継続観測」と記録すれば、根拠のない改稿を避けられます。対応しなかった理由も、対象期間とともに記録しておくと、後から同じ調査を繰り返す手間を減らせます。

分析を始める際は、LLMOチェキの公式サイトで案内されている回答・引用元の確認機能を出発点にできます。本記事の集中率や対応表は、確認できたデータを基に自社で作る分析例です。利用画面で必要な項目を取得できるかを確かめ、機能の有無と分析方法を分けて検討してください。

ツール選定から整理する場合は、LLMOツールの比較記事で確認項目を把握し、実際に追いたい質問と出典を使って検証するとよいでしょう。引用元の分布は、数を増やすための競争表ではなく、読者が必要とする根拠をどこに補うかを考えるための資料です。