LLMOツールの平均値が改善したのはなぜ？計測対象の構成変化と同条件の変化を分ける方法

よくある質問

全体の言及率が上がっていれば改善と報告してよいですか？

取得した回答全体での割合が上がったことは報告できます。ただし、対象や計測回数の構成が変わっていれば、同条件での改善とは限りません。内訳と共通対象の変化を確認してください。

合算と単純平均ではどちらが正しいですか？

答えたい問いが違います。合算は取得した回答全体、単純平均は各対象を同じ比重で見た値です。集計単位と比重を明示し、比較前後で同じ方法を使います。

欠測したAIの割合を0%として平均できますか？

取得できなかった結果を言及なしと同じ扱いにはできません。欠測として分け、固定比重を満たせない範囲を示します。残る対象へ重みを再配分する場合も、規則と比較上の制約を明示します。