回答長 (Answer Length)

一言定義: AI 回答テキストの平均文字数（日本語）。

なぜ重要か

• ビジネス側: 長すぎる回答はユーザーが読まない（クリック離脱）。短すぎる回答は情報密度が低い。エンジンごとの「説明スタンス」を測る指標。
• 学術側: 単独では trait（能力）の指標にはならないが、③ 正確性とのトレードオフ（長く答えるほど誤情報が混じりやすい）や ⑧ レイテンシとの相関で読む。HELM (Liang et al. 2023) も length を補助指標として扱う。

計算式

回答長 = Σ(回答文字数) ÷ (回答数)

文字数はトークン数ではなく 日本語の文字数（コードポイント数） で測る。半角英数も全角と同じ 1 文字でカウント（クライアント向け説明のしやすさ優先）。

具体例

仮想シナリオ:

• ChatGPT Search: 平均 850 文字（中庸）
• Gemini Pro: 平均 1,400 文字（長文派）
• AI Overview: 平均 320 文字（圧縮派）
• Copilot: 平均 1,200 文字

AI Overview が 320 文字ということは、ユーザーが SERP 上で読み切れる短さ。引用も少なくなる傾向（① 引用率と弱い正相関）。

関連学術文献

• Liang, P. et al. (2023). Holistic Evaluation of Language Models (HELM). TMLR.（length は補助指標として記載）
• Aggarwal, P. et al. (2024). GEO: Generative Engine Optimization. KDD 2024.（length は GEO 効果量と弱相関と報告）

ai-search プロジェクト内での運用

• 対象クエリ: 全 600 問
• 集計: エンジン × intent カテゴリで分布も併記（factual は短い・comparison は長い、など intent 依存）
• 構成概念: C4 Agent Task Completion Fidelity の前提条件（出力形式の規定に従えるか）。単独構成概念にはしない

参考・引用元

• ドキュメント: 「リサーチ戦略・分析指標12項目」— GMO ai-search docs/research-strategy.md
• 論文: 「GEO: Generative Engine Optimization」— Pranjal Aggarwal et al., KDD 2024
• 論文: 「Holistic Evaluation of Language Models (HELM)」— Liang et al. 2023, TMLR

2026-05-30 作成。AI検索評価12指標シリーズ ④。