Ceiling Effect / Floor Effect（天井効果・床効果）

一言定義: テスト項目が 全員正解（天井） または 全員不正解（床） に張り付き、被験者間の差が測れなくなる現象。

なぜ重要か

たとえば「日本の首都は？」を AI 検索 6 つに尋ねたら全部 100% 正解。差がつかない。これでは「正確性スコアでどのエンジンが優れているか」を判別できない。逆に「2026年Q3のXX社売上高は？」を全エンジンが回答失敗 → これも差がつかない。

ceiling/floor 項目はテストとしての情報量がゼロ。除外するかフラグを立てる必要がある。

検出の目安

正答率 (p) を見て:

• p ≈ 1.0 → 天井効果（簡単すぎ）
• p ≈ 0.0 → 床効果（難しすぎ）
• p = 0.4 〜 0.6 が情報量最大の項目

IRT (Item Response Theory) では item discrimination（識別力 a パラメータ）も同時に見て、差がつかない項目をさらに弾く。

AI 検索評価での出番

③正確性スコア の信頼性を担保する条件:

• query-set-v1.json 600 問の難易度分布を Phase B-2 で実測
• p ≈ 1 または p ≈ 0 の項目は フラグして集計から除外 または 再設計
• DoD カテゴリ C-3（Difficulty distribution / IRT）が PASS 判定の前提

具体例

仮想シナリオ（factual-static 77 問の難易度実測）:

• p = 1.0: 12 問（簡単すぎ）→ 天井効果のため除外候補
• p = 0.0: 3 問（難しすぎ）→ 床効果のため除外候補
• p = 0.4-0.6: 28 問 → 情報量最大、メイン指標として使用

77 問のうち 15 問が天井・床に張り付くと、有効な比較対象は 62 問になる。サンプルサイズ計算をやり直す必要が出てくる。

関連概念

• Cohen's d: 効果量。ceiling/floor だと d を計算する以前に分散がゼロに近づく
• Nomological network: 妥当性の上位概念。難易度設計はその下の信頼性問題

参考・引用元

• 書名: 「Statistical Power Analysis for the Behavioral Sciences (2nd ed.)」— Jacob Cohen（Lawrence Erlbaum, 1988）
• 書名: 「Item Response Theory: Principles and Applications」— Hambleton, Swaminathan, Rogers（Springer, 1991）
• ドキュメント: 「DoD フレームワーク v1.0」C-3 観点 — GMO ai-search docs/dod-framework-v1-2026-05-28.md

2026-05-30 作成。AI検索評価12指標シリーズの方法論補足。③ 正確性の前提条件として頻出する概念。