niki-til

Nomological Network(構成概念妥当性)

一言定義: 測りたい目に見えない概念(construct)と、他の概念との理論的な関係網。実際に関係が観察できれば妥当性の証拠になる。

なぜ重要か

「正確性」「信頼性」「ブランド可視性」のような 目に見えない潜在変数は、直接観察できない。だから「どんな指標 (observable) で代理して、他の概念とどう関係するはずか」をネットワーク図にしておく必要がある。観察された相関がネットワークの予測と合致すれば → その指標は概念を正しく測っている、と言える(Cronbach & Meehl 1955)。

これがないと「指標 X はホントに概念 Y を測っているのか?」に答えられない。

構成要素

  1. 構成概念 (constructs): 目に見えない概念。例: Citation Fidelity, Source Trustworthiness
  2. 観測指標 (observables): その概念を測る数値。例: 引用率、正確性スコア
  3. 関係仮説: 構成概念 A ↑ → 構成概念 B ↑(正相関)、または A ⊥ B(独立)など
  4. 収束 (convergent) 妥当性: 関連するはずの概念どうしが実際に強く相関する
  5. 弁別 (discriminant) 妥当性: 関連しないはずの概念どうしが実際に相関しない

AI 検索評価での出番

AI検索評価12指標 の 5 つの構成概念(C1〜C5)は nomological network を組んでいる:

C1 Citation Fidelity ──(+, H1)──► C2 Source Trustworthiness
       │                                    │
       │ (+, H2)                            │ (+, H3)
       ▼                                    ▼
C4 Agent Task Completion ◄──(+, H4)── C3 Brand Visibility
       ▲
       │ (+, H6)
       C5 Temporal Freshness

H1〜H6 の 6 仮説と、C1⊥C3 / C2⊥C4 / C5⊥C1 の 3 弁別期待を Phase B-2(30 日蓄積後)の Pearson 相関で検証する計画。

参考・引用元


2026-05-30 作成。AI検索評価12指標シリーズの方法論補足。Cohen's d評価者間一致度 と併せて、研究グレード評価の三脚を構成する。