ベイジアン主義の限界
事前確率の設定:
包括仮説の尤度:
- ベイジアン主義は、包括仮説（catchall hypotheses）に対する尤度（likelihood）を設定する必要もある。包括仮説とは、すべての可能な仮説を包含する仮説である。しかし、これらの尤度を客観的に評価する基準も存在しないため、同様に主観的な判断に依存することになる。
- 包括仮説とは、考慮すべきすべての可能な仮説を含む広範な仮説である。具体的には、ある現象を説明するために設定されるすべての仮説を網羅した仮説を指す。例えば、コインを投げた時に表が出る確率を考える際、包括仮説には「表が出る確率が50%ではない」すべての可能性が含まれる。
- ベイジアン主義では、あるデータが観測されたときに、そのデータが特定の仮説のもとでどれだけもっともらしいかを示す値である尤度を設定する必要がある。この尤度は、データが観測されたときに、仮説がどれだけ支持されるかを定量的に示すものである。
モデル選択理論への移行
このようなベイジアン主義の限界を指摘した後、著者は話題を頻度主義のモデル選択理論に移している。ここでは、尤度主義（likelihoodism）に焦点を当て、証拠の解釈方法について議論している。尤度主義は、どの仮説が真実であるかを決定するのではなく、どの仮説が観測されたデータに最も適しているかを評価することを目的としている。
包括仮説に対する尤度の設定には客観的な基準がないため、主観的な判断に依存することが多い。具体的には、どの仮説をどの程度の確信を持って包括仮説として採用するか、またその仮説の尤度をどのように設定するかについては、統一された客観的な方法がない。このため、異なる人々が異なる判断を下す可能性が高く、結果として得られる結論も異なる可能性がある。
例え話
文書中では、鍵を探している人物の例え話が用いられている。この人物は街灯の下で鍵を探しているが、その理由は「そこに光があるから」であり、実際に鍵がそこにあるかどうかは問題にしていない。この例えは、ベイジアン主義がしばしば客観的な基準を欠いたまま仮説を設定し、それを評価するための光（データ）がある場所にだけ焦点を当てる傾向があることを示している。
ベイジアン主義の限界を指摘し、より客観的な証拠の評価方法として頻度主義のモデル選択理論を紹介する。
モデル選択理論の目的
モデル選択理論の主要な目的は、複数の統計モデルの中からどのモデルがデータに最も適しているかを比較することである。ここで重要なのは、どのモデルを「最も適している」と判断するかは、真理を決定するためではなく、予測精度やデータへの適合度に基づいて行う点である。
他の頻度主義手法との違い
他の頻度主義手法、特に仮説検定では、仮説を受け入れるか拒否するかの基準としてα値を選ぶ必要がある。α値とは、帰無仮説が真である場合に帰無仮説を棄却する確率（有意水準）である。これに対し、モデル選択理論では、以下の点で異なる。
帰無仮説の設定が不要: モデル選択理論では、特定の仮説を帰無仮説として設定する必要がない。つまり、どの仮説が初期の基準点として選ばれるべきかを決める必要がない。
仮説の受け入れや拒否が目的ではない: モデル選択理論の目的は、仮説を受け入れるか拒否するかを決定することではない。むしろ、複数のモデルを比較し、どのモデルが最もデータに適しているかを判断することに重点を置いている。
α値の選択が不要: モデル選択理論では、仮説検定におけるα値のような任意の閾値を設定する必要がない。これにより、主観的な判断に依存せず、より客観的なモデル比較が可能になる。
モデル選択理論の利点
モデル選択理論は、仮説の受け入れや拒否にとどまらず、モデルの適合度や予測精度を評価するための基準を提供する。例えば、赤池情報量基準（AIC）やベイズ情報量基準（BIC）などがあり、これらはモデルの複雑さと適合度を考慮に入れた評価を行う。
科学におけるモデルの役割
科学の多くの分野では、モデルの構築と評価に多大な努力が費やされる。モデルとは、現象を説明または予測するために用いられる簡略化された仮説である。これらのモデルは、全ての関連要素を完全に表現することを目指していない。むしろ、重要な要素を抽出し、簡略化することで理解を深めようとする。
モデルの理想化
モデルには理想化が含まれており、これは現実の複雑さを単純化するための手法である。例えば、物理学では以下のような理想化が行われる。
完全な弾性衝突: 実際の物体は衝突時にエネルギーを失うが、モデルではエネルギーを完全に保存する弾性衝突が仮定される。
摩擦のない斜面: 現実にはどんな斜面にも摩擦が存在するが、モデルでは摩擦が全くないと仮定することがある。
これらの理想化は、現実の複雑さを無視することで計算を簡単にし、基本的な物理法則の理解を助ける。
理想化モデルの有用性
これらの理想化されたモデルは、真実ではないと分かっていても有用である。なぜなら、これらのモデルが現象の予測において高い精度を示すことが多いからである。例えば、摩擦のない斜面を仮定したモデルは、実際の摩擦が小さい場合には非常に正確な予測を提供する。
科学的推論の目的
科学的推論の目的は、完全に正確なモデルを作ることではなく、現象を理解し予測するために役立つモデルを作ることである。理想化されたモデルは、その単純さゆえに、予測の正確さを評価するための強力なツールとなる。これにより、科学者は現実のシステムの複雑さを少しずつ解明し、より精緻な理解を得ることができる。
以上のように、科学におけるモデルは理想化を含む簡略化された仮説であり、全ての関連要素を表現しようとするものではないが、予測の正確さを評価するために非常に有用である。
モデルの複雑さと適合
統計モデルの中には、多くのパラメータを持つ複雑なものがある。これらの複雑なモデルは、過去のデータに対して非常に高い適合度を示すことが多い。つまり、過去の観測データに基づいてモデルを調整すると、そのデータに対しては非常に正確な予測が可能になる。しかし、これはしばしば「過適合（オーバーフィッティング）」と呼ばれる現象を引き起こす。過適合とは、モデルが過去のデータのノイズや偶然の変動にまで適合してしまい、一般的な傾向を捉えることができなくなることを意味する。
予測精度の低下
過適合したモデルは、新しいデータに対して予測精度が低い場合がある。これは、モデルが過去のデータの特異な特徴に過度に依存しているため、新しいデータの一般的なパターンを正しく予測できないからである。したがって、複雑すぎるモデルは、新しいデータに対する予測において信頼性を欠くことがある。
モデル選択基準の役割
このような問題を防ぐために、赤池情報量規準（AIC）や他のモデル選択基準が開発された。AICは、モデルの適合度と複雑さのバランスを取るための基準である。具体的には、AICは以下のように計算される。
ここで、はモデルのパラメータの数、
はモデルの対数尤度である。AICは、モデルの複雑さ（パラメータの数）に対するペナルティを課すことで、過適合を防ぎ、より一般化された予測精度の高いモデルを選択する助けとなる。
他のモデル選択基準としては、ベイズ情報量規準（BIC）や交差検証（クロスバリデーション）などがある。これらの基準も同様に、モデルの適合度と複雑さを評価し、過適合を避けるための手段として利用される。 複雑なモデルは過去のデータに対しては高い適合度を示すが、新しいデータに対しては予測精度が低下することがある。これを防ぐために、赤池情報量規準（AIC）や他のモデル選択基準が開発され、モデルの適合度と複雑さのバランスを取ることで、より信頼性の高い予測を可能にしている。
真実と予測精度のバランス
科学的推論の目標としては、仮説やモデルが「真実であること」と「正確な予測を行えること」の二つの側面がある。これら二つの目標は必ずしも一致しない。真実を追求することは科学の理想主義的な側面であり、一方で予測精度の向上は実用主義的な側面である。理想主義的な科学者は、理論が現実を正確に反映することを重視するのに対し、実用主義的な科学者は、理論が実際のデータに基づいて有用な予測を行えることを重視する。
モデル選択理論の新たな視点
モデル選択理論は、この理想主義と実用主義の対立を新たな視点で捉え直す手法である。具体的には、モデル選択基準（例えばAICやBICなど）は、モデルの適合度と複雑さを評価し、真実の追求と予測精度のバランスを取ることを可能にする。これにより、完全に真実でなくとも予測精度が高いモデルを選択することができる。
理想主義と実用主義の融合
モデル選択理論の観点からは、科学的モデルが完全に真実である必要はない。むしろ、モデルがどれだけ予測精度を持つかが重要である。例えば、あるモデルが理想化を含んでいても、そのモデルが新しいデータに対して高い予測精度を持つならば、そのモデルは科学的に有用であると判断される。このように、モデル選択理論は、科学における理想主義と実用主義の融合を目指すものである。
結論
モデル選択理論は、科学的推論において真実と予測精度のバランスを取る新たな視点を提供する。これにより、理想主義と実用主義の対立を解消し、科学的モデルが持つ実際の有用性を評価するための基準を提供することができる。これによって、科学の進歩がより現実的かつ有効な方向に向かうことが期待される。
