William M.K. Trochimさんによる解説から。
MTMM matrixとは？
Multitraitit-Multimethod Matrix（以下、MTMM）は、研究における一連の測定値の構成概念の妥当性を評価するための手法である。1959年にCampbellとFiskeによって開発された（Campbell & Fiske, 1959)。研究者が実際に使用できる実用的な方法論を提供しようとしたこともあった（理論的には有用だが方法論が含まれていないノモロジカルネットワークの考え方とは対照的である）。CampbellとFiskeは、MTMMとともに、構成概念の妥当性の下位分類として、収束的妥当性と弁別的妥当性という2つの妥当性を新たに導入した。収束的妥当性とは、理論的には関連しているはずの概念が、現実には相互に関連している度合いのことである。弁別的妥当性とは、理論的には関連しないはずの概念が、実際には相互に関連していないという程度のことである。MTMMでは、収束的妥当性と弁別的妥当性の両方を評価することができる。自身の尺度が構成概念妥当性を持っていると主張するためには、収束性と弁別性の両方を示さなければならない。
monomethod blocks: モノメソッドブロック validity diagonals: 妥当な対角線 heteromethod blocks: ヘテロメソッドブロック heterotrait-heteromethod triangles: ヘテロトレイト・ヘテロメッソドの三角形 heterotrait-monomethod triangles: ヘテロトレイト・モノメソッドの三角形 reliability diagonal: 信頼性の対角線
- Campbell, D. T., & Fiske, D. W. (1959). Convergent and Discriminant Validation by the Multitrait-Multimethod Matrix. Psychological Bulletin, 56, 81-105. http://dx.doi.org/10.1037/h0046016
MTMMは、構成概念の妥当性評価の解釈を容易にするために配置された、単なる相関関係のマトリックスまたは表である。MTMMは，いくつかの概念（CampbellとFiskeは特性traitsと呼んだ）のそれぞれを，いくつかの方法（紙と鉛筆のテスト，直接観察，パフォーマンス測定など）で測定することを前提としている。MTMMは非常に限定的な方法論であり，理想的にはそれぞれの概念をそれぞれの方法で測定する必要がある。
MTMMを構築するためには、相関行列を手法の中の概念ごとに並べる必要がある。図は、3つの概念（特性A、B、C）をそれぞれ3つの異なる方法（1、2、3）で測定した場合のMTMMを示している。基本的に、MTMMは測定法の間の単なる相関行列であるが、1つの例外がある。（一般的な相関行列のように）対角線に沿って1を置く代わりに、各測定法の信頼性の推定値を対角線に置き換える。
MTMMを解釈する前に、行列のさまざまな部分を弁別する方法を理解する必要がありる。まず、このマトリックスは相関関係だけで構成されていることに注意してほしい。正方形の対称行列なので、半分だけ見ればいいのである（図では下側の三角形を示している）。次に、これらの相関関係は、「対角線」「三角形」「ブロック」の3種類の形に分類できる。具体的な形としては：
信頼性対角線(monotrait-monomethod)
マトリックス内の各測定値の信頼性を推定する。信頼性は多くの異なる方法で推定することができる（例：試験再試験、内部一貫性）。信頼性の対角線上には、測定値の数だけ相関関係がある。この例では、9つの測定値と9つの信頼性があるす。この例の最初の信頼性は、「特性A、方法1」と「特性A、方法1」の相関である（以下、この関係を「A1-A1」と略します）。これは本質的に、測定値と測定値自身の相関であることに注意してほしい。実際には、このような相関は常に完全（つまりr=1.0）である。代わりに、信頼性の推定値を代入する。これらの値は、単項目と単項目の相関関係と考えることもできる。
妥当性の対角線（monotrait-heteromethod）
異なる方法で測定された同一特性の測定値の間の相関関係。MTMMは方法ブロックで構成されているので、各方法ブロックに1つの有効性対角線が存在する。たとえば，A1-A2の相関が0.57であることに注目してほしい。これは，2つの異なる測定法（1と2）で測定された同じ特性（A）の2つの測定法の相関である。この2つの測定値は同じ特性や概念を表すものなので、強い相関があると考えられる。これらの値は、monotrait-heteromethodの相関と考えることもできる。
ヘテロ・トレード・モノメソッド三角(The Heterotrait-Monomethod Triangles)
これは、同じ測定方法を共有する尺度間の相関である。例えば、左上のheterotrait-monomethodの三角形では、A1-B1 = 0.51である。これらの相関が共有しているのは方法であり、特性や概念ではないことに注意してください。これらの相関が高いということは、異なるものを同じ方法で測定すると相関のある測定値になるからである。もっとわかりやすく言えば、「方法」の要素が強いということだ。
ヘテロトレイト・ヘテロメソッド三角(Heterotrait-Heteromethod Triangles)
特性と方法の両方が異なる相関関係である。例えば、例ではA1-B2は0.22です。一般的に、これらの相関は特性も方法も共有していないので、マトリックスの中で最も低い相関になると予想される。
モノメソッド・ブロック(The Monomethod Blocks)
このブロックは、同じ測定方法を採用しているすべての相関関係で構成されている。ブロックの数は、測定方法の数だけある。
ヘテロ・メソッド・ブロック(The Heteromethod Blocks)
これらは、同じ手法を共有しないすべての相関関係で構成されている。このようなブロックは(K(K-1))/2あり、Kはメソッドの数です。この例では、3つの方法があるので、(3(3-1))/2 = (3(2))/2 = 6/2 = 3つのブロックがある。
解釈の原則
MTMMのさまざまな部分を弁別できるようになったところで、MTMMを解釈するためのルールを理解し始めることができる。MTMMの解釈には、研究者の判断が必要であることを理解する必要がある。MTMMではいくつかの原則に違反しているかもしれないが、それでもかなり強い構成概念の妥当性があると結論づけることになるかもしれない。言い換えれば、応用研究の場では、構成概念の妥当性を裏付ける証拠があっても、必ずしもこれらの原則を完全に守ることはできないということである。私にとって、MTMMの解釈は、医師がレントゲンを読むのとよく似ている。熟練した目は、初心者が見落としているものをしばしば発見することができる。MTMMを使いこなしている研究者は、構成概念の妥当性を評価するだけでなく、測定の弱点を特定するためにもMTMMを使用することができる。
原理をより具体的に説明するために、もう少し現実的な例を挙げてみよう。小学校6年生を対象とした調査を実施することになり、3つの特性や概念を測定したいと想像する。自己肯定感（SE）、自己開示（SD）、統制の所在（LC）である。さらに、それぞれを「紙と鉛筆」、「教師の評価」、「親の評価」の3つの方法で測定してみる。その結果をMTMMに並べてみた。原理原則が示されているので，MTMMの中から適切な係数を見つけ出し，構成概念の妥当性の主張の強さを自分で判断してみてほしい。
MTMMの基本的な原則やルールは次のとおりである。
信頼性対角線上の係数は、行列の中で常に最も高い値を示すはずである。つまり、ある特性は、他の何かというよりも、自分自身とより高い相関を持つべきなのである。これは、この例では一様に当てはまる。
妥当性の対角線上の係数は、ゼロから有意に異なり、さらなる調査を必要とするほど高いはずである。これは本質的に収束的妥当性の証拠である。この例では、すべての相関関係がこの基準を満たしている。
妥当性係数は、同じヘテロ・メソッド・ブロックのその列と行にある値よりも高くなければならない。つまり、(SE P&P)-(SE Teacher)は、(SE P&P)-(SD Teacher)、(SE P&P)-(LC Teacher)、(SE Teacher)-(SD P&P)、(SE Teacher)-(LC P&P)よりも大きくなければならない。これは、この例ではすべてのケースで当てはまる。
妥当性係数は，ヘテロ・トレイト・ヘテロ・メソッド三角形の中のすべての係数よりも高くなければならない。これは本質的に、特性因子が方法因子よりも強いはずであることを強調している。しかし、この例ではすべてのケースでそうではないことに注意してほしい。例えば、(LC P&P)-(LC Teacher)の相関は0.46で、(SE Teacher)-(SD Teacher)、(SE Teacher)-(LC Teacher)、(SD Teacher)-(LC Teacher)よりも小さく、特に教師の観察方法に方法因子がある可能性を示している。
特性の相互関係の同じパターンが、すべての三角形に見られるべきである。この例は明らかにこの基準を満たしている。すべてのトライアングルにおいて、SE-SDの関係は、LCを含む関係の約2倍であることに注目してほしい。
MTMMの長所と短所
MTMMの考え方は、構成概念の妥当性を評価するための運用方法を提供するものである。1つのマトリックスで収束性と弁別性の両方を同時に検討することができる。また、CampbellとFiskeは、特性と対等に手法を含めることで、何を測定するかだけでなく、どのように測定するかの影響を調べることの重要性を強調した。また、MTMMは構成概念の妥当性を評価するための厳密な枠組みを提供した。
これらの利点にもかかわらず、MTMMは1959年に導入されて以来、ほとんど使用されていない。理由はいくつかあるす。第一に、MTMMの最も純粋な形は、完全に交差した測定デザインであることを必要とする。すなわち、いくつかの特性のそれぞれが、いくつかの方法のそれぞれによって測定される形である。CampbellとFiskeは、不完全な測定デザインもあり得ることを明確に認識していたが、同じ特性を複数の方法で再現することの重要性を強調していた。応用研究の文脈では、すべての特性をすべての望ましい方法で測定することが不可能な場合がある。ほとんどの応用社会研究では、研究デザインの一部として方法を明確にすることは、実現不可能であった。多くの研究者は、信頼性係数に相当する、テスト可能な単一の統計的係数をもたらす構成概念の妥当性のテストを求めていた。MTMMでは、研究における構成概念の妥当性の度合いを定量化することは不可能であった。最後に、MTMMの判断材料としての性質は、異なる研究者が異なる結論を正当に導き出すことを意味する。
改良型MTMM - メソッド・ファクターを省く
前述したように、MTMMの実施面で最も難しい点は、特性と方法の両方のすべての組み合わせを含むデザインを必要としたことである。しかし、収束的妥当性や弁別的妥当性の考え方では、手法の要素は必要はない。このことを理解するためには、CampbellとFiskeが言った収束的妥当性と弁別的妥当性の意味を再考する必要がある。
収束性とは何か？
収束的妥当性とは，理論的に類似した構成要素の測定値が高い相互相関を持つべきであるという原則である。例えば、自尊心を測るために作られた4項目の尺度のように、複数の項目を持つ尺度を考えることで、この考えをさらに発展させることができる。各項目が実際に自尊心という構成概念を反映しているとすれば、図のように項目間に高い相互相関があると考えられる。このような強い相互相関は、収束的妥当性を支持する証拠となる。
判別的妥当性とは何か？
弁別的妥当性とは，理論的に異なる構成概念の測定値は，互いに高い相関を示してはならないという原則である。このことは、自尊心と統制の所在という2つの構成概念をそれぞれ2つの測定器で測定した例で見ることができる。これらは異なる構成概念の測定であるため、図に示すように、構成概念間の相関は低いことが予想される。このような低い相関は、妥当性の証拠である。最後に、これらをまとめて、収束的妥当性と弁別的妥当性の両方に同時に対処する方法を見てみよう。ここでは、自尊心と統制の所在という2つの構成要素を、それぞれ3つの機器で測定している。赤と緑の相関は、構成概念内のものである。これらは収束的妥当性の反映であり、強いはずである。青色の相関は構造間の相関で、判別的妥当性を反映している。これらは収束係数よりも一様に低いはずである。
このマトリックスで注目すべき重要な点は、真のMTMMのようにメソッド因子を明示的に含んでいないことである。このマトリックスは、収束性と判別性の両方を調べるが（MTMMのように）、明示的に構成要素の内的および相互的な関係だけを調べる。この例から、MTMMのアイデアには2つの大きなテーマがあったことがわかる。1つ目は、収束と弁別のパターンを同時に見るという考え方である。この考え方は、ノモロジカル・ネットワークに内包されている概念と目的が似ている。つまり、ノモロジカル・ネットワークの理論に基づいて、相互関係のパターンを見ているのです。MTMMの2つ目のアイデアは、潜在的な交絡因子としてのメソッドを重視することだった。
方法が結果を混乱させることはあっても、どの研究でもそうなるとは限らない。また、方法論的な要因の可能性について結果を検証する必要があるが、交絡を評価したいという欲求と構成概念の妥当性を評価したいという欲求を組み合わせると、1つの方法論では対応しきれないことがある。おそらく、この2つの課題を分けて考えれば、収束的妥当性と弁別的妥当性を検討できる可能性が高くなるだろう。しかし、方法論的な要因はどうすればいいのか？一つの方法としては、一つの研究に方法論のテストを組み込むのではなく、研究プロジェクトを複製することで対処することができる。したがって、いくつかの測定法を用いた研究で特定の結果が得られた場合、同じ構成要素について異なる測定法や測定方法を用いて研究を再現したときに、同じ結果が得られるかどうかを確認することができる。測定法の問題は，構成概念の妥当性の問題というよりも，（測定法を超えた）一般化の問題として考えられている。
このように考えると，MTMMの考え方から，収束的妥当性と弁別的妥当性，ひいては構成概念の妥当性を検討することができる多特性マトリックスの考え方に移行したことになる。このように、方法の明示的な検討から離れ、収束性と弁別性を程度の違いとして捉え始めると、本質的には、構成概念の妥当性を評価するパターン・マッチング・アプローチの基礎ができあがることがわかる。
