メモ。名義尺度判断の一致率の尺度。ノンパラメトリックな手法。
(κ 統計量、the Kappa Statistics、the Kappa coefficient)
- -
判定者の判断の一致度を計る。
- -
例)日本語母語話者による英語の単語の発音を英語母語話者に判断してもらう。 (理解不能：1、理解可だが不適切：2、適切：3) その際に、判断に客観性を持たせるために、二人に判断してもらい、かつ、二人の判断が偶然ではなく一致しているということを示す。
判断の一致率の出し方
全体で16個ありそのうち、一致しているのが12個なので、12/16 = 0.75
偶然の一致率の出し方
Aの人が1と判断するのは16回中2回だけ。Bの人は3回。
Aの人の判断の割合(2/16=0.125)とBの人の判断の割合(3/16=0.187)を掛け合 わせると偶然の一致率が出る。
0.125 x 0.187 = 0.023
これを2と判断する場合にも同様に計算
(12/16) x (10/16) = 0.75 x 0.625 = 0.468
同様に3についても計算
(2/16) x (3/16) = 0.125 x 0.187 = 0.023
1の場合、2の場合、3の場合、すべての偶然の一致率を足すと全体の偶然の 一致率が出る
0.023 + 0.468 + 0.023 = 0.514
計算結果
判断の一致率 - 偶然の一致率
K = ---------------------------
1 - 偶然の一致率0.75 - 0.514
= ------------
1 - 0.5140.236
= ------
0.486= 0.485 (下の判定より中程度の一致率と言える)
一致率の判定
もちろんこれは高ければ高い程良い。できれば、0.8 以上はほしい。
0.0-----0.4-------0.6--------0.8-------1.0
低い 中程度 かなり ほぼ完全
計算方法をお勉強。評価者間信頼性を測る時の統計量として使われるようだ。
