重みづけκ係数

コーエンのκ係数(Cohen's kappa)の拡張版である。。

重みづけκ係数の使いどころ

Cohen's kappaはセルの完全一致を指標化したものである。

例えば、こちらの例のように評価者が精神疾患の評価をして
1. Depression
2. Personality Disorder
3. Schizophrenia
4. Neurosis
5. Other
とする場合「1.Depression」と「3. Schizophrenia」は質的に違うもので区別すべきものである。

一方で、あなたは「計画通りに行動する」かどうか聞かれて、
1.そう思う
2.ややそう思う
3.あまりそう思わない
4.そう思わない
という4件法で聞いたとする。
2時点で回答して、1時点目が1、2時点目で2と答えたとすると、Cohen's kappaでは一致をしていないと判断されるが、回答がズレることもあるので、一致してないと断ずるのは感覚的におかしい気がする。

1時点目で「1.そう思うと答えて」、2時点目で「4.そう思わない」と答えたとすると、それは一致していないと考えられるが、Cohen's kappaは1時点目で1という回答であれば、2時点目で2でも3でも4でも不一致とする。このあたりを柔軟にとらえるのが重みづけκ係数の考え方である。

重みづけのκ係数の種類

Cicchetti-Allisonの重みづけ

Cicchetti and Allison(1971)。個々の評価の偏差に比例する。線形の重み。

 W_ij = 1-(|i-j|)/(R-1)

Fleiss-Cohen weightsの重みづけ

Fleiss and Cohen(1973)。個々の評価の偏差の2乗に比例する。2次重み。

[tex: W_ij = 1-(|i-j|)2/(R-1)2]

Cicchetti-Allisonの重みづけ

            Doctor2
 Doctor1     Stade I Stade II Stade III Stade IV
   Stade I   1       2/3      1/3       0       
   Stade II  2/3     1        2/3       1/3     
   Stade III 1/3     2/3      1         2/3     
   Stade IV  0       1/3      2/3       1

Fleiss-Cohen weightsの重みづけ

           Doctor2
Doctor1     Stade I Stade II Stade III Stade IV
  Stade I   1       8/9      5/9       0       
  Stade II  8/9     1        8/9       5/9     
  Stade III 5/9     8/9      1         8/9     
  Stade IV  0       5/9      8/9       1

重みづけの値の違い

DIFFERENCE LINEAR QUADRATIC
0 1 1
1 0.66 0.89
2 0.33 0.55
3 0 0

文献

  • Cohen, J. 1968. “Weighted Kappa: Nominal Scale Agreement with Provision for Scaled Disagreement or Partial Credit.” Psychological Bulletin 70 (4): 213—220. doi:10.1037/h0026256.
  • Fleiss, Joseph L., and Jacob Cohen. 1973. “The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability.” Educational and Psychological Measurement 33 (3): 613–19. doi:10.1177/001316447303300309.
  • Cicchetti, Domenic V., and Truett Allison. 1971. “A New Procedure for Assessing Reliability of Scoring Eeg Sleep Recordings.” American Journal of EEG Technology 11 (3). Taylor; Francis: 101–10. doi:10.1080/00029238.1971.11080840.