コーエンのκ係数(Cohen's kappa)の拡張版である。。
重みづけκ係数の使いどころ
Cohen's kappaはセルの完全一致を指標化したものである。
例えば、こちらの例のように評価者が精神疾患の評価をして
1. Depression
2. Personality Disorder
3. Schizophrenia
4. Neurosis
5. Other
とする場合「1.Depression」と「3. Schizophrenia」は質的に違うもので区別すべきものである。
一方で、あなたは「計画通りに行動する」かどうか聞かれて、
1.そう思う
2.ややそう思う
3.あまりそう思わない
4.そう思わない
という4件法で聞いたとする。
2時点で回答して、1時点目が1、2時点目で2と答えたとすると、Cohen's kappaでは一致をしていないと判断されるが、回答がズレることもあるので、一致してないと断ずるのは感覚的におかしい気がする。
1時点目で「1.そう思うと答えて」、2時点目で「4.そう思わない」と答えたとすると、それは一致していないと考えられるが、Cohen's kappaは1時点目で1という回答であれば、2時点目で2でも3でも4でも不一致とする。このあたりを柔軟にとらえるのが重みづけκ係数の考え方である。
重みづけのκ係数の種類
Cicchetti-Allisonの重みづけ
Cicchetti and Allison(1971）。個々の評価の偏差に比例する。線形の重み。
Fleiss-Cohen weightsの重みづけ
Fleiss and Cohen(1973)。個々の評価の偏差の2乗に比例する。2次重み。
[tex: W_ij = 1-(|i-j|)2/(R-1)2]
Cicchetti-Allisonの重みづけ
Doctor2 Doctor1 Stade I Stade II Stade III Stade IV Stade I 1 2/3 1/3 0 Stade II 2/3 1 2/3 1/3 Stade III 1/3 2/3 1 2/3 Stade IV 0 1/3 2/3 1
Fleiss-Cohen weightsの重みづけ
Doctor2 Doctor1 Stade I Stade II Stade III Stade IV Stade I 1 8/9 5/9 0 Stade II 8/9 1 8/9 5/9 Stade III 5/9 8/9 1 8/9 Stade IV 0 5/9 8/9 1
重みづけの値の違い
| DIFFERENCE | LINEAR | QUADRATIC |
|---|---|---|
| 0 | 1 | 1 |
| 1 | 0.66 | 0.89 |
| 2 | 0.33 | 0.55 |
| 3 | 0 | 0 |
文献
- Cohen, J. 1968. “Weighted Kappa: Nominal Scale Agreement with Provision for Scaled Disagreement or Partial Credit.” Psychological Bulletin 70 (4): 213—220. doi:10.1037/h0026256.
- Fleiss, Joseph L., and Jacob Cohen. 1973. “The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability.” Educational and Psychological Measurement 33 (3): 613–19. doi:10.1177/001316447303300309.
- Cicchetti, Domenic V., and Truett Allison. 1971. “A New Procedure for Assessing Reliability of Scoring Eeg Sleep Recordings.” American Journal of EEG Technology 11 (3). Taylor; Francis: 101–10. doi:10.1080/00029238.1971.11080840.
