級内相関[R] - 井出草平の研究ノート

級内相関(intraclass correlation coefficients: ICC)連続変数における評価者内・評価者間の信頼性の指標である。

ICCにはShrout and Fleiss(1979)によるとCase1，Case2，Case3の3種類がある。

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing reliability. Psychological Bulletin, 86, 420-428.

Case1

評価者内信頼性を表す，ICC（1，1）やICC（1，k）と表す。一方向のランダム効果であり、各被験者は、ランダムに選択されたk人の評価者の異なるセットによって測定される

Case2

評価者間信頼性を表す，ICC（2，1）やICC（2，k）と表す。双方向ランダム効果であり、k人の評価者がランダムに選択され、各被験者は同じk人の評価者のセットによって測定される。

Case3

評価者者間信頼性を表す，ICC（3，1）やICC（3，k）
双方向混合効果であり、k個の固定評価者が定義されている。各被験者は、k人の評価者によって測定される。

Rのコード

irrパッケージを利用する。

library(irr)
data(anxiety)
head(anxiety)

データ。

  rater1 rater2 rater3
1      3      3      2
2      3      6      1
3      3      4      4
4      4      6      4
5      5      2      3
6      5      4      2

ICC(1)

デフォルトはICC(1)である。

icc(anxiety)

出力

   Model: oneway 
   Type : consistency 

   Subjects = 20 
     Raters = 3 
     ICC(1) = 0.175
     
 F-Test, H0: r0 = 0 ; H1: r0 > 0 
   F(19,40) = 1.64 , p = 0.0939 

 95%-Confidence Interval for ICC Population Values:
  -0.077 < ICC < 0.484

ICC(2)

icc(anxiety, model="twoway", type="consistency")

出力。

   Model: twoway 
   Type : consistency 

   Subjects = 20 
     Raters = 3 
   ICC(C,1) = 0.216

ICC(3)

icc(anxiety, model="twoway", type="agreement")

出力。

   Model: twoway 
   Type : agreement 

   Subjects = 20 
     Raters = 3 
   ICC(A,1) = 0.198

信頼区間

信頼区間を変更することもできる。通常は95%信頼区間が出力される。

icc(anxiety,  conf.level = 0.90)

出力。

 90%-Confidence Interval for ICC Population Values:
  -0.041 < ICC < 0.436

測定回数

単一測定：実験では複数の測定が行われるが、信頼性は単一測定者の単一測定が行われる時に適用される。平均値：各被験者について、複数の評価者の測定値を平均する場合に信頼性を適用する。

単一測定の場合。デフォルト値である。

icc(anxiety,  unit = "single")

出力

   Subjects = 20 
     Raters = 3 
     ICC(1) = 0.175

平均値測定の場合。複数回の測定のため、このデータではICC(3)として解釈される。

icc(anxiety,  unit = "average")

解釈

Cicchetti (1994)

Less than 0.40—poor.
Between 0.40 and 0.59—fair.
Between 0.60 and 0.74—good.
Between 0.75 and 1.00—excellent.

Cicchetti DV (1994). "Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology". Psychological Assessment. 6 (4): 284–290. doi:10.1037/1040-3590.6.4.284.

Koo and Li (2016）

below 0.50: poor
between 0.50 and 0.75: moderate
between 0.75 and 0.90: good
above 0.90: excellent

Koo TK, Li MY (June 2016). "A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research". Journal of Chiropractic Medicine. 15 (2): 155–63. doi:10.1016/j.jcm.2016.02.012.

SPSSヘルプ

次のように書かれてある。

級内相関係数の基準について

0.00 - 0.20 わずかに一致
0.21 - 0.40 まずまず一致
0.41 - 0.60 適当に一致
0.61 - 0.80 かなり一致
0.81 - 1.00 ほぼ一致

おそらくLandis and Koch (1977)が出典であろう。

Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1):159-174.　https://www.ncbi.nlm.nih.gov/pubmed/843571

参考

村山航「級内相関係数についての覚書」
https://koumurayama.com/koujapanese/intraclass.pdf

Intraclass correlation - wikipedia
https://en.wikipedia.org/wiki/Intraclass_correlation