醫學研究常用統計指標(3)：統計指標意義、臨界值、應用、舉例與說明

匯東華統計顧問有限公司陳秀敏博士

Amsterdam University Medical Centers麻醉科Patrick Schober教授於2021年發表一篇論文：《Statistics From A (Agreement) to Z (z Score): A Guide to Interpreting Common Measures of Association, Agreement, Diagnostic Accuracy, Effect Size, Heterogeneity, and Reliability in Medical Research》，對對醫學研究中的一些常用統計指標進行淺顯易懂的說明與解釋。有興趣的朋友，能找全文進行閱讀。不過需要提醒的是，本篇文章雖然提供統計檢定結果的典型解讀方式，但並非所有情況都能一體適用。因為臨界值的使用有其本身的限制，且這些值可能會受到特定的臨床或科學環境的影響。

前二輯已先針對meta-analysis常用指標、Coefficient of determination (R²)、Cronbach’s alpha (α)以及Z scores進行介紹，最後一輯針對intraclass correlation (ICC)、kappa statistics與Area under the receiver operating characteristic curve進行說明。

Source:

Schober P, Mascha E, Vetter T. Statistics From A (Agreement) to Z (z Score): A Guide to Interpreting Common Measures of Association, Agreement, Diagnostic Accuracy, Effect Size, Heterogeneity, and Reliability in Medical Research. Anesthesia and Analgesia. 10/11 2021; Publish Ahead of Printdoi:10.1213/ANE.0000000000005773

https://pubmed.ncbi.nlm.nih.gov/34633993/

✅Intraclass correlation（ICC）

當使用共用計量工具，如評分量表的評分者間或評分者內的信度，通常是用ICC係數來量化資料的一致性。至少有10種版本的ICC，如何選擇取決於於多種因素，包括所有評估之評分者是否相同、評分者是否被認為是隨機樣本、主要興趣在個體評分或平均評分、以及在評估絕對或相對一致性。

ICC係數範圍通常介於0到1之間，為個體間（或評分者間）變異與總變異的比值。對ICC值的解釋經常基於Landis & Koch提出的臨界值[1]，或Altman[2]之建議值。然而，這些臨界值對於醫療研究可能過於寬鬆。值得注意的是，這些臨界值最初是為了從差到幾乎完全的一致性對kappa統計進行分類。由於加權的kappa統計量是ICC的特例，因此，以相似的方式解釋ICC和kappa統計量。心理學文獻中指引也建議兩種統計的有共同的解釋，請見表1。表1所建議的臨界值是Landis & Koch[1]及McHugh[2]兩研究建議範圍的折衷。如前所述，Cronbach’s alpha亦為ICC的特例，因此它理應有相同的解釋。然而，由於通常使用ICC與Cronbach’s alpha的上下文差異很大，因此無法將兩者的結果有意義地合併詮釋。

Reference:

[1]Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33:159–174.

[2]Altman DG. Some common problems in medical research. In: Practical Statistics for Medical Research. Chapman & Hall/CRC, 1991:396–439.

[3]McHugh ML. Interrater reliability: the kappa statistic. Biochem Med (Zagreb). 2012;22:276–282.

✅kappa statistics

-----✍-----

Showme補充說明：Kappa statistics可與BMJ小小統計問題(95)：Cohen’s coefficient κ? (Cohen's kappa係數)一併閱讀

-----✍-----

Cohen’s kappa（κ）統計量主要針對兩個評分者（觀察者）將項目分類為互斥類別時，超出偶然期望值的一致性程度進行量化。例如，當兩個考官評定麻醉學住院醫師的考試是否合格時，評分者間的一致性可使用Cohen’s kappa來描述。若超過2個評分者，通常使用Fleiss kappa。Cohen’s kappa的加權版本可用於像美國麻醉醫師協會（ASA）身體狀態分類系統得分的序位項目。而Cohen’s kappa將所有的不一致都視為相同權重，加權的kappa統計量則根據序位尺度上不一致值間的距離差異進行加權。

與ICC同，kappa的上限為+1，表示超出隨機的一致性；但與ICC不同，kappa的下限為-1，表示遠低於隨機期望的一致。當觀察到的一致性與隨機期望的一致性相同時，kappa為0。如前面所述，kappa值與ICC值得解釋相似。然而，要注意kappa統計量不是絕對一致性的衡量，而是量化超出隨機的一致性，因此，它對被評分屬性的盛行率非常敏感。

當盛行率很高時（例如，大多數人在上述範例中通過麻醉學考試），預期的一致性就會很高，因此，儘管觀察到的一致性很好或甚至是出色的，kappa值仍然可能相對較低。由於kappa統計量的特性，以及kappa為實際觀察到的和預期值的一致性函數，所以建議作者報告kappa值時要同時報告類別數量與實際觀察值的和期望值的一致性。

✅Area under the receiver operating characteristic curve (ROC)

-----✍-----

Showme補充說明：ROC及曲線下面積可與BMJ小小統計問題（102）：Receiver operating characteristic curves (ROC curves)一併閱讀

-----✍-----

ROC分析經常用來估計診斷測試的準確性，根據某些連續生物標記的觀察值，被二分為擁有（“患病”）或不擁有（“健康”）狀態。亦即，ROC分析用於評估統計模型預測二元結果的預測性能，例如使用logistic regression模型。ROC曲線是在不同的觀察切點值下，對於連續測量變數，在y軸上繪製真陽性率（敏感性）對x軸上的假陽性率（1-特異性）的圖。

ROC曲線下的面積（AUC），也被稱為一致性統計或c統計，量化診斷的準確性，或二元迴歸模型預測的準確性。AUC為+1表示完美的準確性，0.5對應於隨機機率（拋一枚硬幣來判斷病人為健康或罹病）的分類，而<0.5表示比機會差的準確性。Gorunescu提出解釋的切點值[4]。表1呈現稍微修改以獲得互斥類別的版本。

Reference:

[4]Gorunescu F. Classification performance evaluation. In: Data Mining: Concepts, Models and Techniques. SpringerVerlag, 2011:319–330.

將此三種指標之定義、臨界值、應用、範例與說明整理於表1與表2。

intraclass correlation and kappa statistics與Area under the receiver operating characteristic curve