Kappa分析(Kappa Analysis)是一種用于評估分類一致性或信度的統(tǒng)計方法,尤其適用于兩名或多名評估者(raters)對同一組對象進行分類時,判斷其一致性是否超出隨機預期。它由Jacob Cohen在1960年提出,常用于醫(yī)學、心理學、社會科學等領域。
核心概念
目的:
衡量評估者之間的一致性(Inter-rater reliability)。
排除單純由隨機因素導致的一致性,提供更嚴格的評估。
Kappa系數(κ):
κ < 0:無一致性。
0-0.20:輕微。
0.21-0.40:一般。
0.41-0.60:中等。
0.61-0.80:高度一致。
0.81-1:幾乎完全一致。
κ = 1:完全一致。
κ = 0:一致性等于隨機預期。
κ < 0:一致性比隨機預期還差(罕見)。
取值范圍:-1 到 1。
一般標準(Landis & Koch, 1977):
破壞性測試中做 Kappa 分析,主要是為了評估不同檢驗人員之間在判斷結果上的一致性,尤其適用于計數型數據(如合格/不合格)。由于樣品在測試過程中會被破壞,無法重復測量,因此方法上有一些特別的設計。以下是常見的做法:
Kappa 分析在破壞性測試中的基本流程
1. 樣本準備
- 通常選取約 50 個樣本,確保覆蓋合格與不合格的情況。
- 樣本應來自同一批次,確保其一致性。
- 每個樣本只能測一次,因此需多人對不同樣本進行盲測。
2. 評價人員安排
- 通常安排 3 位檢驗員,每人獨立判斷所有樣本。
- 每個檢驗員對每個樣本只做一次判斷(因為樣本會被破壞)。
3. 數據記錄與分析
- 記錄每位檢驗員對每個樣本的判斷結果(如 OK/NG)。
- 使用統(tǒng)計軟件(如 Minitab)進行 Kappa 分析,計算一致性指標。
4. Kappa 值解釋
- Kappa > 0.75:一致性良好
- 0.4 < Kappa ≤ 0.75:中等一致性
- Kappa ≤ 0.4:一致性較差,需要改進
Po
:觀察到的實際一致性比例。
Pe:隨機預期下的一致性比例(通過邊際分布計算)。
附加指標(可選)
- 誤判率:將合格品誤判為不合格的比例
- 漏判率:將不合格品誤判為合格的比例
- 有效性:判斷結果與基準一致的比例(建議 ≥90%)
用焊接強度作為例子,我們可以設計一套適用于破壞性測試的 Kappa 分析方案。這里的關鍵在于,雖然每個試樣只能被測一次,我們仍然可以通過合理的抽樣和評價人員分配來進行一致性分析。
焊接強度破壞性測試中的 Kappa 分析步驟
1. 樣本準備
- 準備約 50~60 個焊接樣本,覆蓋強度差異較明顯的區(qū)間(包括“合格”與“不合格”邊緣案例)。
- 樣品來自相同材料和工藝條件,以排除其他變量干擾。
2. 判定標準設定
- 明確合格判定的強度閾值(例如 ≥180N 被判定為合格)。
- 如使用“拉力破斷”法,可設置“斷裂載荷”作為主要判斷依據。
3. 評價方式(采用照片或視頻)
- 由于測試具有破壞性,可在施加拉力前拍攝高分辨圖像或錄像焊點。
- 測試完成后,采集殘余結構和斷面圖像。
- 讓多位檢驗員僅根據圖像對焊點是否“合格/不合格”作出判斷。
4. 數據收集與分析
- 建立一個判斷矩陣:列出每個檢驗員對所有樣本的判斷。
- 使用統(tǒng)計工具(如 Minitab、Excel 插件、Python 等)計算 Cohen’s Kappa 或 Fleiss’ Kappa(如檢驗員超過 2 人)。
5. 結果解釋與改進建議
- 若 Kappa < 0.4,應優(yōu)化培訓、判定標準、圖像清晰度等環(huán)節(jié)。
- 可進行再次盲測驗證改進效果。
小貼士
- 圖像必須具備足夠判讀性,包括:焊點大小、氣孔/裂紋情況、變形區(qū)域等。
- 若有機器讀數(如測試設備輸出數值),也可對比“主觀判斷”與“數值標準”的符合性。