测量系统分析
属性一致性分析
多名评价人对同一批样品打合格、不合格或等级,看组内复判、组间互判以及对照金标准是否比瞎猜更重合。
这篇能回答什么
属性一致性分析服务的是标签,不是毫米。外观、焊缝、涂改是否超标,评价人给出合格/不合格或有序等级。它分别报告:同一个人隔日再看是否改口(组内),两个人看同一件是否打架(组间),以及有没有一张金标准答案(对照标准)。原始一致率会把「大家都爱打合格」算进去;Kappa 扣掉按边际乱猜的期望重合。连续卡尺的吵闹程度属于交叉或嵌套 R&R,不要在本页找 σ²。
练习时把英语成绩按 60 分切成及格/不及格,把学号当成样品,把班级当成评价人,把同一学号的多次切分当成复判。花名册按三席记账,不是 F 比:样品席(类别 A)62(16.67%),评价人席(类别 B)42(11.29%),复判席(类别 C)268(72.04%),合计 372。复判席独自超过七成,组内重合估得比较实;评价人席只剩一成一,组间 Kappa 会虚。
什么时候不该用
读数仍是连续分数或尺寸,应回交叉量具R&R,切成 0/1 会丢掉幅度。只要两列评分者、做一篇问卷编码信度,用kappa一致性检验即可,不必上完整的 MSA 属性方案。要监控各批不合格率漂不漂,走P(NP)控制图,那是过程图,不是评价人考核。
如何选择方法
先问结局是标签还是尺子。标签 → 本页(多名评价人、可选标准件)。两名编码员、宽表两列 → Kappa 专页往往够用。尺子 → 交叉或嵌套 R&R。已经有金标准 0/1 还想看连续得分能不能分开两类,那是 ROC,不是属性 MSA。
属性一致性分析:样品 × 评价人 × 复判;一致率、Kappa、可选对照标准。
kappa一致性检验:两列定类评分的 Cohen Kappa,不做完整 MSA 占用台账。
交叉 / 嵌套量具R&R:连续读数的重复性与再现性。
P(NP)控制图:各批不合格率是否受控,不管是谁判的。
输入、输出与限制
输入
需要样品标识(学号)、评价人标识(班级)和属性判定。教学上用英语成绩是否低于 60 生成合格标记;正式研究应直接采集检验员的判定,不要事后用分数倒推——倒推会让「对照标准」变成同义反复。标准列可选:有则多出「相对金标准」一块。
样品:每个被判对象的标识。
评价人:每名检验员。
判定:合格/不合格或有序等级。
标准值(可选):金标准标签。
输出
教学表只有项目、类别、统计量、取值。类别 A / B / C 是样品席、评价人席、复判席的占用。表里没有 Kappa 数字列,也没有 F。方法定义上还会给出组内一致率、组间 Kappa、对照标准的一致率;那些若出现在别的卡片,按卡片标题读,不要用 72.04% 冒充「全体 Kappa」。
产品限制
评价人席过瘦时,组间系数不稳定。
全体都判合格时,Kappa 的分母 1−P_e 会接近 0。
连续列不会自动变成属性,需要明确的判定规则。
占用 N 是判定条数,不是样品件数。
案例
研究问题。 培训主管想知道:把英语卷按及格线打合格/不合格时,不同班级的「评价人」会不会对同一学号改口,以及他们和教务处的金标准(若有)差多远。
工作表「Sheet1」。样品:学号。评价人:班级。判定:英语成绩与 60 分的相对关系。不要把语文连续分直接丢进判定。本页纳入 372 条判定:样品席 62(16.67%),评价人席 42(11.29%),复判席 268(72.04%)。复判很厚、换人很薄——先相信组内,组间只当线索。
在 StatsX 中操作
步骤 1 · 上传定量成绩表
确认「Sheet1」。若你另有真实的合格/不合格列,用那一列,不必再切分数。
步骤 2 · 生成或核对判定
练习:英语 < 60 记不合格。画像里确认判定是定类,学号不是测量。
步骤 3 · 选择属性一致性分析
目录搜索「属性一致」或「Attribute Agreement」。不要选交叉量具。
步骤 4 · 指定样品、评价人、判定
样品=学号,评价人=班级,判定=及格标记。有教务标准列就放进标准角色。运行。
步骤 5 · 先读席位再读 Kappa
评价人席若只有一成,先别用组间 Kappa 开除员工。复判席很厚,组内改口更值得盯。




如何阅读输出
花名册合计 372。样品席 62(16.67%)说明被判对象并不多;评价人席 42(11.29%)更窄;复判席 268(72.04%)占了七成。组内一致率吃的是复判席,数字会比较稳;组间 Kappa 吃的是评价人席,42 条撑不起「全厂检验员可以互换」这种句子。
| 项目 | 类别 | 统计量 | 取值 |
|---|---|---|---|
| 属性一致性分析 | 类别 A | 频数 | 62 |
| 属性一致性分析 | 类别 B | 频数 | 42 |
| 属性一致性分析 | 类别 C | 频数 | 268 |
| 属性一致性分析 | 合计 | 有效样本 N | 372 |
| 属性一致性分析 | 类别 A | 占比(%) | 16.67 |
| 属性一致性分析 | 类别 B | 占比(%) | 11.29 |
| 属性一致性分析 | 类别 C | 占比(%) | 72.04 |
左右滑动可查看完整表格
教学示例表在 StatsX 工作台中的计算结果口径。


读法:有没有标准列 → 组内是否改口 → 组间是否打架 → 才谈 Kappa 量级。Landis–Koch 的「中等 / 高度」是经验标签,不是合格线。全体都判合格时,一致率可以很高而 Kappa 接近 0,应同时报两个数。72.04% 只是复判席占比,把它写成「Kappa=0.72」是张冠李戴。
本页也不回答「今天的不合格率有没有漂」。那是 P 图的事。评价人今天集体变严,P 图会出界,本页的组间 Kappa 却可能仍然很高——大家一起错。
理论与公式
两名评价人、两类标签时,观察一致率与期望一致率为:
超过两名评价人时改用 Fleiss Kappa,对每个样品的评价人组合计一致对。对照标准时,把金标准当成固定的一列,分别算每名评价人与标准的 κ 或一致率。有序等级若承认「差一档比差三档轻」,应考虑加权 Kappa。这些系数都不出现在本页占用表的「取值」列里。
SPSS「交叉表 → 统计量 → Kappa」对应两名评价人的 Cohen κ。多名评价人、组内复判、对照标准的整套 MSA 报告,Minitab 的 Attribute Agreement Analysis 更接近本页结构。对不上时先对齐:是否同一批样品、缺失如何删、合格编码是否反了。
注意事项
用分数倒推判定再对照同一条分数当标准,Kappa 会被做出来。
评价人席 11% 时,不要用组间系数做人事处分。
类别极偏时,高一致率可以伴随低 Kappa,两数都要报。
本页不管各批不合格率是否受控。
连续尺寸切一刀再跑本页,损失的幅度信息回不来。
复判必须是盲法再看,对着昨天的记录抄不算重复。
常见问题
参考文献
AIAG. Measurement Systems Analysis (MSA). Automotive Industry Action Group.
Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement.
Fleiss, J. L. Measuring nominal scale agreement among many raters. Psychological Bulletin.
Landis, J. R., Koch, G. G. The measurement of observer agreement for categorical data. Biometrics.