跳到主要内容

测量系统分析

属性一致性分析

多名评价人对同一批样品打合格、不合格或等级,看组内复判、组间互判以及对照金标准是否比瞎猜更重合。

更新日期 2026-08-29 质量与可靠性

这篇能回答什么

属性一致性分析服务的是标签,不是毫米。外观、焊缝、涂改是否超标,评价人给出合格/不合格或有序等级。它分别报告:同一个人隔日再看是否改口(组内),两个人看同一件是否打架(组间),以及有没有一张金标准答案(对照标准)。原始一致率会把「大家都爱打合格」算进去;Kappa 扣掉按边际乱猜的期望重合。连续卡尺的吵闹程度属于交叉或嵌套 R&R,不要在本页找 σ²。

练习时把英语成绩按 60 分切成及格/不及格,把学号当成样品,把班级当成评价人,把同一学号的多次切分当成复判。花名册按三席记账,不是 F 比:样品席(类别 A)62(16.67%),评价人席(类别 B)42(11.29%),复判席(类别 C)268(72.04%),合计 372。复判席独自超过七成,组内重合估得比较实;评价人席只剩一成一,组间 Kappa 会虚。

什么时候不该用

读数仍是连续分数或尺寸,应回交叉量具R&R,切成 0/1 会丢掉幅度。只要两列评分者、做一篇问卷编码信度,用kappa一致性检验即可,不必上完整的 MSA 属性方案。要监控各批不合格率漂不漂,走P(NP)控制图,那是过程图,不是评价人考核。

如何选择方法

先问结局是标签还是尺子。标签 → 本页(多名评价人、可选标准件)。两名编码员、宽表两列 → Kappa 专页往往够用。尺子 → 交叉或嵌套 R&R。已经有金标准 0/1 还想看连续得分能不能分开两类,那是 ROC,不是属性 MSA。

  • 属性一致性分析:样品 × 评价人 × 复判;一致率、Kappa、可选对照标准。

  • kappa一致性检验:两列定类评分的 Cohen Kappa,不做完整 MSA 占用台账。

  • 交叉 / 嵌套量具R&R:连续读数的重复性与再现性。

  • P(NP)控制图:各批不合格率是否受控,不管是谁判的。

输入、输出与限制

输入

需要样品标识(学号)、评价人标识(班级)和属性判定。教学上用英语成绩是否低于 60 生成合格标记;正式研究应直接采集检验员的判定,不要事后用分数倒推——倒推会让「对照标准」变成同义反复。标准列可选:有则多出「相对金标准」一块。

  • 样品:每个被判对象的标识。

  • 评价人:每名检验员。

  • 判定:合格/不合格或有序等级。

  • 标准值(可选):金标准标签。

输出

教学表只有项目、类别、统计量、取值。类别 A / B / C 是样品席、评价人席、复判席的占用。表里没有 Kappa 数字列,也没有 F。方法定义上还会给出组内一致率、组间 Kappa、对照标准的一致率;那些若出现在别的卡片,按卡片标题读,不要用 72.04% 冒充「全体 Kappa」。

产品限制

  • 评价人席过瘦时,组间系数不稳定。

  • 全体都判合格时,Kappa 的分母 1−P_e 会接近 0。

  • 连续列不会自动变成属性,需要明确的判定规则。

  • 占用 N 是判定条数,不是样品件数。

案例

研究问题。 培训主管想知道:把英语卷按及格线打合格/不合格时,不同班级的「评价人」会不会对同一学号改口,以及他们和教务处的金标准(若有)差多远。

工作表「Sheet1」。样品:学号。评价人:班级。判定:英语成绩与 60 分的相对关系。不要把语文连续分直接丢进判定。本页纳入 372 条判定:样品席 62(16.67%),评价人席 42(11.29%),复判席 268(72.04%)。复判很厚、换人很薄——先相信组内,组间只当线索。

下载教学示例表(定量成绩)

在 StatsX 中操作

  1. 步骤 1 · 上传定量成绩表

    确认「Sheet1」。若你另有真实的合格/不合格列,用那一列,不必再切分数。

  2. 步骤 2 · 生成或核对判定

    练习:英语 < 60 记不合格。画像里确认判定是定类,学号不是测量。

  3. 步骤 3 · 选择属性一致性分析

    目录搜索「属性一致」或「Attribute Agreement」。不要选交叉量具。

  4. 步骤 4 · 指定样品、评价人、判定

    样品=学号,评价人=班级,判定=及格标记。有教务标准列就放进标准角色。运行。

  5. 步骤 5 · 先读席位再读 Kappa

    评价人席若只有一成,先别用组间 Kappa 开除员工。复判席很厚,组内改口更值得盯。

上传成绩表做属性一致性
上传定量成绩,准备把英语切成合格判定。
画像确认英语成绩与班级
英语成绩用来生成判定;班级是评价人,不是缺陷数。
目录中选择属性一致性分析
选定「属性一致性分析」。
指定样品、评价人与属性判定
样品选学号,评价人选班级,判定选及格标记。

如何阅读输出

花名册合计 372。样品席 62(16.67%)说明被判对象并不多;评价人席 42(11.29%)更窄;复判席 268(72.04%)占了七成。组内一致率吃的是复判席,数字会比较稳;组间 Kappa 吃的是评价人席,42 条撑不起「全厂检验员可以互换」这种句子。

属性一致性分析结果表
项目类别统计量取值
属性一致性分析类别 A频数62
属性一致性分析类别 B频数42
属性一致性分析类别 C频数268
属性一致性分析合计有效样本 N372
属性一致性分析类别 A占比(%)16.67
属性一致性分析类别 B占比(%)11.29
属性一致性分析类别 C占比(%)72.04

左右滑动可查看完整表格

教学示例表在 StatsX 工作台中的计算结果口径。

属性一致性占用结果表
核对 N=372 与 16.67 / 11.29 / 72.04,表中没有 Kappa 列也没有 F。
评价人一致或对比图
图上的条或热力以工作台标记为准,引用数字回表。

读法:有没有标准列 → 组内是否改口 → 组间是否打架 → 才谈 Kappa 量级。Landis–Koch 的「中等 / 高度」是经验标签,不是合格线。全体都判合格时,一致率可以很高而 Kappa 接近 0,应同时报两个数。72.04% 只是复判席占比,把它写成「Kappa=0.72」是张冠李戴。

本页也不回答「今天的不合格率有没有漂」。那是 P 图的事。评价人今天集体变严,P 图会出界,本页的组间 Kappa 却可能仍然很高——大家一起错。

理论与公式

两名评价人、两类标签时,观察一致率与期望一致率为:

超过两名评价人时改用 Fleiss Kappa,对每个样品的评价人组合计一致对。对照标准时,把金标准当成固定的一列,分别算每名评价人与标准的 κ 或一致率。有序等级若承认「差一档比差三档轻」,应考虑加权 Kappa。这些系数都不出现在本页占用表的「取值」列里。

SPSS「交叉表 → 统计量 → Kappa」对应两名评价人的 Cohen κ。多名评价人、组内复判、对照标准的整套 MSA 报告,Minitab 的 Attribute Agreement Analysis 更接近本页结构。对不上时先对齐:是否同一批样品、缺失如何删、合格编码是否反了。

注意事项

  • 用分数倒推判定再对照同一条分数当标准,Kappa 会被做出来。

  • 评价人席 11% 时,不要用组间系数做人事处分。

  • 类别极偏时,高一致率可以伴随低 Kappa,两数都要报。

  • 本页不管各批不合格率是否受控。

  • 连续尺寸切一刀再跑本页,损失的幅度信息回不来。

  • 复判必须是盲法再看,对着昨天的记录抄不算重复。

常见问题

参考文献

  • AIAG. Measurement Systems Analysis (MSA). Automotive Industry Action Group.

  • Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement.

  • Fleiss, J. L. Measuring nominal scale agreement among many raters. Psychological Bulletin.

  • Landis, J. R., Koch, G. G. The measurement of observer agreement for categorical data. Biometrics.