相关性分析
kappa一致性检验
检验两名（或多名两两）评分者对同一批对象的定类判定，是否比「各按自己的边际瞎猜」更重合。
这篇能回答什么
Cohen’s Kappa 问的是：两列定类评分贴在同一批对象上，观察到的一致格子，比按照两列各自的类别占比随机交叉，多出了多少。原始重合率会把「大家都爱打 5 分」算进去；Kappa 把这份偶然频率减掉，得到 −1 到 1 之间的系数。0 表示没有超出随机的重合，1 表示完全一致。
适合：两位医生给影像阴阳性、两位编码员给开放题归类、两位评委给作品打等级。教学示例工作表「raters」里的「评分者1」「评分者2」就是这种宽表——一行一个对象，两列各是一名评分者的 1–5 分判定。量表内部多题是否同向，应改用信度分析；多名评分者的定量分、还要拆评分者间 / 评分者内方差，应看组内相关系数。
什么时候不该用
两列连续成绩的共变不是 Kappa，应走 Pearson 或秩相关。两列无序类别若问的是「有没有关联」而不是「判定是否重合」，用卡方检验。同一人前后两次 0/1 是配对设计，不是两名评分者，应走配对卡方。只有一列评分无法计算。
如何选择方法
先分清「两个人给同一个对象贴标签」还是「一组题目测同一个构念」。前者用 Kappa（定类）或 ICC（定量重复）；后者用 Cronbach α。标签有序且你承认「差一档比差三档轻」，应考虑加权 Kappa，而不是把 1 与 5 的冲突和 4 与 5 的冲突等权。只想看交叉格子人数，先做列联表。
kappa一致性检验：2–10 个定类评分列，输出两两 Kappa、标准误、z、p。
Cronbach α：多道量表题的内部一致性，不是评分者重合。
ICC：同一对象多次定量分的方差分量信度。
卡方 / 列联表：类别关联，不校正「瞎猜也会碰上」的基线。
输入、输出与限制
输入
评分变量须为定类（或已当成类别的有序等级），至少两列，且应对齐同一批对象。文本设计示例请打开工作表「raters」，列名为评分者1、评分者2。
评分变量：最少 2 个，最多 10 个定类列。
三列及以上时按两两配对各算一条 Kappa，不会自动给出 Fleiss 多评分者系数。
输出
结果表列：配稳项、Kappa值、标准误差、z、P值。配稳项用「甲配对乙」标明是哪两列。另有一致性格子的可视化与文字洞察。
产品限制
本过程报告的是 Cohen Kappa（未加权），1 与 5 的冲突和 4 与 5 的冲突等权。
类别水平必须两列共享同一套编码；一边用「优/良」、一边用 1–5，会对不齐。
某一类别在两列都从未出现时，该行该列不进入边际。
星号只标记 p 相对 α，写作仍应写 Kappa 与标准误。
案例
研究问题。 两名评分者对同一批对象给出 1–5 分等级。研究者要知道他们的判定有没有超出「各按自己的打分习惯随机交叉」的重合，而不是只数有多少行数字完全相同。
教学示例来自文本设计表，工作表为「raters」，两列分别为评分者1、评分者2。工作台给出的配稳项是「评分者1配对评分者2」。下载后切到该工作表，按同样两列复现本页 Kappa。
在 StatsX 中操作
步骤 1 · 载入文本设计表
把 text-design 示例 xlsx 放进工作台。本过程用的是工作表「raters」，不是 papers 或 kano。
步骤 2 · 确认两列评分者
画像中「评分者1」「评分者2」应为定类或低基数等级，取值在同一套 1–5 编码里。不要误把 papers 表的「作者」拖进来。
步骤 3 · 点选「kappa一致性检验」
目录搜索 kappa 或「一致性」，点选 kappa一致性检验。不要和信度分析、ICC 点错。
步骤 4 · 放入评分变量
评分变量勾选评分者1、评分者2（2–10 列）。点击运行分析。
步骤 5 · 读 Kappa 而不是只数相同行
先看配稳项是否为「评分者1配对评分者2」，再读 Kappa、标准误、z 与 p。完全相同的行数只是观测一致率的分子，不是表里的 Kappa。
如何阅读输出
下表由同一份 raters 工作表在 StatsX 中运行得到。配稳项「评分者1配对评分者2」标明比较的是哪两列。Kappa=0.702，标准误差=0.062，z=11.36，P值=<0.001***。按常见 Landis–Koch 标尺，0.61–0.80 属高度（substantial）一致；本例落在这一段，且远小于 0.05 的 α 不能解释成「偶然碰上」。
| 配稳项 | Kappa值 | 标准误差 | z | P值 |
|---|---|---|---|---|
| 评分者1配对评分者2 | 0.702 | 0.062 | 11.36 | <0.001*** |
左右滑动可查看完整表格
【Kappa一致性·评分者1×评分者2】Kappa=0.702（高度一致性），统计显著(p < 0.001, α=0.05)。结论：两变量评分存在超出随机水平的一致性关系。
读表顺序：配稳项 → Kappa → 标准误 → z 与 p → 再决定要不要谈加权。本例 z=11.36 由 0.702÷0.062 得到，约 11.3，双侧 p 记为 <0.001***。高度一致仍允许「差一档」的邻格冲突；若临床协议规定差一档就算失败，应改加权或直接报加权后的不一致代价，不要把 0.702 写成可以互换使用的金标准。
理论与公式
设两名评分者的类别为 1,…,k，n_{ij} 为甲评 i、乙评 j 的人数，N 为有效对象。观测一致率与期望一致率为
标准误在 H₀: κ=0 下由边际频率构造（Fleiss 等给出大样本方差）。本页
本例 κ=0.702，SE=0.062，z=11.36。p_e 来自两名评分者各自的 1–5 边际，不是 1/k。因此「大家都爱打高分」会抬高 p_e、压低 Kappa：原始对角比例看起来不低，减掉边际之后系数仍可能只有中等。加权 Kappa 把 |i−j| 纳入损失，邻格冲突不再与跨三档冲突等权；本表未做加权。
注意事项
Kappa 高不等于「可以互相替代」：协议若不允许邻档误差，要另定临床阈值。
边际极不均衡时会出现 Kappa paradox：对角比例很高，κ 却偏低。
未加权把 1 对 5 和 4 对 5 罚得一样重，有序等级应事先决定是否加权。
三列评分者会得到三对 Kappa，不要平均成一个「总一致」却不说明配对。
对象必须是同一批：把两组不同学生的等级并排，不是评分者设计。
常见问题
参考文献
Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 1960, 20(1): 37–46.
Cohen, J. Weighted kappa: nominal scale agreement with provision for scaled disagreement. Psychological Bulletin, 1968, 70(4): 213–220.
Landis, J. R., Koch, G. G. The measurement of observer agreement for categorical data. Biometrics, 1977, 33(1): 159–174.
Fleiss, J. L., Levin, B., Paik, M. C. Statistical Methods for Rates and Proportions. Wiley.