收集了数据却不知道该用哪种检验，是很常见的困扰。所幸，大多数基础分析只要回答三个问题，就能确定合适的检验。本文整理这三个问题、决策表以及各检验的假设和检查方法。
先回答三个问题
1. 结果变量是什么类型
- 连续型（数值型）：身高、分数、销售额、反应时间等可以计算均值的值
- 分类型：性别、是否购买、偏好品牌等分成若干类别的值。数据通常整理为频数（多少人）。
像李克特 5 级量表这类有顺序的类别（有序型），如果只有一个题目，多用非参数检验；如果是多个题目的合计得分，多当作连续型处理。
2. 比较几个组
确认是把一个组与参考值比较，还是比较两个组，或是比较三个及以上的组。如果不是比较组别，而是想看两个变量之间的关系，就转向相关·回归。
3. 测量是否两两配对（是否配对）
- 独立：由不同的人组成的两个组（A 班与 B 班）
- 配对：对同一对象测量两次（前测·后测），或像双胞胎·夫妻那样已确定配对的情况
用独立检验分析配对数据，个体差异会混入误差，检验功效大幅下降。反之，用配对检验分析独立数据则是错误的。
决策表
| 目的 | 数据 | 参数检验 | 非参数替代 |
|---|---|---|---|
| 将一组均值与参考值比较 | 连续型 | 单样本 t 检验 | Wilcoxon 符号秩检验 |
| 比较两个独立组的均值 | 连续型 | 独立样本 t 检验（Welch） | Mann-Whitney U 检验 |
| 比较配对的两次测量 | 连续型 | 配对样本 t 检验 | Wilcoxon 符号秩检验 |
| 比较三个及以上组的均值 | 连续型 | 单因素方差分析（ANOVA） | Kruskal-Wallis 检验 |
| 一个分类变量的分布是否符合期望比例 | 分类型 | 卡方拟合优度检验 | 精确多项·二项检验 |
| 两个分类变量是否相关 | 分类型 | 卡方独立性检验 | Fisher 精确检验 |
| 两个连续变量的线性关系 | 连续型 | Pearson 相关、简单回归 | Spearman 秩相关 |
几点补充说明。
- 独立 t 检验最好默认使用 Welch 方法。假定方差齐性的 Student t 检验在两组方差或样本量不同时，错误率会失准；而 Welch t 检验即使在方差相等时也几乎没有损失。
- 三个及以上的组不要多次做 t 检验。 每对都以 α=0.05 检验，整体第一类错误率会增大。应先用方差分析看整体差异，再做事后检验。
- 两个比例的比较（转化率 A 对 B）可以用 2×2 表的卡方独立性检验完成，其结果与两比例的 z 检验相同。
示例：2×2 卡方独立性检验
将两种广告文案分别展示给 50 人，并记录是否点击。
| 文案 | 点击 | 未点击 | 合计 |
|---|---|---|---|
| A | 30 | 20 | 50 |
| B | 18 | 32 | 50 |
| 合计 | 48 | 52 | 100 |
结果变量（是否点击）是分类型，文案也是分类型，因此使用卡方独立性检验。
- 期望频数：
行合计 × 列合计 / 总数。A·点击为50 × 48 / 100 = 24，A·未点击为50 × 52 / 100 = 26，B 也分别为 24、26。 - 各格的
(观测 − 期望)² / 期望：(30−24)²/24 = 1.5，(20−26)²/26 ≈ 1.3846，(18−24)²/24 = 1.5，(32−26)²/26 ≈ 1.3846 - 卡方统计量：
χ² ≈ 5.769 - 自由度：
(行数 − 1) × (列数 − 1) = 1 - p 值：约
0.0163（α=0.05 的临界值约为 3.841）
由于 p < 0.05，判定文案与是否点击有关。点击率 A 为 60%，B 为 36%。对同一数据应用 Yates 连续性校正，得到 χ² ≈ 4.848、p ≈ 0.0277，结果略保守。报告中应注明使用了哪种方法。
假设检查
所有检验都是在前提条件成立的基础上给出准确的 p 值。主要假设和检查方法如下。
独立性
这是所有检验的共同假设。一个人的回答被多次计入，或存在同班学生这样的聚集结构时，就违反了该假设。与其用统计检验确认，不如根据数据收集设计来判断。
正态性（t 检验、方差分析、Pearson 相关的检验）
- 严格来说，需要接近正态的不是数据本身，而是样本均值的分布。得益于中心极限定理，每组样本约 30 个以上时，只要分布不是严重偏斜，t 检验就相当稳定。
- 样本较小时，用直方图、箱线图、Q-Q 图查看是否存在极端的不对称或异常值。
- Shapiro-Wilk 等正态性检验在样本小时会漏检违反情况，在样本大时连微小差异也会检出，因此要结合图形判断。
方差齐性
使用 Welch t 检验就不必顾虑这一假设。在方差分析中，检查各组标准差之比是否超过 2 倍；差异很大时，可考虑 Welch 方差分析。
期望频数（卡方检验）
卡方检验是一种近似方法，期望频数较小时不准确。常用的标准是所有格的期望频数都在 5 以上（也有更宽松的标准：“期望频数小于 5 的格不超过 20%，且没有小于 1 的格”）。2×2 表违反该标准时，使用 Fisher 精确检验。上面的示例期望频数都在 24 以上，没有问题。
线性（Pearson 相关、回归）
先画散点图。如果关系是曲线，Pearson r 会低估这种关系。如果是单调关系，Spearman 相关是替代方案。
什么时候用非参数检验
- 样本小且分布严重偏斜，或存在异常值时
- 数据是秩次或有序型时
- 关注中位数或分布位置时
非参数检验的假设较少，但在正态假设成立的情况下，检验功效略低。此外，Mann-Whitney U 检验严格来说检验的并不是“均值相等”，因此注意不要把结果解读为均值差异。
本站提供 t 检验（单样本·独立 Welch·配对）、卡方（拟合优度·独立性）以及相关·回归计算器。用上面的决策表选定方法后，可以在相应的计算器中直接计算。
要点总结
- 由结果变量类型（连续·分类）、比较组数和是否配对这三点确定检验。
- 两个独立组的均值用 Welch t 检验，前测·后测用配对 t 检验，三个及以上的组用方差分析。
- 两个分类变量的相关性用卡方独立性检验，示例 2×2 表为
χ² ≈ 5.769，自由度 1，p ≈ 0.0163。 - 卡方检验要确认期望频数在 5 以上，不满足时使用 Fisher 精确检验。
- 假设严重不满足时，考虑 Wilcoxon、Mann-Whitney、Kruskal-Wallis、Spearman 等非参数替代方法。