Часто, собрав данные, не знаешь, какой критерий применить. К счастью, для большинства базовых анализов подходящий критерий определяется ответами на три вопроса. В этой статье собраны эти вопросы, таблица выбора, а также допущения каждого критерия и способы их проверки.
Три вопроса, на которые нужно ответить сначала
1. Какого типа результирующая переменная?
- Непрерывная (количественная): величины, для которых можно вычислить среднее, — рост, баллы, выручка, время реакции
- Категориальная: величины, которые делятся на категории, — пол, факт покупки, предпочитаемый бренд. Такие данные обычно сводят в частоты (сколько человек).
Упорядоченные категории (порядковые данные), например шкалу Лайкерта из 5 пунктов, при одном вопросе обычно анализируют непараметрическими критериями, а суммарный балл по нескольким вопросам часто рассматривают как непрерывную величину.
2. Сколько групп сравнивается?
Определите, сравниваете ли вы одну группу с эталонным значением, две группы или три и более. Если цель — не сравнение групп, а изучение связи двух переменных, переходите к корреляции и регрессии.
3. Связаны ли измерения попарно (зависимость выборок)?
- Независимые: две группы, состоящие из разных людей (класс A и класс B)
- Связанные: один и тот же объект измерен дважды (до и после) либо пары заданы заранее — близнецы, супруги
Если анализировать связанные данные критерием для независимых выборок, индивидуальные различия смешиваются с ошибкой и мощность критерия сильно падает. Анализировать же независимые данные критерием для связанных выборок — ошибка.
Таблица выбора
| Цель | Данные | Параметрический критерий | Непараметрическая альтернатива |
|---|---|---|---|
| Сравнение среднего одной группы с эталонным значением | Непрерывные | Одновыборочный t-критерий | Критерий знаковых рангов Уилкоксона |
| Сравнение средних двух независимых групп | Непрерывные | t-критерий для независимых выборок (Уэлча) | U-критерий Манна — Уитни |
| Сравнение двух связанных измерений | Непрерывные | t-критерий для связанных выборок | Критерий знаковых рангов Уилкоксона |
| Сравнение средних трёх и более групп | Непрерывные | Однофакторный дисперсионный анализ (ANOVA) | Критерий Краскела — Уоллиса |
| Соответствует ли распределение одной категориальной переменной ожидаемым долям | Категориальные | Критерий согласия хи-квадрат | Точный мультиномиальный · биномиальный критерий |
| Связаны ли две категориальные переменные | Категориальные | Критерий независимости хи-квадрат | Точный критерий Фишера |
| Линейная связь двух непрерывных переменных | Непрерывные | Корреляция Пирсона, простая регрессия | Ранговая корреляция Спирмена |
Несколько пояснений.
- Для независимых выборок по умолчанию лучше использовать t-критерий Уэлча. t-критерий Стьюдента, предполагающий равенство дисперсий, даёт искажённую частоту ошибок, когда дисперсии или размеры групп различаются, а критерий Уэлча почти ничего не теряет даже при равных дисперсиях.
- Не применяйте t-критерий многократно к трём и более группам. Если проверять каждую пару при α=0.05, общая частота ошибок первого рода растёт. Сначала оцените общее различие дисперсионным анализом, затем проведите апостериорные сравнения.
- Сравнение двух долей (конверсия A против B) можно выполнить критерием независимости хи-квадрат для таблицы 2×2; результат совпадает с z-критерием для двух долей.
Пример: критерий независимости хи-квадрат для таблицы 2×2
Два рекламных текста показали по 50 людям каждый и записали, был ли клик.
| Текст | Клик | Нет клика | Итого |
|---|---|---|---|
| A | 30 | 20 | 50 |
| B | 18 | 32 | 50 |
| Итого | 48 | 52 | 100 |
Результирующая переменная (клик или нет) категориальная, текст тоже категориальный, поэтому применяем критерий независимости хи-квадрат.
- Ожидаемые частоты:
итог по строке × итог по столбцу / общий итог. Для A·клик это50 × 48 / 100 = 24, для A·нет клика —50 × 52 / 100 = 26; для B — тоже 24 и 26. (наблюдаемая − ожидаемая)² / ожидаемаядля каждой ячейки:(30−24)²/24 = 1.5,(20−26)²/26 ≈ 1.3846,(18−24)²/24 = 1.5,(32−26)²/26 ≈ 1.3846- Статистика хи-квадрат:
χ² ≈ 5.769 - Степени свободы:
(число строк − 1) × (число столбцов − 1) = 1 - p-значение: около
0.0163(критическое значение при α=0.05 — около 3.841)
Так как p < 0.05, делаем вывод, что текст и факт клика связаны. Кликабельность у A — 60%, у B — 36%. Если применить к тем же данным поправку Йейтса на непрерывность, получится χ² ≈ 4.848, p ≈ 0.0277 — чуть более консервативные значения. Укажите в отчёте, какой вариант использован.
Проверка допущений
Любой критерий даёт точное p-значение только при выполнении его предпосылок. Основные допущения и способы их проверки таковы.
Независимость
Общее допущение всех критериев. Оно нарушается, если ответы одного человека учтены несколько раз или есть групповая структура, например ученики одного класса. Судить о нём лучше не статистическим критерием, а по плану сбора данных.
Нормальность (t-критерий, дисперсионный анализ, проверка корреляции Пирсона)
- Строго говоря, близким к нормальному должно быть не распределение самих данных, а распределение выборочного среднего. Благодаря центральной предельной теореме при 30 и более наблюдениях в группе t-критерий достаточно устойчив, если распределение не слишком скошено.
- При малой выборке проверьте по гистограмме, ящику с усами или графику Q-Q, нет ли сильной асимметрии или выбросов.
- Критерии нормальности вроде Шапиро — Уилка при малой выборке пропускают нарушения, а при большой улавливают даже несущественные отклонения, поэтому решение принимайте вместе с графиками.
Равенство дисперсий
При использовании t-критерия Уэлча об этом допущении можно не беспокоиться. В дисперсионном анализе проверьте, не превышает ли отношение стандартных отклонений групп 2, и при сильных различиях рассмотрите дисперсионный анализ Уэлча.
Ожидаемые частоты (критерий хи-квадрат)
Критерий хи-квадрат — приближённый метод, и при малых ожидаемых частотах он неточен. Распространённое правило — ожидаемая частота во всех ячейках не меньше 5 (используется и более мягкое правило: «не более 20% ячеек с ожидаемой частотой меньше 5 и ни одной ячейки меньше 1»). Если для таблицы 2×2 условие нарушено, применяют точный критерий Фишера. В примере выше все ожидаемые частоты не меньше 24, так что проблем нет.
Линейность (корреляция Пирсона, регрессия)
Сначала постройте диаграмму рассеяния. Если связь криволинейная, r Пирсона её недооценивает. Для монотонной связи альтернативой служит корреляция Спирмена.
Когда использовать непараметрические критерии
- Выборка мала, а распределение сильно скошено или есть выбросы
- Данные являются рангами или порядковыми
- Интересует медиана или положение распределения
Непараметрические критерии требуют меньше допущений, но в ситуациях, где предположение о нормальности выполняется, их мощность несколько ниже. Кроме того, U-критерий Манна — Уитни строго говоря не проверяет «равенство средних», поэтому не интерпретируйте его результат как разность средних.
На этом сайте есть калькуляторы t-критерия (одновыборочный · независимые по Уэлчу · связанные), хи-квадрат (согласие · независимость), корреляции и регрессии. Выбрав метод по таблице выше, можно сразу выполнить расчёт в соответствующем калькуляторе.
Главное
- Критерий определяется тремя вещами: тип результирующей переменной (непрерывная · категориальная), число сравниваемых групп и зависимость выборок.
- Для средних двух независимых групп — t-критерий Уэлча, для «до и после» — t-критерий для связанных выборок, для трёх и более групп — дисперсионный анализ.
- Связь двух категориальных переменных проверяют критерием независимости хи-квадрат; для таблицы 2×2 из примера
χ² ≈ 5.769, 1 степень свободы,p ≈ 0.0163. - Для хи-квадрат проверьте, что ожидаемые частоты не меньше 5; при нарушении используйте точный критерий Фишера.
- При серьёзных нарушениях допущений рассмотрите непараметрические альтернативы — критерии Уилкоксона, Манна — Уитни, Краскела — Уоллиса, корреляцию Спирмена.