Когда нужно выяснить, меняются ли две переменные согласованно, первыми инструментами служат корреляционный и регрессионный анализ. Вычисления у них во многом совпадают, но вопросы они задают разные. Корреляция спрашивает: «насколько сильно две переменные меняются вместе?», а регрессия — «насколько в среднем меняется y при изменении x на одну единицу?».
Коэффициент корреляции Пирсона r
r Пирсона выражает силу и направление линейной связи двух непрерывных переменных числом от −1 до 1.
r = Sxy / √(Sxx × Syy)Sxy = Σ(x−x̄)(y−ȳ),Sxx = Σ(x−x̄)²,Syy = Σ(y−ȳ)²
r, близкий к 1, означает сильную положительную линейную связь, близкий к −1 — сильную отрицательную линейную связь, близкий к 0 — слабую линейную связь. Критерии силы в разных областях различаются, но часто используется договорённость считать абсолютные значения 0.1·0.3·0.5 слабой·умеренной·сильной связью.
То, что r близок к 0, не означает отсутствия связи. Даже у явной криволинейной связи, такой как y = x², r может быть около 0. Поэтому перед вычислением коэффициента корреляции всегда сначала смотрят на диаграмму рассеяния.
Ранговая корреляция Спирмена ρ
ρ Спирмена — это r Пирсона, вычисленный не по исходным значениям, а по рангам. При отсутствии связанных рангов она совпадает со следующей простой формулой.
ρ = 1 − 6Σd² / (n(n²−1))(d — разность рангов в каждой паре)
ρ Спирмена улавливает не только прямолинейную, но и монотонную связь — устойчивый рост или спад в одном направлении — и меньше подвержена влиянию выбросов. Её можно применять и к порядковым данным (рейтинги удовлетворённости и т. п.).
Пример: время подготовки и баллы
Время подготовки (x, часы) и баллы (y) шести учеников.
| Ученик | x | y | x−x̄ | y−ȳ | (x−x̄)(y−ȳ) |
|---|---|---|---|---|---|
| 1 | 1 | 52 | −2.5 | −9.667 | 24.167 |
| 2 | 2 | 55 | −1.5 | −6.667 | 10.000 |
| 3 | 3 | 61 | −0.5 | −0.667 | 0.333 |
| 4 | 4 | 60 | 0.5 | −1.667 | −0.833 |
| 5 | 5 | 68 | 1.5 | 6.333 | 9.500 |
| 6 | 6 | 74 | 2.5 | 12.333 | 30.833 |
Шаг 1: средние
x̄ = 21 / 6 = 3.5, ȳ = 370 / 6 ≈ 61.667
Шаг 2: суммы квадратов и сумма перекрёстных произведений
Sxy = 24.167 + 10.000 + 0.333 − 0.833 + 9.500 + 30.833 = 74Sxx = 6.25 + 2.25 + 0.25 + 0.25 + 2.25 + 6.25 = 17.5Syy ≈ 333.333
Шаг 3: r Пирсона
r = 74 / √(17.5 × 333.333) = 74 / √5833.33 ≈ 74 / 76.376 ≈ 0.9689
Это очень сильная положительная линейная связь. Двустороннее p-значение для проверки этого r (нулевая гипотеза ρ=0, 4 степени свободы) — около 0.0014.
Шаг 4: ρ Спирмена
Ранги x — это просто 1~6, а ранги y — 1, 2, 4, 3, 5, 6 (60 меньше 61, поэтому ранги учеников 3 и 4 меняются местами). Разности рангов d равны 0, 0, −1, 1, 0, 0, и Σd² = 2.
ρ = 1 − 6 × 2 / (6 × (36 − 1)) = 1 − 12 / 210 ≈ 0.9429
Шаг 5: линия регрессии
- Наклон:
b = Sxy / Sxx = 74 / 17.5 ≈ 4.2286 - Свободный член:
a = ȳ − b × x̄ = 61.667 − 4.2286 × 3.5 ≈ 46.867 - Уравнение регрессии:
ŷ ≈ 46.867 + 4.2286x
Интерпретация наклона и r²
- Наклон 4.2286: ученику, занимавшемуся на 1 час больше, в среднем предсказывается балл примерно на 4.23 выше. Наклон — величина с единицами измерения (баллы/час), поэтому при смене единиц x или y он меняется. r же безразмерен.
- Свободный член 46.867: предсказанное значение при x=0. Здесь это случай, когда ученик вообще не занимался, но в данных нет x=0, так что это экстраполяция за пределы наблюдаемого диапазона, и интерпретировать её нужно осторожно.
- Коэффициент детерминации r² ≈ 0.9387: около 93.9% общей вариации баллов объясняется линейной связью со временем подготовки. В простой регрессии r² равен квадрату r Пирсона.
Знаки наклона и r всегда совпадают, и между ними есть соотношение b = r × (s_y / s_x). То есть при одинаковом r наклон тем больше, чем больше разброс y.
Влияние выбросов
Добавим к данным ещё одного ученика: он занимался 7 часов, но получил 30 баллов (допустим, в день экзамена он плохо себя чувствовал).
| Вариант | Исходные 6 человек | 7 человек с выбросом |
|---|---|---|
| r Пирсона | около 0.9689 | около −0.1149 |
| ρ Спирмена | около 0.9429 | около 0.2143 |
Одна точка изменила даже знак r Пирсона. r Пирсона использует средние и квадраты отклонений, поэтому одна точка, экстремальная и по x, и по y, может определить весь результат. ρ Спирмена тоже изменилась, но, поскольку она работает с рангами, изменение сравнительно меньше. Поэтому рекомендуется следующий порядок.
- Сначала по диаграмме рассеяния проверьте наличие выбросов и криволинейной связи.
- Выясните, является ли выброс ошибкой ввода или реальным значением.
- Если это реальное значение, приведите результаты и с выбросом, и без него либо дополнительно укажите ρ Спирмена.
Корреляция — не причинность
Даже при сильной корреляции нельзя утверждать, что x — причина y. Типичные причины таковы.
- Третья переменная (конфаундер): продажи мороженого и несчастные случаи на воде растут вместе, но причина у обоих — температура воздуха.
- Обратная причинность: по одной корреляции нельзя различить, здоровы ли люди потому, что много двигаются, или больше двигаются здоровые люди.
- Случайность: если перебрать много пар переменных, сильная корреляция случайно появится даже между никак не связанными переменными.
- Смещение отбора: если в выборку попадают только люди, удовлетворяющие определённому условию, может возникнуть несуществующая корреляция или исчезнуть существующая.
Чтобы утверждать причинность, нужен эксперимент со случайным распределением или план исследования, систематически контролирующий конфаундеры. Наклон в регрессионном анализе тоже безопаснее интерпретировать не как «если изменить x, изменится y», а как «у объектов с разным x значение y в среднем различается на столько-то».
Что использовать
| Ситуация | Рекомендация |
|---|---|
| Две непрерывные переменные, прямолинейная связь, нет выбросов | r Пирсона |
| Монотонная, но криволинейная связь, есть выбросы, порядковые данные | ρ Спирмена |
| Нужно предсказать y по x или узнать величину изменения | Простая линейная регрессия (наклон · свободный член · r²) |
Если вставить пары x, y в калькулятор корреляции и регрессии на этом сайте, вы сразу получите r Пирсона, ρ Спирмена, уравнение регрессии и r².
Главное
- r Пирсона показывает силу линейной связи, ρ Спирмена — силу монотонной связи на основе рангов.
- В примере из 6 пар r ≈ 0.9689, ρ ≈ 0.9429, уравнение регрессии
ŷ ≈ 46.867 + 4.2286x, r² ≈ 0.9387. - Наклон — среднее изменение y на единицу x (имеет единицы измерения), r² — доля вариации y, объясняемая линейной связью.
- Одна точка-выброс может изменить r Пирсона с 0.9689 до −0.1149, поэтому сначала смотрите на диаграмму рассеяния.
- Корреляция и наклон регрессии не доказывают причинность.