Квартили — это граничные значения, делящие упорядоченные данные на четыре равные части. Первый квартиль Q1 — точка нижних 25%, второй квартиль Q2 — медиана, третий квартиль Q3 — точка нижних 75%. Идея проста, но если посчитать одни и те же данные в Excel, в R и по учебнику, Q1 и Q3 часто не совпадают. Дело не в ошибке калькулятора, а в том, что существует несколько договорённостей о том, как определять положение между значениями данных.
Почему методов несколько
Если значений 10, «точка нижних 25%» не попадает точно ни на одно из них. Можно сказать, что это примерно 2.5-е значение, а можно — 3.25-е. В статистической программе R такие определения сведены в 9 вариантов (type 1~9), а наиболее распространены три из них.
| Метод | Формула позиции (k-е значение после сортировки) | Где используется |
|---|---|---|
| R type 7 | k = (n−1)p + 1 | Excel QUARTILE.INC·PERCENTILE.INC, по умолчанию в R и NumPy |
| R type 6 | k = (n+1)p | Excel QUARTILE.EXC·PERCENTILE.EXC, некоторые учебники·Minitab |
| Шарниры Тьюки | делим данные пополам по медиане, затем берём медиану каждой половины | разведочный анализ данных, учебники по ящику с усами, R fivenum() |
Если позиция k не целая, выполняется линейная интерполяция между соседними значениями. Например, при k = 3.25 к 3-му значению прибавляют 0.25 × (4-е значение − 3-е значение). По исходному определению шарниров Тьюки при нечётном n медиана включается в обе половины.
Одни данные — разные квартили
Ниже 10 упорядоченных значений.
2, 4, 5, 7, 8, 10, 12, 13, 15, 25
Медиана — среднее 5-го и 6-го значений, (8+10)/2 = 9, — одинакова во всех трёх методах. Различия возникают в Q1 и Q3.
type 7 (Excel QUARTILE.INC)
- Позиция Q1:
(10−1)×0.25 + 1 = 3.25→5 + 0.25×(7−5) = 5.5 - Позиция Q3:
(10−1)×0.75 + 1 = 7.75→12 + 0.75×(13−12) = 12.75
type 6 (Excel QUARTILE.EXC)
- Позиция Q1:
(10+1)×0.25 = 2.75→4 + 0.75×(5−4) = 4.75 - Позиция Q3:
(10+1)×0.75 = 8.25→13 + 0.25×(15−13) = 13.5
Шарниры Тьюки
- Медиана нижней половины
2, 4, 5, 7, 8→5 - Медиана верхней половины
10, 12, 13, 15, 25→13
| Метод | Q1 | Q3 | IQR |
|---|---|---|---|
| type 7 (INC) | 5.5 | 12.75 | 7.25 |
| type 6 (EXC) | 4.75 | 13.5 | 8.75 |
| Шарниры Тьюки | 5 | 13 | 8 |
type 6 обычно даёт значения, чуть сильнее раздвинутые к краям, type 7 — сдвинутые внутрь, а шарниры Тьюки чаще всего лежат между ними. Когда данных сотни и больше, разница между методами почти исчезает, но при нескольких десятках значений и меньше может измениться даже интерпретация результата.
IQR и границы 1.5×IQR
Межквартильный размах IQR = Q3 − Q1 — это ширина, которую занимают центральные 50% данных. Среднее и стандартное отклонение сильно реагируют на экстремальные значения, а IQR смотрит только на центральную половину и потому устойчив к ним.
Критерий выбросов, предложенный Тьюки, таков.
- Нижняя граница:
Q1 − 1.5 × IQR - Верхняя граница:
Q3 + 1.5 × IQR - Значения за пределами границ отмечаются как кандидаты в выбросы. Значения за пределами
3 × IQRиногда отдельно выделяют как экстремальные выбросы.
Применим это к максимальному значению примера — 25.
| Метод | Нижняя граница | Верхняя граница | 25 — выброс? |
|---|---|---|---|
| type 7 | 5.5 − 1.5×7.25 = −5.375 | 12.75 + 1.5×7.25 = 23.625 | Да (больше 23.625) |
| type 6 | 4.75 − 1.5×8.75 = −8.375 | 13.5 + 1.5×8.75 = 26.625 | Нет |
| Шарниры Тьюки | 5 − 1.5×8 = −7 | 13 + 1.5×8 = 25 | На границе (не за пределами) |
Одно и то же значение 25 в зависимости от метода оказывается выбросом или нет. Поэтому в отчёте нужно указывать, какое определение квартилей использовано, а критерий 1.5×IQR лучше применять не для отбора «значений на удаление», а для отбора «значений, которые стоит перепроверить».
Как читать ящик с усами
Ящик с усами (box plot) — графическое представление квартилей.
- Ящик: нижняя сторона — Q1, верхняя — Q3. Высота ящика и есть IQR.
- Линия внутри ящика: медиана. Если линия смещена к одному краю ящика, распределение асимметрично.
- Усы (whisker): проводятся до самого дальнего значения данных, лежащего внутри границ, а не до самих значений границ.
- Точки: отдельные точки за усами — кандидаты в выбросы.
Если верхний ус длиннее нижнего и сверху есть точки, можно заподозрить распределение с длинным правым хвостом (положительная асимметрия). Такая форма типична для данных, которые не могут быть меньше 0, — доходов, времени пребывания, времени ожидания.
Практические советы
- Если нужно совпасть с результатами другого инструмента, сначала выясните, какое определение он использует. При сравнении с пользователями Excel безопаснее всего type 7 (INC).
- О выбросах судите, выяснив их причину. Если это ошибка ввода (путаница в единицах, лишняя цифра), исправьте её; если это реально произошедшее экстремальное значение, оставьте его и приводите также устойчивые статистики — медиану и IQR.
- У процентилей та же проблема. Процентили, не являющиеся квартилями, — например, граница верхних 10% (90-й процентиль), — тоже зависят от выбора формулы позиции.
- При малой выборке сами квартили нестабильны. Если данных около 10, больше информации даст отображение всех исходных значений точками, чем квартили.
В калькуляторе описательной статистики на этом сайте можно для одних и тех же данных переключать метод расчёта квартилей и сравнивать Q1·Q3·IQR и границы выбросов.
Главное
- Единого стандартного определения квартилей нет; Excel
QUARTILE.INCсоответствует R type 7, аQUARTILE.EXC— R type 6. - В примере
2, 4, 5, 7, 8, 10, 12, 13, 15, 25Q1·Q3 равны 5.5·12.75 для type 7, 4.75·13.5 для type 6 и 5·13 для шарниров Тьюки. - Границы выбросов —
Q1 − 1.5×IQRиQ3 + 1.5×IQR; в зависимости от метода одно и то же значение может оказаться выбросом или нет. - Усы ящика с усами проводятся до самого дальнего значения внутри границ.
- Указывайте в отчёте определение квартилей и рассматривайте выбросы как объект проверки, а не удаления.