On a collecté des données, mais on ne sait pas quel test utiliser : c'est une situation fréquente. Heureusement, pour la plupart des analyses de base, il suffit de répondre à trois questions pour déterminer le test approprié. Cet article présente ces questions, un tableau de décision, ainsi que les hypothèses de chaque test et la façon de les vérifier.
Trois questions à se poser d'abord
1. De quel type est la variable de résultat ?
- Continue (numérique) : des valeurs dont on peut calculer la moyenne, comme la taille, une note, un chiffre d'affaires ou un temps de réaction
- Catégorielle : des valeurs réparties en modalités, comme le sexe, l'achat ou non, la marque préférée. Les données se résument généralement en effectifs (nombre de personnes).
Pour des catégories ordonnées (ordinales) comme une échelle de Likert en 5 points, on utilise souvent un test non paramétrique s'il s'agit d'un seul item, et on les traite comme des données continues s'il s'agit d'un score obtenu en additionnant plusieurs items.
2. Combien de groupes compare-t-on ?
Vérifiez si vous comparez un groupe à une valeur de référence, deux groupes entre eux ou trois groupes ou plus. Si l'objectif n'est pas de comparer des groupes mais d'étudier la relation entre deux variables, orientez-vous vers la corrélation et la régression.
3. Les mesures sont-elles appariées ?
- Indépendantes : deux groupes formés de personnes différentes (la classe A et la classe B)
- Appariées : le même sujet est mesuré deux fois (avant et après), ou les paires sont fixées d'avance, comme des jumeaux ou des couples
Analyser des données appariées avec un test pour échantillons indépendants mêle les différences individuelles à l'erreur et fait chuter fortement la puissance. À l'inverse, analyser des données indépendantes avec un test pour échantillons appariés est une erreur.
Tableau de décision
| Objectif | Données | Test paramétrique | Alternative non paramétrique |
|---|---|---|---|
| Comparer la moyenne d'un groupe à une valeur de référence | Continues | Test t à un échantillon | Test des rangs signés de Wilcoxon |
| Comparer les moyennes de deux groupes indépendants | Continues | Test t pour échantillons indépendants (Welch) | Test U de Mann-Whitney |
| Comparer deux mesures appariées | Continues | Test t pour échantillons appariés | Test des rangs signés de Wilcoxon |
| Comparer les moyennes de trois groupes ou plus | Continues | Analyse de variance à un facteur (ANOVA) | Test de Kruskal-Wallis |
| Vérifier si la distribution d'une variable catégorielle suit des proportions attendues | Catégorielles | Test d'ajustement du khi-deux | Test multinomial ou binomial exact |
| Vérifier si deux variables catégorielles sont liées | Catégorielles | Test d'indépendance du khi-deux | Test exact de Fisher |
| Relation linéaire entre deux variables continues | Continues | Corrélation de Pearson, régression simple | Corrélation des rangs de Spearman |
Quelques précisions complémentaires :
- Pour deux groupes indépendants, utilisez par défaut le test t de Welch. Le test t de Student, qui suppose l'égalité des variances, voit son taux d'erreur faussé lorsque les variances ou les tailles des deux groupes diffèrent, alors que le test t de Welch ne perd presque rien lorsque les variances sont égales.
- Ne multipliez pas les tests t pour trois groupes ou plus. Tester chaque paire avec α=0.05 fait augmenter le taux global d'erreur de première espèce. Examinez d'abord la différence globale par une analyse de variance, puis effectuez des tests post hoc.
- La comparaison de deux proportions (taux de conversion A contre B) peut se faire par un test d'indépendance du khi-deux sur un tableau 2×2, qui donne le même résultat que le test z de comparaison de deux proportions.
Exemple : test d'indépendance du khi-deux sur un tableau 2×2
Deux accroches publicitaires ont chacune été montrées à 50 personnes, et l'on a noté si elles cliquaient ou non.
| Accroche | Clic | Pas de clic | Total |
|---|---|---|---|
| A | 30 | 20 | 50 |
| B | 18 | 32 | 50 |
| Total | 48 | 52 | 100 |
La variable de résultat (clic ou non) est catégorielle, et l'accroche l'est aussi : on utilise donc le test d'indépendance du khi-deux.
- Effectifs attendus :
total de la ligne × total de la colonne / total général. Pour A·clic,50 × 48 / 100 = 24, pour A·pas de clic,50 × 52 / 100 = 26, et de même 24 et 26 pour B. (observé − attendu)² / attendupour chaque case :(30−24)²/24 = 1.5,(20−26)²/26 ≈ 1.3846,(18−24)²/24 = 1.5,(32−26)²/26 ≈ 1.3846- Statistique du khi-deux :
χ² ≈ 5.769 - Degrés de liberté :
(nombre de lignes − 1) × (nombre de colonnes − 1) = 1 - Valeur p : environ
0.0163(la valeur critique pour α=0.05 est d'environ 3.841)
Comme p < 0.05, on conclut que l'accroche et le clic sont liés. Le taux de clic est de 60 % pour A et de 36 % pour B. Avec la correction de continuité de Yates, les mêmes données donnent χ² ≈ 4.848 et p ≈ 0.0277, des valeurs un peu plus prudentes. Indiquez dans votre rapport la méthode utilisée.
Vérifier les hypothèses
Chaque test ne donne une valeur p exacte que si ses conditions d'application sont respectées. Voici les principales hypothèses et la façon de les vérifier.
Indépendance
C'est l'hypothèse commune à tous les tests. Elle est violée si les réponses d'une même personne apparaissent plusieurs fois, ou s'il existe une structure groupée, comme des élèves d'une même classe. On en juge plutôt en examinant le plan de collecte des données qu'à l'aide d'un test statistique.
Normalité (test t, analyse de variance, test de la corrélation de Pearson)
- En toute rigueur, ce n'est pas la distribution des données elles-mêmes, mais celle de la moyenne de l'échantillon qui doit être proche de la normale. Grâce au théorème central limite, à partir d'environ 30 observations par groupe, le test t est assez robuste tant que la distribution n'est pas très asymétrique.
- Avec un petit échantillon, vérifiez à l'aide d'un histogramme, d'une boîte à moustaches ou d'un diagramme Q-Q l'absence d'asymétrie extrême ou de valeurs aberrantes.
- Les tests de normalité comme celui de Shapiro-Wilk manquent les écarts sur les petits échantillons et détectent des différences insignifiantes sur les grands ; jugez-en donc aussi à l'aide des graphiques.
Égalité des variances
Avec le test t de Welch, vous n'avez pas à vous soucier de cette hypothèse. Pour une analyse de variance, vérifiez si le rapport entre les écarts types des groupes dépasse 2 ; s'ils diffèrent fortement, envisagez l'ANOVA de Welch.
Effectifs attendus (test du khi-deux)
Le test du khi-deux étant une méthode approchée, il devient imprécis quand les effectifs attendus sont faibles. Le critère le plus courant est un effectif attendu d'au moins 5 dans chaque case (un critère plus souple est aussi utilisé : « au plus 20 % des cases ont un effectif attendu inférieur à 5, et aucune n'est inférieure à 1 »). Si ce critère n'est pas respecté dans un tableau 2×2, utilisez le test exact de Fisher. Dans l'exemple ci-dessus, tous les effectifs attendus sont d'au moins 24 : il n'y a donc pas de problème.
Linéarité (corrélation de Pearson, régression)
Commencez par tracer un nuage de points. Si la relation est courbe, le r de Pearson sous-estime la relation. S'il s'agit d'une relation monotone, la corrélation de Spearman est une alternative.
Quand utiliser un test non paramétrique ?
- Quand l'échantillon est petit et que la distribution est très asymétrique ou comporte des valeurs aberrantes
- Quand les données sont des rangs ou des données ordinales
- Quand on s'intéresse à la médiane ou à la position de la distribution
Les tests non paramétriques reposent sur moins d'hypothèses, mais leur puissance est un peu plus faible lorsque l'hypothèse de normalité est satisfaite. De plus, le test U de Mann-Whitney ne teste pas, à proprement parler, « l'égalité des moyennes » : veillez à ne pas interpréter son résultat comme une différence de moyennes.
Ce site propose des calculatrices de test t (à un échantillon, indépendant de Welch, apparié), de khi-deux (ajustement, indépendance) et de corrélation et régression. Après avoir choisi la méthode à l'aide du tableau de décision ci-dessus, vous pouvez faire le calcul directement dans la calculatrice correspondante.
À retenir
- Le test se détermine par trois éléments : le type de la variable de résultat (continue ou catégorielle), le nombre de groupes comparés et l'appariement ou non des mesures.
- Pour les moyennes de deux groupes indépendants, utilisez le test t de Welch ; pour des mesures avant/après, le test t apparié ; pour trois groupes ou plus, l'analyse de variance.
- Le lien entre deux variables catégorielles se teste par le khi-deux d'indépendance ; pour le tableau 2×2 de l'exemple,
χ² ≈ 5.769, 1 degré de liberté,p ≈ 0.0163. - Pour le khi-deux, vérifiez que les effectifs attendus sont d'au moins 5 ; sinon, utilisez le test exact de Fisher.
- Si les hypothèses sont nettement violées, envisagez les alternatives non paramétriques comme Wilcoxon, Mann-Whitney, Kruskal-Wallis ou Spearman.