Comprendre la marge d'erreur et la significativité statistique
Les résultats d'une enquête proviennent d'un échantillon : ce sont donc des estimations. Ces deux calculs vous indiquent quel poids accorder à une estimation : la marge d'erreur décrit la précision d'un résultat, et un test de significativité vous dit si deux résultats sont réellement différents.
Qu'est-ce que la marge d'erreur ?
La marge d'erreur est la plage autour d'un résultat d'enquête dans laquelle la valeur réelle pour l'ensemble de votre public se situe probablement. Si 62 % de 500 répondants sont satisfaits, la marge d'erreur à un niveau de confiance de 95 % est de ±4,25 points de pourcentage. La valeur réelle se situe très probablement entre 57,7 % et 66,3 %. Cette plage s'appelle l'intervalle de confiance.
Comment réduire la marge d'erreur ?
Recueillez davantage de réponses. La marge diminue avec la racine carrée de la taille de l'échantillon : il faut donc quatre fois plus de réponses pour la réduire de moitié. Utilisez le calculateur de taille d'échantillon pour trouver le nombre de réponses correspondant à la marge souhaitée.
Que signifie « statistiquement significatif » ?
Deux groupes ne donnent presque jamais exactement le même résultat. Un test de significativité vérifie si l'écart est plus grand que ce que le hasard seul laisserait attendre. Si c'est le cas, l'écart est dit statistiquement significatif.
Comment lire la valeur p ?
La valeur p est la probabilité d'observer un écart au moins aussi grand si les deux groupes étaient en réalité identiques. Une petite valeur p signifie que le hasard est une explication peu probable. À un niveau de confiance de 95 %, une valeur p de 0,05 ou moins est considérée comme significative.
Un exemple chiffré
Dans le groupe A, 300 répondants sur 500 (60 %) sont satisfaits. Dans le groupe B, ils sont 250 sur 500 (50 %). L'écart est de 10 points de pourcentage, le score Z de 3,18 et la valeur p de 0,0015. C'est nettement inférieur à 0,05 : l'écart est donc statistiquement significatif à un niveau de confiance de 95 %.
Significatif ne veut pas toujours dire important
Avec de très grands échantillons, même un écart infime devient statistiquement significatif. Regardez toujours aussi l'ampleur de l'écart et demandez-vous s'il est assez grand pour justifier une action.
