Fehlermarge und statistische Signifikanz verstehen
Umfrageergebnisse stammen aus einer Stichprobe und sind daher Schätzungen. Diese beiden Berechnungen zeigen, wie belastbar eine Schätzung ist: Die Fehlermarge beschreibt die Genauigkeit eines einzelnen Ergebnisses, und ein Signifikanztest zeigt, ob sich zwei Ergebnisse wirklich unterscheiden.
Was ist die Fehlermarge?
Die Fehlermarge ist der Bereich um ein Umfrageergebnis, in dem der wahre Wert für Ihre gesamte Zielgruppe wahrscheinlich liegt. Wenn 62 % von 500 Befragten zufrieden sind, beträgt die Fehlermarge bei 95 % Konfidenz ±4,25 Prozentpunkte. Der wahre Wert liegt höchstwahrscheinlich zwischen 57,7 % und 66,3 %. Dieser Bereich heißt Konfidenzintervall.
Wie verkleinere ich die Fehlermarge?
Sammeln Sie mehr Antworten. Die Marge schrumpft mit der Quadratwurzel der Stichprobengröße, Sie benötigen also viermal so viele Antworten, um sie zu halbieren. Ermitteln Sie mit dem Stichprobenrechner die Anzahl der Antworten, die zu Ihrer gewünschten Marge passt.
Was bedeutet statistisch signifikant?
Zwei Gruppen liefern fast nie exakt dasselbe Ergebnis. Ein Signifikanztest prüft, ob der Unterschied größer ist, als allein durch Zufall zu erwarten wäre. Ist das der Fall, nennt man den Unterschied statistisch signifikant.
Wie lese ich den p-Wert?
Der p-Wert ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu beobachten, wenn die beiden Gruppen in Wahrheit gleich wären. Ein kleiner p-Wert bedeutet, dass Zufall eine unwahrscheinliche Erklärung ist. Bei einem Konfidenzniveau von 95 % gilt ein p-Wert von 0,05 oder weniger als signifikant.
Ein Rechenbeispiel
In Gruppe A sind 300 von 500 Befragten (60 %) zufrieden. In Gruppe B sind es 250 von 500 (50 %). Die Differenz beträgt 10 Prozentpunkte, der Z-Wert 3,18 und der p-Wert 0,0015. Das liegt deutlich unter 0,05, der Unterschied ist also bei 95 % Konfidenz statistisch signifikant.
Signifikant heißt nicht immer wichtig
Bei sehr großen Stichproben wird selbst ein winziger Unterschied statistisch signifikant. Achten Sie daher immer auch auf die Größe des Unterschieds und fragen Sie sich, ob er groß genug ist, um darauf zu reagieren.
