Statistisch ist dieses Ergebnis ja auch mit seiner Annahme möglich.
Wenn man rät, welche Cola man gerade getrunken hat, dann ist es sogar möglich, dass man von 1000 Proben alle richtig einschätzt. Das ist halt nur sehr unwahrscheinlich.
Es stellt sich dann die Frage, wie wahrscheinlich ein Testergebnis sein darf, damit anhand dessen die Hypothese abgelehnt wird.
Die Antwort auf diese Frage heißt Signifikanzniveau. Man legt vor Durchführung des Tests ein Signifkanzniveau \(\alpha\) fest. Man lehnt die Hypothese ab, falls das Testergebnis eine Wahrscheinlichkeit von höchstens \(\alpha\) hat.
Oft wird \(\alpha = 0,05 = 5\,\%\) verwendet. Das ist aber abhängig von dem was getestet wird. Wenn ich prüfen möchte, ob die Verbesserungen im Produktionsprozess zu einer Qualitätssteigerung geführt haben, dann mag es vertretbar sein, dass ich mich mit einer Wahrscheinlichkeit von \(5\,\%\) irre. Wenn ich prüfen möchte, ob ein Medikament gegen Schnupfen zu Herzinfarkten führt, dann sind \(5\,\%\) Irrtumswahrscheinlichkeit sicherlich nicht vertretbar.