Abgesehen davon, ob bei PISA & Co. überhaupt das gemessen wird, was man behauptet, ist die Frage, wie selektiv die Befragtenauswahl ist, von großer Bedeutung.
Verzerrungen dieser Auswahl verzerren auch die Mittelwerte stark und noch mehr die Rangplätze, bei denen es ja nicht auf absolute Unterschiede ankommt. Das ist genauso wie wenn ein Leichtgewicht und ein Schwergewicht um die Weltmeisterschaft beim Boxen kämpfen sollen. Aber beim Boxen werden solche Unterschiede in der Ausgangslage ausgeglichen, indem Wettkämpfe in verschiedenen Gewichtsklassen ausgetragen werden. Bei PISA wird so getan, als wenn das ohne Bedeutung wäre.
Bei allen Vergleichstests gibt es Ausfälle und die Ausfälle hängen teilweise stark von dem Leistungsvermögen der Teilnehmer ab. Schwächere Schüler haben oft weniger Neigung, an solchen Tests teilzunehmen. Sie werden auch öfter ermutigt, am Testtag zu Hause zu bleiben, damit die Mittelwerte steigen und damit die Schulen und Länder besser dastehen. Dabei müssen gar nicht viele Teilnehmer ausfallen. Je niedriger ihre Testwerte sind, umso stärker fällt ihre Nicht-Teilnahme ins Gewicht. Dies zeigt ein kleines, fiktives Beispiel:
Zehn Teilnehmen hätten die Testwerte
1, 2, 10, 11, 16, 18, 20, 22, 23, 24. Ihr Mittelwert ist 14,7
Wenn die zwei Teilnehmer mit den niedrigsten Testwerten zu Hause bleiben, sehen die Werte wie folgt aus:
10, 11, 16, 18, 20, 22, 23, 24. Ihr Mittelwert ist jetzt 18,0
Wenn zwei weitere zu Hause bleiben, sind ihre Werte:
16, 18, 20, 22, 23, 24. Ihr Mittelwert steigt auf 20,5
In PISA-Berichten werden diese Werte mathematisch aufgeblasen, so dass der Mittelwert aller Länder 500 und die Streuung der Werte 100 ist. Um dieses Aufblasen übersichtlich zu halten, schauen wir uns nur die konvertierten Mittelwerte an, die wir hier mit 25 multiplizieren:
Ausfälle:
0% 20% 40%
Testwerte im PISA-Format:
367,5 450,0 512,5
Wenn leistungsschwache Teilnehmern ausfallen, steigen also die Testergebnisse optisch stark an, obwohl die Leistungen insgesamt dieselben sind. In den realen Studien betreffen die Ausfälle nicht nur leistungsschwache Teilnehmer.
Die tatsächlichen Testwerte der Ländern liegen oft so stark beieinander, dass sich die Rangplätze gewaltig ändern können, wenn die Ausfälle variieren, wie das bei PISA der Fall ist. In unserem Beispiel waren die Ausfälle 0%, 20% und 40%. Bei PISA sind über 40% Ausfälle.
Dazu kommen noch von Land zu Land unterschiedliche Prozentsätze von Teilnehmern, die aus verschiedenen Gründen ausgeschlossen wurden. Auch hierbei weist Deutschland eine geringere Verzerrung auf als in vielen anderen Ländern. Schließlich kann den berichteten Ausfallzahlen nicht getraut werden. Manche Länder vertuschen nicht nur Krankheitsausbrüche, sondern auch ihr Versagen bei Testausfällen. Ich konnte keinen Hinweis finden, dass die OECD prüft, ob die Angaben stimmen. Hinzu kommt, dass 15-Jährige, die Zielgruppe von PISA, in den verschiedenen Ländern verschieden früh eingeschult wurden und in manchen Ländern schon nicht mehr zur Schule gehen, also verschieden lang lernen können.
Die Verantwortlichen bei der OECD und auch die „Experten“ in den nationalen PISA-Beiräten und in den Kultusministerien lassen diese starken Verzerrungen bisher immer durchgehen, und nehmen die PISA-Testergebnisse für bare Münze. Sie fürchten wohl, sich für wertlose Studien verantworten zu müssen. Viel Steuer-Geld für Nichts.
Quelle: Bildungsinfo-Newsletter. Abonnieren über diesem Link:
https://mailman.uni-konstanz.de/mailman/listinfo/bildungs-info