Keine Fortbildungsmaßnahme mehr ohne die Bewertung ihrer Wirksamkeit – Evaluation macht auch vor der Schulpforte nicht mehr Halt. Schließlich soll in Zeiten knapper Kassen nicht „ins Blaue hinein“ trainiert werden. Das landesweite Fortbildungsprojekt „Erweiterung der Methodenkompetenz im Unterricht“, an dem Lehrerinnen und Lehrer von 123 Schulen teilnehmen, wird deshalb vom Hessischen Landesinstitut für Pädagogik (HeLP) im Auftrag des Hessischen Kultusministeriums evaluiert. Ziel der Evaluierung ist es festzustellen, wie nachhaltig sich die Fortbildung der Lehrer auswirkt sowohl im Unterricht, im gesamten Kollegium wie bei ihnen selbst.
In einer schriftlichen Befragung der teilnehmenden Lehrerinnen und Lehrer wurde daher überprüft, wie zufrieden diese mit der Fortbildung sind und wie gut sie im Unterricht umsetzbar ist. Mit Hilfe der für die Evaluation der Hochschullehre entwickelten Software EvaSys wurde die Befragung durchgeführt und die ca. 2.000 Fragebögen automatisch ausgewertet.
Der Aufbau des Fragebogens orientiert sich an Fragebögen, die zur Evaluierung vergleichbarer Projekte in anderen Bundesländern eingesetzt wurden. Neben einer umfassenden Multiple-Choice-Frage umfasst der Fragebogen 19 bipolare Fragen mit einer 4er-Skala für ein polarisiertes Meinungsbild und eine offene Frage für Anmerkungen der Befragten. Die Fragebögen wurden vom HeLP in EvaSys erstellt und in einer Druckerei zentral gedruckt.
Die 70 Trainer des Fortbildungsprojektes erhielten vom HeLP eine Einweisung in das gesamte Verfahren der Befragung. Die Trainer gaben Hinweise zur Datenerhebung zusammen mit den Fragebögen an die Schulen weiter. Die Fragebögen wurden in den Schulen während einer Dienstversammlung ausgefüllt und wieder eingesammelt. Diesem Vorgehen ist die sehr hohe Rücklauflaufquote von 98% der teilnehmenden Schulen und über 90% der teilnehmenden Lehrerinnen und Lehrer zu verdanken.
Die ausgefüllten Bögen werden vom HeLP in Frankfurt mit EvaSys nach dem Modell der Zentralen Evaluation ausgewertet. In einem ersten Schritt werden hierzu die Bögen mit einem Dokumentenscanner stapelweise eingescannt. Dies dauerte für die gesamte Befragung einschließlich der Arbeitsorganisation und der Verfahrensabwicklung etwa eine Woche. Die in EvaSys integrierte Beleglesesoftware erkennt die Zeichen und schreibt sie zu den zugehörigen Fragen in eine Datenbank. Sodann erfolgt die vollautomatische Berichtserstellung in EvaSys. Dieser Bericht stellt die Ergebnisse mit absoluten oder relativen Nennungshäufigkeiten, arithmetischem Mittelwert, Standardabweichung und Profillinien mit numerischen Angaben und in übersichtlicher graphischer Darstellung dar.
Der Ergebnisbericht wird automatisch als PDF-Datei an vordefinierte Berichtsempfänger versendet. Auch die unterschiedlichen Teilbereiche einer Befragung, im Falle des vorliegenden Projekts zwei Schul-Staffeln mit unterschiedlicher Teilnahmedauer an der Fortbildungsmaßnahme, können durch die Profillinien in den Berichten miteinander verglichen werden.
Genaue statistische Auswertungen, beispielsweise mit SPSS, sind selbstverständlich auch möglich. Jedoch hat das HeLP die Fragen dahingehend optimiert, dass mit der automatischen Auswertung für eine erste Analyse hinreichend viele Aspekte beantwortet sind. Die Antworten auf die einzige offene Frage werden transkribiert und geclustert, so dass die Anonymität gewährleistet ist.
Die Gesamtberichte gehen an die Projektleitung sowie die Schulleitungen, die Berichte der schulinternen Befragung aus Datenschutzgründen nur an die Schule. Damit letztere die Ergebnisse leichter interpretieren können, erhalten die Trainer wiederum eine Einweisung in die Interpretation der Daten, die sie an die von ihnen betreuten Schulen weitergeben können.
Der hohe Automatisierungsgrad erlaubte die Erhebung und Auswertung durch die Evaluationsstelle, die dafür an sich personell nicht ausgestattet ist und eine herkömmliche manuelle Auszählung und Auswertung nicht zuließe. Sofern Probleme oder Fragen zur Benutzung von EvaSys auftraten, stand der telefonische Techniksupport zur Verfügung, der sich aus Sicht des HeLP sehr bewährt hat.
Im nächsten Jahr sind weitere Evaluationen des hessischen Projektes „Erweiterung der Methodenkompetenz im Unterricht“ mit anderen Fragebogen geplant.
In einer schriftlichen Befragung der teilnehmenden Lehrerinnen und Lehrer wurde daher überprüft, wie zufrieden diese mit der Fortbildung sind und wie gut sie im Unterricht umsetzbar ist. Mit Hilfe der für die Evaluation der Hochschullehre entwickelten Software EvaSys wurde die Befragung durchgeführt und die ca. 2.000 Fragebögen automatisch ausgewertet.
Der Aufbau des Fragebogens orientiert sich an Fragebögen, die zur Evaluierung vergleichbarer Projekte in anderen Bundesländern eingesetzt wurden. Neben einer umfassenden Multiple-Choice-Frage umfasst der Fragebogen 19 bipolare Fragen mit einer 4er-Skala für ein polarisiertes Meinungsbild und eine offene Frage für Anmerkungen der Befragten. Die Fragebögen wurden vom HeLP in EvaSys erstellt und in einer Druckerei zentral gedruckt.
Die 70 Trainer des Fortbildungsprojektes erhielten vom HeLP eine Einweisung in das gesamte Verfahren der Befragung. Die Trainer gaben Hinweise zur Datenerhebung zusammen mit den Fragebögen an die Schulen weiter. Die Fragebögen wurden in den Schulen während einer Dienstversammlung ausgefüllt und wieder eingesammelt. Diesem Vorgehen ist die sehr hohe Rücklauflaufquote von 98% der teilnehmenden Schulen und über 90% der teilnehmenden Lehrerinnen und Lehrer zu verdanken.
Die ausgefüllten Bögen werden vom HeLP in Frankfurt mit EvaSys nach dem Modell der Zentralen Evaluation ausgewertet. In einem ersten Schritt werden hierzu die Bögen mit einem Dokumentenscanner stapelweise eingescannt. Dies dauerte für die gesamte Befragung einschließlich der Arbeitsorganisation und der Verfahrensabwicklung etwa eine Woche. Die in EvaSys integrierte Beleglesesoftware erkennt die Zeichen und schreibt sie zu den zugehörigen Fragen in eine Datenbank. Sodann erfolgt die vollautomatische Berichtserstellung in EvaSys. Dieser Bericht stellt die Ergebnisse mit absoluten oder relativen Nennungshäufigkeiten, arithmetischem Mittelwert, Standardabweichung und Profillinien mit numerischen Angaben und in übersichtlicher graphischer Darstellung dar.
Der Ergebnisbericht wird automatisch als PDF-Datei an vordefinierte Berichtsempfänger versendet. Auch die unterschiedlichen Teilbereiche einer Befragung, im Falle des vorliegenden Projekts zwei Schul-Staffeln mit unterschiedlicher Teilnahmedauer an der Fortbildungsmaßnahme, können durch die Profillinien in den Berichten miteinander verglichen werden.
Genaue statistische Auswertungen, beispielsweise mit SPSS, sind selbstverständlich auch möglich. Jedoch hat das HeLP die Fragen dahingehend optimiert, dass mit der automatischen Auswertung für eine erste Analyse hinreichend viele Aspekte beantwortet sind. Die Antworten auf die einzige offene Frage werden transkribiert und geclustert, so dass die Anonymität gewährleistet ist.
Die Gesamtberichte gehen an die Projektleitung sowie die Schulleitungen, die Berichte der schulinternen Befragung aus Datenschutzgründen nur an die Schule. Damit letztere die Ergebnisse leichter interpretieren können, erhalten die Trainer wiederum eine Einweisung in die Interpretation der Daten, die sie an die von ihnen betreuten Schulen weitergeben können.
Der hohe Automatisierungsgrad erlaubte die Erhebung und Auswertung durch die Evaluationsstelle, die dafür an sich personell nicht ausgestattet ist und eine herkömmliche manuelle Auszählung und Auswertung nicht zuließe. Sofern Probleme oder Fragen zur Benutzung von EvaSys auftraten, stand der telefonische Techniksupport zur Verfügung, der sich aus Sicht des HeLP sehr bewährt hat.
Im nächsten Jahr sind weitere Evaluationen des hessischen Projektes „Erweiterung der Methodenkompetenz im Unterricht“ mit anderen Fragebogen geplant.
