Ausrichtung und Zielgruppe sowie Procedere
der Rückmeldung
Die interne Evaluation wird vor allem block- bzw. veranstaltungsbezogen durchgeführt
und zielt nicht primär auf die Beurteilung einzelner Lehrender. Dies wäre
auch schwierig angesichts des häufigen Wechsels und die großen Zahl
von Lehrenden, die im Reformstudiengang unterrichten .(Im letzten Jahr waren es
ungefähr 350 Dozentinnen und Dozenten). Jeder einzelnen Dozentin und jedem
Dozenten eine individuelle Rückmeldung zu erstellen wäre zurzeit aus
kapazitären Gründen nicht möglich. Einzelne Lehrende erhalten aber
dann eine individuelle Rückmeldung, wenn Sie namentlich im Freitext von den
Studierenden erwähnt werden. Im Sommersemester 2002 waren dies ca. 50, im
Wintersemester 2003/04 ca. 80 Lehrende.
Eine etwas andere Situation besteht bei Veranstaltungen, die über ein Semester
hinweg von einem oder zwei Lehrenden durchgeführt werden (POL-Sitzungen,
Interaktion, Grundlagen ärztlichen Denkens und Handelns, Gesundheitswissenschaften,
Methoden wissenschaftlichen Arbeitens). Bei diesen Veranstaltungen erhält
jede Dozentin und jeder Dozent am Ende des Semesters ein individuelles Feedback
über die eigene Veranstaltung. Im Sommersemester 2002 waren dies ca. 60,
im Wintersemester 2003/04 ca. 80 Dozentinnen und Dozenten. Individuelle Rückmeldungen
gehen grundsätzlich nur an den betroffenen Lehrenden selbst. Außer
Mitgliedern der Arbeitsgruppe Reformstudiengang kann niemand sonst Einblick in
diese persönlichen Daten nehmen.
Insofern ist die Ausrichtung der Evaluation im Wesentlichen am Informationsbedarf
der Verantwortlichen ausgerichtet, die Inhalt und Struktur der Blöcke festlegen.
Freiwilligkeit
Das Ausfüllen der Fragebögen durch die Studierenden beruht auf Freiwilligkeit.
Dies hat mehrere Gründe: Wir erhoffen uns, dass die Studierenden von sich
aus einen Sinn in der Evaluation ihrer Veranstaltungen sehen und aus diesem
Grund bereit sind, Fragebögen auszufüllen. Nur dann kann die Evaluation
ein sinnvolles Instrument sein, das zur Optimierung des Reformstudiengangs beiträgt.
Ein sinkender Rücklauf ist also als ein Warnzeichen dafür, ob die
Studierenden in ausreichendem Maße nachvollziehen können, was aus
ihren Fragebögen wird und ob ihre Beurteilungen auch zu konkreten Veränderungen
geführt haben und insofern selbst ein Evaluationsergebnis.
Ein weiterer wichtiger Grund für die Freiwilligkeit der Evaluation ist
die Qualität der Auswertung. Ein Fragebogen, in dem etwa alle Items wegen
mangelndem Interesse mit "unentschieden" ausgefüllt wurde, hätte
wenig Informationsgehalt, im Gegenteil die Interpretation würde eher erschwert
als erleichtert.
Ein Nachteil der Freiwilligkeit ist sicherlich die Interpretation der "schweigenden
Masse". Wir können keine Auskunft darüber geben, ob dies nun
die besonders zufriedene oder unzufriedene Gruppe der Studierenden ist. Diesen
Verlust an Informationen nehmen wir aber unter den dargestellten Überlegungen
hin.
Um die Rücklaufquoten weiterhin hoch zu halten, ist eine kontinuierliche
Rückmeldung der Evaluationsergebnisse an Studierende wünschenswert.
Dies kann in Form von Rundschreiben, Aushängen oder Diskussionsrunden erfolgen.
Aus kapazitären Gründen erfolgt dies zur Zeit aber noch nicht vollständig.
Organisation der Erhebung
Zur Optimierung der Datenerhebung und des Rücklaufs wurde folgendes Vorgehen
standardisiert:
- Vor Beginn eines neuen Semesters werden die Fragebögen überarbeitet,
indem sie an veränderte Kurskonzepte angepasst werden. Besondere Wünsche
von Planenden werden nach Möglichkeit in den Fragebögen berücksichtigt.
- Die Fragebögen sind in die Blockbücher integriert, die am Anfang
des Semesters an die Studierenden ausgehändigt werden. So gehen die Fragebögen
nicht verloren und die Studierenden können bereits während des laufenden
Blocks in den Fragebögen Kommentare aufschreiben und einzelne Veranstaltungen
beurteilen.
- Zum Ende des Blocks werden die POL-Dozenteninnen und -Dozenten gebeten,
die Studierenden ihrer POL-Gruppe an die Evaluation und das Ausfüllen
der Fragebögen zu erinnern. Die Studierenden können die ausgefüllten
Fragebögen persönlich abgeben oder in speziell vorgesehene Kartons
im TÄF einwerfen.
- Bei geringen Rückläufen (unter ca. 60%) werden die Studierenden
in einzelnen Veranstaltungen oder erneut von den POL-Dozentinnen und -dozenten
bzw. bei der Prüfungsanmeldung an die Evaluation erinnert.
Durch dieses Procedere konnten die Rückläufe der einzelnen Blöcke
deutlich verbessert werden, wobei auffällt, dass in der Regel die im Semester
später liegenden Blöcke eine geringere Rücklaufquote haben als
die frühen Blöcke.
Einordnung und Interpretation
Die Einordnung und Interpretation der Ergebnisse in Bezug zu einem "objektiven
Vergleichsmaß" stellt einen zentralen Punkt der gegenwärtigen
Diskussion dar. Ist eine Veranstaltung, die etwa mit Median 2 (z.B. auf einer
fünf-stufigen Skala) beurteilt wurde, eine gute Veranstaltung? Ein mögliches
Vorgehen könnte sein, fakultätsinterne Standards zu entwickeln. Über
den Vergleich der Evaluation sehr vieler Blöcke oder Veranstaltungen, könnte
ein Mittelwert entstehen, an dem sich alle Blöcke messen könnten. Liegt
die studentische Beurteilung darüber oder darunter, ließe sich jeweils
feststellen, ob ein Block im Vergleich mit anderen Blöcken besser oder schlechter
beurteilt wurde.
Erste Ansätze finden sich in den Übersichten, die seit dem Wintersemester
2001/2002 erarbeitet wurden, die einzelne Evaluationsergebnisse in einen chronologischen
Zusammenhang mit vorher stattgefundenen Blöcken setzen. Ein weiterer Schritt
war die Entwicklung von jahrgangsbezogenen Referenzwerten im Sommersemester 2002,
die die Evaluationen aller Blöcke, die von dem jeweiligen Jahrgang bereits
evaluiert wurde, zusammenfassen. (siehe unten stehendes Beispiel)
Evaluationsberichte
Die Berichte beinhalten eine Zusammenfassung von 3-5Seiten sowie eine ausführliche
Darstellung der Ergebnisse, in der zu jedem Item die Stichgruppengröße,
der Median, die Häufigkeitsverteilung und bei der allgemeinen Beurteilung
des Blocks das Histogramm dargestellt sind. Am Ende jedes Berichts befindet
sich eine Zusammenfassung in tabellarischer Form mit den bereits erwähnten
jahrgangsbezogenen Referenzwerten und Evaluationsergebnissen des Blocks in den
Vorjahren.
Beispiel: Übersicht über die Evaluationsergebnisse der Übung „Interaktion“
im 6. Semester
Im Folgenden finden Sie einen Überblick der Ergebnisse zur Beurteilung der „Interaktion“
im 6. Semester. Dieser Überblick ist als Ergänzung zu den ausführlichen Evaluationsergebnissen
zu verstehen, indem die Ergebnisse mit den Ergebnissen des Vorjahres in Beziehung
gesetzt werden. Die Tabelle ist folgendermaßen aufgebaut: In
der roten Spalte finden Sie die Ergebnisse des aktuellen Semesters. In der Überschrift
finden Sie die Anzahl der Fragebögen, die in die Evaluation eingegangen sind (=N).
In der ersten schmaleren Spalte finden Sie den Median (=Md) der einzelnen Items.
In der zweiten breiteren Spalte finden Sie die Zustimmung für das jeweilige Item
in Prozenten ausgedrückt, wobei jeweils die drei zustimmenden Skalenwerte (1-3)
der verwendeten sieben-stufigen Skala (1=stimme voll zu, 2=stimme zu, 3=stimme
eher zu, 4=weder noch, 5=stimme eher nicht zu, 6=stimme nicht zu, 7=stimme gar
nicht zu) zusammengefasst wurden. In der schwarzen Spalte rechts der roten
Spalte finden Sie die Ergebnisse der Übung des Vorjahres. Der Aufbau der Spalten
ist identisch mit dem der roten Spalte.
| Items* |
SoSe 2003 N=32 |
SoSe 2002
N=38 |
| Md |
%
Zustimmung |
Md |
% Zustimmung |
| Die Zielsetzung der Übung ‚Interaktion‘ war mir klar. |
2 |
91 |
3 |
79 |
| Ich konnte die „Interaktion“ dafür nutzen, eigene Ziele für
das Blockpraktikum zu formulieren. |
3 |
61 |
3 |
53 |
| Generell war das Formulieren eigener Ziele in der „Interaktion“
eine wichtige Übung für mich, die ich auch später noch nutzen kann. |
4 |
38 |
3,5 |
50 |
| Ich habe mich im Rahmen der „Interaktion“ mit meiner eigenen
Rolle auf Station auseinandersetzen können. |
3 |
59 |
3 |
73 |
| Ich konnte in der „Interaktion“ Lösungsansätze entwickeln,
mit schwierigen Situationen besser umzugehen. |
3 |
72 |
3 |
79 |
| Ich hatte ausreichend Gelegenheit, problematische Aspekte,
die in „Interaktion“ auftauchten, auch dort zu bearbeiten. |
2 |
81 |
2 |
75 |
| Mit ist klar geworden, was ein Aufklärungsgespräch im Unterschied
zu einem Anamnesegespräch ausmacht. |
2 |
100 |
2 |
86,5 |
| Durch die Gespräche mit den Simulationspatienten/-innen habe
ich Anregungen erhalten, a)wie ich ein Aufklärungsgespräch strukturieren
kann. |
2 |
91 |
3 |
74 |
| Durch die Gespräche mit den Simulationspatienten/-innen habe
ich Anregungen erhalten, b) wie ich das Verständnis des Patienten/der Patientin
sicherstellen kann. |
2 |
97 |
3 |
63 |
| Die simulierten Krankengeschichten waren an meinem Ausbildungsstand
gemessen sinnvoll. |
2 |
97 |
- |
- |
| Die „erfundene Krankheit“ halte ich für eine hilfreiche Methode
zum Üben eines Aufklärungsgesprächs. |
2 |
66 |
5 |
30 |
| Ich
konnte durch das Feedback folgender Personen mein eigenes Verhalten mit
Patienten besser wahrnehmen: Sim.Pat. |
2 |
86 |
2 |
72 |
| Ich
konnte durch das Feedback folgender Personen mein eigenes Verhalten mit
Patienten besser wahrnehmen: Dozent/in |
2 |
87 |
2 |
81 |
| Ich
konnte durch das Feedback folgender Personen mein eigenes Verhalten mit
Patienten besser wahrnehmen: meine Kommilitonen/-innen |
2 |
87 |
2 |
83 |
| Es herrschte eine angenehme Atmosphäre in unserer Kleingruppe. |
2 |
81 |
2 |
81 |
| Ich bin insgesamt zufrieden mit der Art und Weise, wie in
unserer Gruppe Feedback geäußert wurde |
2 |
81 |
2 |
86 |
| Ich
fühlte mich von den Lehrenden ernst genommen (in meinen Bedürfnissen,
Erwartungen, Meinungen u.ä.). |
2 |
81 |
2 |
84 |
| Die
Übung „Interaktion“ hat mir in diesem Semester Spaß gemacht |
1,5 |
97 |
2 |
71 |
*Zum Sommersemester 2003 wurden die Inhalte der Übung
zum Teil umgestellt, was mit einem veränderten Itemsatz einherging. |
