Dashboard-Lösungen als Instrument zur Beteiligung von Fachkräften in Evaluationen und Wirkungsanalysen

Ergebnisse von Evaluationen und Wirkungsanalysen sollten so aufbereitet und zur Verfügung gestellt werden, dass Fachkräfte in den zu untersuchenden Projekten daraus Rückschlüsse und Konsequenzen für die eigene Arbeit ableiten können. Vielversprechend erscheint hier der Aufbau von regelmäßig aktualisierbaren Auswertungs-Dashboards, mit deren Hilfe Fachkräfte Daten selbständig analysieren können. Im Beitrag wird dargestellt, warum Dashboard-Lösungen im Rahmen von Evaluationen und Wirkungsanalysen sinnvoll sind und wie bei der Erstellung sinnvollerweise vorgegangen werden sollte. Anhand konkreter Beispiele wird die Umsetzung in der Praxis dargestellt, um am Schluss darauf aufbauend künftige Herausforderungen zu formulieren.

Evaluationstätigkeit in der schweizerischen Bundesverwaltung

Die schweizerische Bundesverwaltung blickt auf eine rund 25-jährige Evaluationstätigkeit zurück, die in den 1990er und 2000er Jahren ihren Anfang nahm und mit einer zunehmenden Institutionalisierung der Evaluation in der Schweiz einherging. Mit der Totalrevision der Bundesverfassung wurde 1999 Artikel 170 eingeführt, welcher die Bundesversammlung mit der Überprüfung der Maßnahmen des Bundes beauftragt und mittelbar auch den Bundesrat und die Bundesverwaltung umfasst. Der Bundesrat hat 2004 die Evaluationstätigkeit in der Bundesverwaltung gestärkt und Anfang 2020 die inzwischen etablierten Prozesse und Grundlagen für Ex-ante-Evaluationen weiter gefestigt. Eine Evaluationskultur entwickelt sich stetig weiter und ist meist ein langwieriger, nie abgeschlossener Prozess. Ein reger und kontinuierlicher Austausch zwischen den Evaluationsverantwortlichen der einzelnen Bundesstellen ist unabdingbar, um eine zu große Heterogenität zu vermeiden.

Intendierte Wirkungen von MINT-Vorkursen im Studienverlauf. Methodische Herausforderungen der Evaluation von Unterstützungsangeboten am Beispiel einer Längsschnittstudie an vier deutschen Universitäten

Die Auswirkungen der Teilnahme an MINT-Vorkursen, insbesondere im zeitlichen Verlauf des Studiums, wurden bisher auch aufgrund bestehender methodischer Herausforderungen nur selten in den Fokus genommen. Dieses Desiderat greift der Beitrag auf. Am Beispiel einer Längsschnittstudie an vier deutschen Universitäten wird im zeitlichen Verlauf anhand von Regressionsmodellen untersucht, inwieweit sich unter Kontrolle von Drittvariablen Unterschiede zwischen Teilnehmenden und Nichtteilnehmenden (zu Studienbeginn, nach dem ersten sowie nach dem zweiten Studienjahr) in Bezug auf fachliche, soziale und organisatorische Aspekte des Studiums zeigen. Dabei werden insbesondere methodische Schwierigkeiten der Evaluation von MINT-Vorkursen diskutiert. Die Datengrundlage bilden die Erstsemesterbefragung im Wintersemester 2016/2017 sowie die Wiederholungsbefragungen im Sommersemester 2017 und Sommersemester 2018, die im Rahmen des Verbundprojekts ‚StuFo‘ (Begleitforschung zum Qualitätspakt Lehre) durchgeführt wurden.

Und was hat das jetzt gebracht? Zum Nutzen von Evaluationen bei partizipativen Evaluationsstrategien im Universitätskolleg der Universität Hamburg

Der Beitrag stellt die evaluative Begleitung im Universitätskolleg der Universität Hamburg mit dem Fokus auf Dimensionen des Nutzens von Evaluationsergebnissen und des Evaluationsprozesses vor. Angelehnt an Saunders (2011, 2012) liegt in der Art und Weise, wie partizipativ professionell Evaluierende die Begleitung gestalten, die Möglichkeit, Nutzen zu schaffen. Nach theoretischen Erwägungen zum Nutzen von Evaluationen wird aufgezeigt, wie es durch die partizipative Evaluationsstrategie am Universitätskolleg gelungen ist, verschiedene Formen von Befund- und Prozessnutzen zu generieren, und welche Herausforderungen dabei zu berücksichtigen sind. Dabei zeigt sich die auf dem Ansatz der Partizipativen Evaluation basierende Strategie als besonders geeignet, um individuelle und projektbezogene Erträge aus dem Prozess heraus zu generieren und damit die Anwendbarkeit der Erkenntnisse zu erhöhen. Die organisationalen Nutzungsmöglichkeiten der Befunde stellen sich als eingeschränkt dar.

Evaluation überfachlicher Studienanteile an Hochschulen. Das Beispiel des ‚Studium Integrale‘ an der Universität zu Köln

Wie viele andere Hochschulen hat auch die Universität zu Köln einen überfachlichen Studienanteil eingerichtet, der das Fachstudium der Bachelorstudiengänge ergänzt. Dieses Studium Integrale (SI) ist dazu vorgesehen, Themen anderer Fachdisziplinen kennenzulernen sowie studien- und berufspraktische Kompetenzen zu erwerben. Für die formative Evaluation des SI wurde zunächst ein logisches Modell erstellt, das die Formulierung von Qualitätskriterien ermöglicht. Mit Befragungsdaten und Datenbank-Exporten konnten die Kriterien überprüft und schließlich Handlungsfelder identifiziert werden, die Entwicklungsmöglichkeiten auf technischer, inhaltlicher, organisatorischer und strategischer Ebene aufzeigen. Die im Hochschulbereich üblichen Instrumente der Qualitätssicherung sind für übergreifende Studienanteile wenig geeignet. Am Beispiel des SI demonstriert und diskutiert der Beitrag daher Möglichkeiten und Grenzen des gewählten Vorgehens für Evaluation und Qualitätssicherung solcher Programme.