How-To-Reihe: Wisskomm evaluieren

6. Evaluationsergebnisse berichten und reflektieren

Hinweise zur Vorstellung, Interpretation und Verbreitung der Ergebnisse

Die Daten für eine Evaluation wurden erhoben und die Antworten auf die gestellten Evaluationsfragen liegen damit vor. Wie wird der Evaluationsprozess nun abgeschlossen? Das letzte How-To bietet einen Vorschlag für die Gliederung eines Evaluationsberichts und erklärt, wie ein nachvollziehbarer und lehrreicher Ergebnisteil aufgebaut ist. Darüber hinaus enthält das How-To Hinweise für die Reflexion der Evaluation sowie die effektive Kommunikation des Berichts – damit die investierte Arbeit auch Früchte trägt.

 

 

How-To-Reihe: Wisskomm evaluieren

5. Datenauswertung einer Evaluation planen

Hinweise für eine strukturierte Datenaufbereitung, -bereinigung und -analyse

Nach Abschluss der Datenerhebung stehen die Evaluierenden vor einer reichen Sammlung an Daten, seien es Audio- oder Videodateien, Interviewtranskripte, Survey-Antworten oder Beobachtungsnotizen. In der Phase der Auswertung geht es darum, aus der Fülle an Informationen Antworten auf die eingangs gestellte(n) Evaluationsfrage(n) zu finden. Dieser Schritt wird deutlich leichter fallen, wenn einerseits die Auswertungsschritte im Voraus geplant und andererseits die gesammelten Daten übersichtlich aufbereitet und sorgfältig geprüft werden. Deshalb führt dieses How-To durch die Schritte der Datenaufbereitung und Datenbereinigung, gibt Hinweise zur Entwicklung einer Auswertungsstrategie und den passenden Einsatz von Analysesoftwares.

 

Factsheet

Worauf kommt es bei einer guten Evaluation an?

Hinweise der Impact Unit für Evaluationen in der Wissenschaftskommunikation

Anhand welcher Kriterien lässt sich festmachen, ob eine Evaluation “gut gemacht” ist? Dieses Factsheet gibt Einblicke in Evaluationsstandards und Hinweise für solche im Bereich der Wissenschaftskommunikation.

Die Impact Unit möchte zu einer durchdachten, aussagekräftigen und damit lehrreichen Evaluationspraxis in der Wissenschaftskommunikation beitragen. Doch anhand welcher Kriterien lässt sich festmachen, ob eine Evaluation gut gemacht ist und diesem Anspruch gerecht wird?
Dieses Factsheet stellt auf Grundlage der Standards für Evaluationen der DeGEval – Gesellschaft für Evaluation wichtige Kriterien für Evaluationen vor, die vor dem Hintergrund der aktuellen Evaluationspraxis in der Wissenschaftskommunikation aus Sicht der Impact Unit besonders bedeutsam erscheinen.

 

Analysen & Erkenntnisse

Evaluationspraktiken in der Wissenschafts­kommunikation

Eine Betrachtung veröffentlichter Evaluationsberichte im deutschsprachigen Raum

Fundierte und aussagekräftige Evaluationen sind essentiell für die Verbesserung von Projekten in der Wissenschaftskommunikation und ihre Weiterentwicklung insgesamt. Gleichzeitig lassen sich einige Defizite in der aktuellen Evaluationspraxis in Deutschland feststellen, die der Entfaltung des vollen Potenzials von Evaluationen für die Wissenschaftskommunikationspraxis entgegenstehen.

Methodik und Erkenntnisse

Eine teils qualitative, teils quantitative Auswertung von 55 öffentlich zugänglichen Evaluationsberichten deutschsprachiger Wissenschaftskommunikationsprojekte offenbart mehrere Herausforderungen der Evaluationspraxis. Auffällig ist die fehlende Trennschärfe zwischen abstrakten Visionen und messbaren Zielen eines Projekts sowie die relativ unspezifische Definition von Zielgruppen. Des Weiteren werden wiederholt Evaluationen angestrebt, die Aussagen über die Wirkung von Wissenschaftskommunikation treffen sollen, ohne eine dafür geeignete Methodik zu verwenden. Über die Identifizierung dieser Herausforderung hinaus bietet die Analyse Grundlagen für die Entwicklung von Vorschlägen für eine konstruktive Weiterentwicklung der Evaluationspraxis in Deutschland.

Diese Analyse ist neben weiteren Analysen die Grundlage einer Publikation der Impact Unit in der Fachzeitschrift Frontiers in Communication, in der sie ihre Vision einer aussagekräftigen Evaluationspraxis für strategische und wirkungsvolle Wissenschaftskommunikation skizziert.

Analysen pdf 29.10.2020

Ergebnisbericht

Eine Betrachtung veröffentlichter Evaluationsberichte im deutschsprachigen Raum

Analysen pdf 07.05.2021

Wissenschaftliche Publikation (english)

A review of published evaluation reports in German-speaking countries

Factsheet jpg 06.10.2020

Graphic Recording

Graphic Recording der Projektvorstellung beim Forum Wissenschaftskommunikation 2020,
Lorna Schütte für WiD.

Evaluation practices in science communication

Scientifically valid evaluations are essential for the conduct and improvement of effective science communication. At the same time there are notable deficity in current evaluation practices in Germany that prevent the realisation of the full potential of evaluation for science communiciation.

Methodology and Findings

A part qualitative part quantitative analysis of 55 publicly available evaluation reports of German science communication projects revealed a number of challenges to evaluation practice. Especially noteworthy is the lack of precision in distinguishing between abstract visions and measurable objectives of a project as well as vague definitions of target groups. Moreover, there is a tendency to strive towards conducting evaluations that offer insights on the impact of science communication without using the appropriate methods for doing so. Beyond the identification of deficits and challenges, the analysis provides a basis to develop suggestions for an improved evaluation practice in German science communication. 

The analysis was also published as an essay in the journal Frontiers in Communication which the Impact Unit has used as an occasion to detail its vision for a meaningful evaluation practice that allows designing strategic and impactful science communication activities.