Wegweiser

Indikatoren zur Evaluation von WissKomm entwickeln

Ziele greifbar machen

Projektziele zu überprüfen ist ein zentrales Motiv von Evaluationen. Dabei kann es je nach Ziel herausfordernd sein, die Zielerreichung sicht- und evaluierbar zu machen. In diesen Fällen braucht es Indikatoren zur Evaluation. Der Wegweiser zeigt auf, wie Indikatoren entwickelt und anhand der SMART-Kriterien kritisch geprüft und geschärft werden können.

Hilfestellungen zur Formulierung von Projektzielen bietet übrigens der erste Teil der How-To-Reihe Wisskomm evaluieren.

Ziele greifbar machen 

Wie finde ich Indikatoren und wie können SMART Kriterien helfen, diese gewinnbringend zu gestalten?

Die Impact Unit gibt in diesem Wegweiser Hilfestellung für Praktiker*innen bei der Entwicklung von Indikatoren in der Evaluation von Wissenschaftskommunikation. Anhand eines konkreten Beispiels wird aufgezeigt, wie die Kriterien genutzt werden können, um gute und passgenaue Indikatoren zu entwickeln.

Für eine detaillierte Auseinandersetzung mit der Entwicklung von Projektzielen empfehlen wir darüber hinaus unser How-To 1: Wissenschaftskommunikation strategisch planen

How-To-Reihe

Ein Begleiter durch die eigene Evaluationsplanng

Mit der How-To-Reihe Wisskomm evaluieren lässt sich der Planungsprozess einer Evaluation in der Wissenschaftskommunikation von Anfang bis Ende durchlaufen.

  • Erklärungen der einzelnen Planungsschritte
  • Anschauliche fiktive Kurzbeispiele sowie Praxisbeispiele zum Nachschlagen
  • Checklisten und Tipps zur selbstständigen Evaluation
  • Weiterführende Lektüretipps
  • Verweise auf weiteres Zusatzmaterial und Vorlagen

Wissenschaftskommunikator*innen können die How-To-Reihe in Vorbereitung auf ihre Evaluation zu Rate ziehen, als begleitende Lektüre von Start bis Ende des Evaluationsprozesses nutzen oder direkt zum Teil der Reihe springen, der ihnen akut weiterhilft.

How-To-Reihe

Wegweiser pdf

1. Wissenschaftskommunikation strategisch planen

In diesem How-To erfahren Leser*innen, wie sie eigene Projektziele und Zielgruppen definieren, entsprechende Indikatoren zur Evaluation ableiten und Zielmodelle anwenden können.

Wegweiser pdf

2. Evaluationsvorhaben bestimmen

In diesem How-To erfahren Leser*innen, wie die ersten zentralen Elemente eines Evaluationsvorhabens festgelegt werden: Motive, Evaluationsfragen, Daten, Datenquellen und Erhebungsmethoden.

Wegweiser pdf

3. Erhebungsdesign einer Evaluation planen

In diesem How-To erfahren Leser*innen, wie eine Datenerhebung systematisch geplant, der ideale Zeitpunkt dafür erkannt und der Datenumfang bestimmt wird.

Wegweiser pdf

4. Evaluationsinstrumente entwickeln

In diesem How-To erfahren Leser*innen, worauf sie bei der Erstellung gängiger Erhebungsinstrumenten für die Evaluation achten sollten.

Wegweiser pdf

5. Datenauswertung einer Evaluation planen

In diesem How-To erfahren Leser*innen, wie sie eine zielgerichtete und schlüssige Datenauswertung vorbereiten und angehen.

Wegweiser pdf

6. Evaluationsergebnisse berichten und reflektieren

In diesem How-To erfahren Leser*innen, welche Fragen sie sich zur Interpretation und Diskussion ihrer Ergebnisse stellen sollten und wie die Erkenntnisse der Evaluation verwendet werden, um den größtmöglichen Mehrwert zu erreichen.

Wegweiser

Teilnahmequoten in der Evaluation von Wissenschaftskommunikation erhöhen

Interaktives Tool

Für die Qualitätssicherung von Wissenschaftskommunikation spielen Evaluationen eine zentrale Rolle. Dabei sind standardisierte Befragungen von Teilnehmenden oder Besucher*innen eine oft genutzte Methode, um Evaluationsdaten zu erheben, da diese eine recht niedrigschwellige Möglichkeit darstellen auch größere Mengen an Daten zu erheben. In der Praxis stellt sich dabei oft die Frage, wie es gelingen kann, dass möglichst viele Personen an der eigenen Befragung teilnehmen. Denn je mehr Antworten von Befragten vorliegen, desto bessere Aussagen lassen sich bei der Evaluation über mögliche Wirkungen treffen. Doch wie lässt sich die Bereitschaft von Teilnehmenden oder Besucher*innen erhöhen einen Fragebogen auch tatsächlich auszufüllen?

Übersicht über Erkenntnisse und Tipps aus Forschung und Praxis

Die Impact Unit möchte in diesem neuen Tool einige mögliche Antworten auf diese Frage aufzeigen und damit Praktiker*innen der Wisskomm Hilfestellungen im Evaluationsprozess bieten. In die Erarbeitung dieses Tools sind sowohl Erkenntnisse aus der Forschung wie auch Erfahrungen aus der Praxis eingeflossen.

Interaktiv die passenden Informationen finden 

Das interaktive PDF ermöglicht es Praktiker*innen – je nach Bedarf – ein umfassendes Bild über die Erkenntnisse und Tipps aus Forschung und Praxis zu erhalten. Alle Informationen sind anhand von drei Aspekten zur quantitativen Erhebung von Daten sortiert:

  • Gestaltung der Befragung
  • Ansprache und Anreize
  • (kreative) Möglichkeiten vor Ort

Die dem Tool zugrunde liegenden Quellen können hier eingesehen werden.

Um alle Funktionen der interaktiven PDF nutzen zu können, öffnen Sie den Wegweiser über Adobe oder einen PDF-Viewer Ihrer Wahl. 

How-To-Reihe: Wisskomm evaluieren

6. Evaluationsergebnisse berichten und reflektieren

Hinweise zur Vorstellung, Interpretation und Verbreitung der Ergebnisse

Die Daten für eine Evaluation wurden erhoben und die Antworten auf die gestellten Evaluationsfragen liegen damit vor. Wie wird der Evaluationsprozess nun abgeschlossen? Das letzte How-To bietet einen Vorschlag für die Gliederung eines Evaluationsberichts und erklärt, wie ein nachvollziehbarer und lehrreicher Ergebnisteil aufgebaut ist. Darüber hinaus enthält das How-To Hinweise für die Reflexion der Evaluation sowie die effektive Kommunikation des Berichts – damit die investierte Arbeit auch Früchte trägt.

 

 

How-To-Reihe: Wisskomm evaluieren

5. Datenauswertung einer Evaluation planen

Hinweise für eine strukturierte Datenaufbereitung, -bereinigung und -analyse

Nach Abschluss der Datenerhebung stehen die Evaluierenden vor einer reichen Sammlung an Daten, seien es Audio- oder Videodateien, Interviewtranskripte, Survey-Antworten oder Beobachtungsnotizen. In der Phase der Auswertung geht es darum, aus der Fülle an Informationen Antworten auf die eingangs gestellte(n) Evaluationsfrage(n) zu finden. Dieser Schritt wird deutlich leichter fallen, wenn einerseits die Auswertungsschritte im Voraus geplant und andererseits die gesammelten Daten übersichtlich aufbereitet und sorgfältig geprüft werden. Deshalb führt dieses How-To durch die Schritte der Datenaufbereitung und Datenbereinigung, gibt Hinweise zur Entwicklung einer Auswertungsstrategie und den passenden Einsatz von Analysesoftwares.

 

How-To-Reihe: Wisskomm evaluieren

3. Erhebungsdesign einer Evaluation planen

Hinweise zur Planung der Datenerhebung und des Datenumfangs

Im dritten How-To erfahren Leser*innen, wie eine Datenerhebung systematisch geplant, der ideale Zeitpunkt dafür erkannt und der Datenumfang bestimmt wird. Das Erhebungsdesign beschreibt den Aufbau einer Evaluation, d. h. die Strategie, nach der die benötigten Daten erhoben werden, um die Evaluationsfrage zu beantworten. Mit der Planung des Erhebungsdesigns zeigt sich, ob die Beantwortung unter Berücksichtigung der praktischen Umstände im Rahmen des Projekts möglich ist und wie Ressourcen eingesetzt werden müssen.

Dieses How-To stellt drei Fragen vor, die zentral für die Entwicklung eines guten Erhebungsdesigns sind und erläutert, wie diese beantwortet werden können.

How-To-Reihe: Wisskomm evaluieren

2. Evaluationsvorhaben bestimmen

Festlegung der ersten zentralen Elemente eines Evaluationsvorhabens

In diesem How-To erfahren Leser*innen, wie die ersten zentralen Elemente eines Evaluationsvorhabens festgelegt werden. Zunächst wird in der ersten Phase der Evaluationsplanung erarbeitet, aus welchen Gründen ein Projekt evaluiert werden soll – idealerweise unter Einbezug aller Projektbeteiligten. Auf dieser Basis können viele zentrale Elemente eines Evaluationsvorhabens herausgearbeitet werden: die konkreten Evaluationsfragen, die benötigten Informationen bzw. Daten, die entsprechenden Datenquellen und die passenden Erhebungsmethoden.

Das How-To: Evaluationsvorhaben bestimmen begleitet diese theoretische Herleitung, aus der bereits ein skizzenhafter Evaluationsplan resultiert. Dabei zeigt es auf, was es bei der Identifikation der verschiedenen Elemente zu beachten gibt.

How-To-Reihe: Wisskomm evaluieren

4. Evaluationsinstrumente entwickeln

Hinweise zur Erstellung gängiger Erhebungsinstrumente

Dieses How-To liefert – unter Berücksichtigung zentraler wissenschaftlicher Gütekriterien – Anleitungen und Beispiele zur Erstellung gängiger Evaluationsinstrumente: des Fragebogens, des Interview-Leitfadens, des Beobachtungsbogens und des Kodebuch für die Inhaltsanalyse. Mit diesen vier Instrumenten lassen sich Erkenntnisse aus einer großen Bandbreite an Quellen gewinnen, sei es direktes Feedback oder Feedback in Textform, Videomaterial oder Fotos.

Zusatzmaterial zum How-To

Vorlage pdf

Kodebuch-Vorlage

Die Kodebuch-Vorlage liefert Erklärungen und Beispiele für verschiedene Kodes und Kategorien und kann als Hilfsmittel zur Vorbereitung der eigenen Inhaltsanalyse herangezogen werden.

Vorlage docx

Bausteine für das eigene Kodebuch

Hier gibt es die Bausteine für das eigene Kodebuch zusätzlich als Word-Datei.

How-To-Reihe: Wisskomm evaluieren

1. Wissenschaftskommunikation
strategisch planen

Hinweise zur Ermittlung von Projektzielen, Zielgruppen und -indikatoren

Im ersten How-To erfahren Leser*innen, wie sie eigene Projektziele und Zielgruppen definieren, entsprechende Indikatoren zur Evaluation ableiten und Zielmodelle anwenden können. Denn die Basis für eine aufschlussreiche Evaluation von Wissenschaftskommunikation wird bereits bei der strategischen Planung des Projekts selbst gelegt. Wer zu Beginn eines Projekts die Ziele klar festlegt, die Zielgruppen präzise definiert und die Kommunikationsaktivitäten danach ausrichtet, dem wird es leichter fallen zu evaluieren, ob diese Erwartungen auch eingetroffen sind. Dieses How-To gibt Denkanstöße für eine solche strategische Planung und schafft damit die Ausgangslage für eine aussagekräftige Evaluation.

Zusatzmaterial zum How-To

Vorlage docx

Ziele und Zielgruppen bestimmen

Vorlagen zur schrittweisen Herleitung der Projektziele, zur Entwicklung des eigenen Logik-Modells und zur näheren Beschreibung der eigenen Zielgruppe.

Vorlage pdf

Ziele und Zielgruppen bestimmen – Beispiel

Ein fiktives Projektbeispiel zur Veranschaulichung, wie die Vorlagen “Ziele und Zielgruppen bestimmen” benutzt werden.

Vorlage pdf

Schritte zur eigenen Theory of Change

Die wichtigsten Informationen zur Herleitung einer Theory of Change für das eigene Projekt – inklusive Checkliste.

Tools für die Praxis

Übersicht Evaluationsplanung

Für einen ersten Überblick, welche Fragen zur Durchführung einer Evaluation geklärt werden müssen

Eine aufschlussreiche und durchdachte Evaluation setzt voraus, dass man schon in der Planung inhaltliche Schwerpunkte festlegt und formale Rahmenbedingungen berücksichtigt.

Der Entscheidungsbaum zur Evaluation von Wissenschaftskommunikation

  • hilft dabei, eine logisch aufgebaute, systematische und lehrreiche Evaluation zu planen
  • stellt die zentralen Begriffe und Fragen der Evaluationsplanung vor
  • zeigt auf, wie verschiedene Entscheidungen miteinander verbunden sind
  • erklärt, welche Ausgangsbedingungen des Projekts beachtet werden sollten
  • verweist auf weitere Informationsmaterialien der Impact Unit, die wichtige Schritte näher erklären

Einen klaren Pfad gibt der Entscheidungsbaum nicht vor – schließlich sind alle Evaluationen auf das spezifische Projekt anzupassen und damit so vielfältig wie die Wissenschaftskommunikationslandschaft selbst. Ein Wissenschaftsfestival vor Ort bringt andere Voraussetzungen für die Evaluation mit als ein Citizen Science-Projekt oder ein Online-Spiel. Die Zahl der Teilnehmenden, ihre Erreichbarkeit, ihre Involvierung und nicht zuletzt die Projektressourcen werden für die Evaluation unterschiedliche Chancen eröffnen und Herausforderungen mit sich bringen. Sicher ist: Nach Beantwortung aller Fragen und Abstimmung der Planungsschritte sind alle Weichen für eine erkenntnisreiche Evaluation gestellt.

Wegweiser pdf

Entscheidungsbaum zum Ausdrucken

Neben der interaktiven Variante gibt es den Entscheidungsbaum auch als Kurzübersicht zum Ausdrucken.

Vorlage pdf

Evaluationsplanung im Schnelldurchlauf

Mit dieser Vorlage können Evaluierende den Entscheidungsbaum zur Evaluation von Wissenschaftskommunikation für ihre konkrete Evaluation Schritt für Schritt durchdenken und anskizzieren.

Wie evaluieren?

Tools für die Praxis

Wisskomm aussagekräftig evaluieren: Informationen und Hilfsmittel für Praktiker*innen

Information und Inspiration

Hier geht es ins Detail: Anleitungen und Einblicke, wie Evaluationen Schritt für Schritt umgesetzt werden.

Mehr Informationen

Vorlagen zur Evaluation

Wenn es konkret wird: Anpassbare Materialien zur Vorbereitung und Durchführung eigener Evaluationen.

Mehr Informationen