Zum Inhalt springen

Evaluation und Feedback in der Tauf(eltern)katechese

Evaluation

Rückmeldungen der Tauffamilien helfen, die Qualität, Passgenauigkeit und Zufriedenheit mit dem katechetischen Angebot rund um die Taufe zu überprüfen und gegebenenfalls nachzusteuern. Sie sind Hilfsmittel, um blinde Flecken aufzuspüren und Entwicklungsfelder zu benennen, machen aber auch das sichtbar, was besonders gut läuft und wertgeschätzt wird. Nicht zuletzt sind das aktive Einholen von Rückmeldung immer auch eine Art von Beteiligung und Partizipation.

Es stimmt: Die sorgfältige Erhebung von Feedback ist Arbeit. Es gilt gut zu überlegen, in welchen Bereichen sich das lohnt und in welcher Form das geschehen soll. Aber wo Menschen sich die Frage nach der Wirkung und Qualität der pastoralen Arbeit stellen, Ergebnisse sichten, Zahlen bewerten und/oder miteinander über ihre Erfahrungen ins Gespräch kommen, entsteht ganz oft eine unglaubliche Energie. Es ist unsere Erfahrung, dass das in vielen Fällen Spaß macht und motiviert.  

Wir glauben, dass Tauf(eltern)katechese ein gutes Feld für Feedback und Evaluation ist, weil wir hier auch mit Familien in Kontakt kommen, die sonst eher selten Kontakt mit Kirche haben. Hier erscheint es sinnvoll, sich regelmäßig Rückmeldungen und Feedback geben zu lassen zu den einzelnen katechetischen Angeboten und die Taufpastoral als Ganzes zu evaluieren. Als Unterstützung, wie das aussehen kann, haben wir hier einige lose Anregungen zusammengestellt. Vielleicht hilft auch ein Blick auf die Musterfragebögen für Erstkommunion und Firmung

Drei Vorbemerkungen

Begrifflichkeiten

Vorausgeschickt sei noch ein Hinweis zu den verwendeten Begrifflichkeiten Evaluation, Feedback und Rückmeldung. Sie alle haben gemeinsam, dass es um das gezielte Erheben von Informationen, Einschätzungen und Wahrnehmungen geht - und rufen doch verschiedene Assoziationen hervor. Während Evaluation eher als wissenschaftlich, empirisch und professionell fundierte Herangehensweise (mit ggf. externe Unterstützung) gedeutet wird, die objektivierbare und messbare Werte für Qualität ermitteln will, klingen bei den Stichwörtern Feedback und Rückmeldung eher individuelle, selbst entwickelte und vermeintlich einfachere Zugänge, Ansätze und Methoden an. Das mag in der Wahrnehmung (und auch von der jeweiligen Intention) stimmen; dennoch liegen die Wörter näher beieinander als man es vermuten würde - auch weil sie sich methodisch häufig überschneiden. Man wird den Begriffen wohl am ehesten gerecht, wenn man Feedback und Rückmeldungen als konkrete Evaluationsinstrumente versteht, die in ein größeres Ganzes eingebunden sein können aber nicht müssen.

Was wird evaluiert, was nicht?

Wenn es in der Pastoral um Evaluation und um die Frage der Qualität pastoralen Handelns geht, betrifft das nicht den Glauben selbst. Dieser ist - nach wie vor - unverrechenbar und unverfügbar (Stichwort "Gnade"). Die Chancen und die Möglichkeiten, dass dieser sich realisiert, und dies innerhalb der Institution Kirche, wird jedoch maßgeblich von der Qualität der Pastoral und des pastoralen Handelns beeinflusst. Es geht also bei ‚pastoraler Evaluation‘ nicht um den Glauben im Sinne des Glaubensakts (ob jetzt jemand tatsächlich glaubt), sondern vielmehr geht es um die Bedingungsmöglichkeiten dieses Glaubensaktes oder anders formuliert um das, was den Sprung des Glaubensaktes ermöglicht.

Und weil christlicher Glaube immer ein auf Gemeinschaft hin angelegter Glaube ist und sich nicht rein individuell verwirklicht, kommt der Untersuchung und Überprüfung der Vergemeinschaftungsformen und ihrer konkreten Umsetzung eine besondere Bedeutung zu.

[Vgl. Judith Könemann, Pastorale Evaluation. Eine praktisch-theologische Perspektive, in: Lebendige Seelsorge 3/2022, S. 178f.]

Was kommt heraus?

Einfach gesagt: Nur das, was man fragt. Evaluationsinstrumente evaluieren und messen immer nur das, womit sie beauftragt werden. Das fordert entsprechende Sorgfalt bei der Auswahl der Fragestellung, die untersucht werden soll und der Bestimmung des Ziels, das erreicht werden soll - ganz egal, ob eine groß angelegte Evaluation oder eine einfache Rückmelderunde am Ende einer Veranstaltung.

Die Zielsetzung gilt es bei der Auswahl der konkreten Rückmelde-Methode, der Anzahl und Fokusierung der Fragestellungen wie auch bei der Auswertung und den weiteren Überlegungen im Blick zu behalten.

Entwicklungen (z.B. "Lernerfolg") lassen sich nur dann aus Rückmeldungen ableiten, wenn es mehrere Abfragen zu den gleichen Parametern gibt - zum Beispiel vor und nach dem katechetischen Angebot. Das gilt es für größer angelegte Erhebungen mit einzuplanen. 

Mögliche Ziele von Rückmeldungen und entsprechende Fragerichtungen

Die folgenden Zielsetzungen und Möglichkeiten der Formulierung sind als Anregung zu verstehen, die Vielfalt der Zielrichtungen (und Fragestellungen) deutlich machen will. Es gilt - je nach der individuellen Zielsetzung - auszuwählen, zu kombinieren, zu ergänzen und/oder andere Fragen zu stellen...

Usability

Wie gut haben sich einzelnen Formate für die Teilnehmenden handhaben lassen?

Einschätzung von Aussagesätzen mit: stimme voll zu | stimme zu | nicht immer | stimme nicht zu

  • Das Material hat uns während des Kurses gut unterstützt.
  • Die Atmosphäre in der Gruppe war gut.
  • Der zeitliche Einsatz war für uns gut zu meistern. 
  • ...

Tabellarisierung der einzelnen Elemente

  • Bewertung und Priorisierung der einzelnen Formate: Welche Formate haben mir am besten gefallen?

Zufriedenheit

Wie groß ist die Zufriedenheit mit dem Angebot? Wurden die Erwartungen erfüllt?

Freifelder mit Satzanfängen

  • Besonders gut gefallen hat mir… | Besonders hilfreich war…
  • Im Kurs fehlte mir... | Zu kurz kam mir... | Verärgert hat mich...
  • Das hat mich überrascht...
  • Nicht verstanden habe ich...

Effektivität

Inwiefern konnten die Teilnehmenden durch das Angebot den Glauben kennenlernen, entdecken oder vertiefen?

Einschätzung von Aussagesätzen mit: stimme voll zu | stimme zu | nicht immer | stimme nicht zu

  • Wir haben uns gut auf die Taufe vorbereitet gefühlt.
  • Wir haben neue Facetten am Glauben kennengelernt.
  • Wir haben Lust auf Kirche und die Gemeinde bekommen.

Offene Textfelder

  • Das Wichtigste, das ich gelernt habe, ist...
  • Ein besonderer Aha-Moment war für mich...

Organisation

Wie bewerten die Teilnehmer organisatorische Ablauf und Umsetzung der Veranstaltung?

Benotungs- oder Bepunktungssystem

  • Anmeldung
  • Kontaktaufnahme
  • Kommunikation
  • Räumlichkeiten
  • Pausengestaltung
  • ggf. Verpflegung
  • ...

Inhalte

Kamen die "richtigen" Inhalte zur Sprache?

Offene Textfelder

  • Haben die Veranstaltungen die erwarteten Themen angesprochen?
  • Waren die „Ziele“ des Kurses transparent kommuniziert?
  • Welche Themen haben Ihnen gefehlt?
  • ...

Tabellarisierung der einzelnen Themen

  • Priorisierung der angesprochenen (und hier aufgeführten) Inhalte nach persönlicher Relevanz

Sortierung Inhalte

  • Ordnen sie die einzelnen Themen folgenden Gegenständen zu: Mülleimer ("unnötig") | Ablage ("vielleicht nochmal wichtig") | Rucksack/Handtasche ("nehme ich mit")

Persönliches Feedback

Wie haben Sie die haupt- und ehrenamtlichen Katechet:innen erlebt?

Offenes Textfeld oder Abfrage-Skala zu einzelnen relevanten Wahrnehmungen (Verständlichkeit, Autenthizität, Kompetenz, etc.)

Methodik

Wie wurden die Inhalte vermittelt?

Benotungs- oder Bepunktungssystem für

  • Medieneinsatz
  • Methodenwechsel
  • Lebendigkeit
  • Lebenswelt- und Erfahrungsbezug
  • verwendetes Material
  • Kleingruppenarbeit(en)
  • Verständlichkeit Anleitung
  • ...

Offenes Textfeld für konkrete Verbesserungsvorschläge

Nachhaltigkeit

Wie wirkt die Katchese nach?
[mögliche Frage zu einem späteren Zeitpunkt ca. ein halbes Jahr nach Taufe]

Offene Fragestellungen

  • An was denken Sie als Ersten, wenn Sie an die Vorbereitung der Taufe und die Taufelterngespräche denken?
  • Was hat sich durch die Taufe geändert?
  • Gibt es Elemente aus dem katechetischen Angebot, die Sie als Familie noch beibehalten?
  • ...

Konkrete Evaluationsinstrumente und Formen von Rückmeldungen

Bildhafte Feedbackmethoden

Zielscheibe

Zielscheibe

Die Feedbackrunde kann mit einer Zielscheibe gestalten werden, auf der die Teilnehmenden Punkte aufkleben oder Kreuze aufmalen. Die Zielscheibe hat verschiedene Themenfelder, zu denen die Zufriedenheit abfragt wird. Je näher ein Punkt an die Mitte geklebt wird, umso höher ist die Zufriedenheit.

>>> Weitere Hinweise auf der Seite der Bundeszentrale für Politische Bildung (externer Link)

Koordinatenkreuz

Das Koordinatenkreuz – auch Fadenkreuz genannt –  funktioniert ähnlich wie die Zielscheibe – allerdings gibt es für jeden Aspekt, jedes Treffen (etc.) ein kleines Koordinatensystem auf dem auf zwei Achsen der Spaßfaktor und der „Lernerfolg“ eingetragen werden können.

>>> Visuelle Darstellung des Koordinatenkreuzes (externer Link)

Skala/Barometer

Wenn Rückmeldung zu vielen verschiedenen Punkten abgefragt werden soll, können Skalen eingesetzt werden. Man wählt ein Kriterium, zu dem man gerne eine Bewertung der Teilnehmenden hätte und gibt verbal oder per Smiley entgegengesetzte Bewertungen vor. Mit einem Klebepunkt oder einem Kreuz geben die Teilnehmenden dazu ihre Meinung ab. Die Skala kann waagerecht oder senkrecht wie ein Barometer darstellen. Sie können auch in Fragebögen eingesetzt.

Variante mit einer Aufstellung im Raum
Als Abschluss von Veranstaltungen kann man die Feedback-Methode auch mit den Teilnehmenden als Übung zum Aufstellen machen. Gezielte Interviews können die Auswertung ergänzen und punktuell vertiefen…

>>> Visuelle Darstellung von Bewertungsskalen (externe Link)

Fünf Finger-Feedback

Anhand der fünf Finger werden Rückmeldungen eingesammelt: Der Daumen steht für "Das war gut", der Zeigefinger für "Darauf will ich hinweisen", der Mittelfinger für alles, was nicht gefallen hat. Der Ringfinger steht für "Das nehme ich mit" und der kleine Finger für alles, was "zu kurz gekommen" ist.

Variante A: Alle Teilnehmerinnen und Teilnehmer zeichnen die Umrisse einer Hand auf ein Blatt Papier. Anschließend schreibt jede und jeder für sich in alle fünf Finger das entsprechende Feedback.

Variante B: Mündliche Runde und jede:r sagt etwas zu den einzelnen Fingern. Das funktioniert aber nur in kleinen Gruppen gut, sonst dauert es zu lange.

>>> Visuelle Darstellung des Fünf-Finger-Feedbacks (externer Link)

Offene mündliche oder schriftliche Feedbackrunden

Bei offenen Feedbackrunden gibt es sehr viele Variationsmöglichkeiten. Sie können als offenes Gespräch oder rein schriftlich stattfinden als Schriftdiskussion. Alternativ gehen auch Mischformen: Starten Sie mit einer Kartenabfrage, auf der die Teilnehmenden Sätze vervollständigen, sie einsammeln und dann dazu ins Gespräch kommen. 
Wichtig – besonders beim reinen Gespräch: Dokumentation nicht vergessen!

Mögliche Satzanfänge wären

Das war (heute) gut … | Das wünsche ich mir….| Das würde ich ändern… | Außerdem möchte ich noch sagen… | Nützlich war, dass… | Weniger nützlich war, dass… | Mir fehlte, dass…. | Ich fühlte mich wohl/nicht wohl, weil…. | Wenn ich nach Hause komme, erzähle ich... | Wenn ich an morgen denke, geht es mir…. 

PDCA-Zyklus

In den verschiedenen Handlungsfeldern der Pastoral ist der sogenannte PDCA-Zyklus ein bewährtes Handwerkszeug, um kontinuierlich Projekte und Prozesse zu planen, zu beschreiben und zu verbessern. 

Die Abkürzung leitet sich her von:

  • PLAN (planen):Was und wie wollen wir es erreichen? (Ziele, Maßnahmen und Messgrößen)
  • DO (durchführen): Was davon haben wir tatsächlich umgesetzt?
  • CHECK (überprüfen): Wie gut ist es uns gelungen, die Ziele zu erreichen? Wo sehen wir Verbesserungspotentiale?
  • ACT (verbessern): Was haben wir schon verbessert?

Der Zyklus hilft insbesondere längerfristigen und wiederkehrenden Maßnahmen. Dabei weiß insbesondere die einfache Anwendbarkeit zu überzeugen. Das Vorgehen hinsichtlich der spezifischen Aufgaben und Problemstellungen kann nahezu uneingeschränkt angepasst werden. Mit den Schritten Plan, Do, Check und Act bleibt dennoch immer ein solides Grundgerüst bestehen. 

Fragebögen

Evaluation

Der Klassiker unter den Rückmeldung: Fragebögen - egal ob in Papierform oder online. Hier ein paar konkrete Hinweise zur Gestaltung:

  • so lang wie nötig - so kurz wie möglich
  • einladende und anregende Gestaltung
  • erfragt werden soll Meinung, weniger Bewertung oder Beurteilung
  • einfache, konkrete Sprache – ohne Fachbegriffe
  • gezielt geschlossene oder offene Fragen einsetzen – je nach Intention
  • Skalen: immer eine gerade Anzahl an Ankreuzmöglichkeiten, damit die Teilnehmenden eine Tendenz angeben müssen
  • Klare und verständliche Skaleneinteilung (Schulnotensystem, Punktzahlen 1-5, etc.), ggf. farblich unterstützt
  • beim Formulieren der Fragen immer das oder die Ziele der Evaluation im Hinterkopf behalten; wenn sie nicht passt: raus damit

Technische Umsetzungen

Survey
Digitale Umfragetools

Mentimeter ist nicht erst seit Corona ein beliebtes Live-Umfragetool. Es kann genutzt werden zur gemeinsamen Rückmeldung und Auswertung direkt am Ende eienr Veranstaltung, kann aber auch dauerhaft als offene Umfrage eingestellt werden, zu dem die Teilnehmenden mit dem entsprechenden Code Zugriff haben. Leider sehen Sie dann parallel nicht die Live-Visualisierung.

Klassische Online-Umfragetools bieten Easy Feedback, Lamapoll oder auch Limesurvey. In den kostenfreien Paketen lassen sich bereits einfache Umfragen (in der Regel anhand von Vorlagen) gestalten. Gegen Aufpreis bieten die Programme weitere Optionen und Gestaltungsmöglichkeiten oder auch komplexere Auswertungstools.

Für einfache Umfragen steht Nutzer:innen im Bistum Mainz über die Nextcloud "Forms" zur Verfügung. Hier können einseitige, unkomplizierte Umfragen erstellt werden. Darüber hinaus kann über die Pastoralräume auf eine LimeSuvey-Lizenz zurückgegriffen werden. 

 

Konkrete Beispielfragebögen - analog und digital

Im Internet bieten sich außerdem zahlreiche Vorlagen für Fragebögen. Diese können natürlich für eigene Umfragen - unter Berücksichtigung der eigenen Zielsetzung - adaptiert werden. 

Eine Vorlage aus dem Kontext Veranstaltung/Seminar finden sie hier (externer Link zu PDF). Verschiedene Vorlagen für ein eher unterrichtliches Setting (wie z.B. in der Schule) können hier gefunden werden. Eine beispielhafte Sammlung von Fragen aus dem Kontext der Weiterbildung zeigt eine hier verlinkte Musterumfrage.

Wir freuen uns über beispielhafte Fragebögen aus dem Bistum. Gerne einfach an katechese@bistum-mainz.de schicken. Danke!

Weitere Links und Hintergrundinformationen

Das Zentrum für angewandte Pastoralforschung (zap) hat ein "Kompetenzzentrum pastorale Evaluation" ins Leben gerufen. Es konzipiert und realisiert zap:evaluation maßgeschneiderte triangulierte Evaluationsdesigns für unterschiedliche kirchliche Anwendungsbereiche. Einen informativen Bericht dazu (und einem Praxisprojekt aus dem Bistum Speyer) findet sich auf katholisch.de.

Vielfältige Anregungen - insbesondere aber lesenswerte Gedanken zu "Tipps für den Erfolg eienr Evaluation und vermeidbare Fehler" - finden sich im online einsehbaren Handbuch für „Evaluation entwicklungsbezogener Bildungsarbeit“. Das Buch ist online im PDF-Format einsehbar. Die oben erwähnten zusammenfassenden Gedanken finden sich im Kapitel 6 (S. 32-34).