1. Was verstehen wir unter Evaluation?
Unter Evaluation verstehen wir die systematische Erhebung, Auswertung und Bewertung von Informationen in einem Projektgebiet, die wir anhand objektiv nachprüfbarer Kriterien erfassen. Dazu zählen zum Beispiel die DAC-Kriterien der OECD : Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit der Projektmaßnahmen. An diese Informationen gelangen wir mit verschiedenen sozialwissenschaftlichen Methoden. Die meisten Evaluationen umfassen einen Mix aus quantitativen Daten (Haushaltsumfragen, Sekundärdaten aus der Projektregion etc.) und qualitativen Daten (z. B. Gruppendiskussionen, Experteninterviews, Ranking-Methoden etc.). Ein Methodenmix hilft, die Schwächen einzelner Methoden zu verringern.
2. Wie viele Projekte werden pro Jahr durchschnittlich evaluiert?
Dies kann man nicht pauschal sagen, da jedes Jahr unterschiedlich viele Projekte enden oder während ihrer Laufzeit zwischenevaluiert werden. In den Jahren 2016 und 2017 haben wir insgesamt 58 Evaluationen durchgeführt: 28 in regionalen Entwicklungsprojekten, die durch Privatmittel finanziert wurden, und 30 in Projekten, die durch öffentliche Mittel gefördert wurden.
3. Wie oft wird ein Projekt evaluiert?
In der Regel wird ein langfristiges Regional-Entwicklungsprojekt alle vier bis sechs Jahre zwischenevaluiert sowie bei Projektende evaluiert. Bei bislang zwei Regional-Entwicklungsprojekten wurde zudem eine Ex-Post-Evaluation nach Förderende durchgeführt. Ex-Post-Evaluationen werden in der Regel ca. zwei bis fünf Jahre nach Projektende durchgeführt, um die Nachhaltigkeit zu ermitteln. Bei kürzeren Projekten mit einer Laufzeit von drei bis fünf Jahren gibt es meistens lediglich eine Abschlussevaluation. Dies betrifft vor allem von öffentlichen Gebern finanzierte Projekte. Dabei gelten immer die Richtlinien des Gebers.
4. Wer führt die Evaluationen durch?
In den meisten Fällen beauftragt das Länderbüro vor Ort einen lokalen Gutachter bzw. ein Team aus Gutachtern. Nur in Ausnahmefällen wird ein Gutachter aus Deutschland beauftragt oder die Kollegen vor Ort führen selbst eine Evaluation durch. Im letzteren Fall evaluieren nicht die Projektverantwortlichen ihr eigenes Projekt (Selbstevaluation), sondern organisationsinterne Personen, die keine Verantwortung für das zu evaluierende Projekt ausüben (interne Fremdevaluation). World Vision Deutschland ist an dem gesamten Evaluationsprozess beteiligt. Dazu gehören u. a. die Ausschreibung, die Auftragsklärung zur Methodik und die Abnahme des Evaluationsberichts. Die Gutachter bewerben sich auf eine öffentliche Ausschreibung mit einem Angebot und werden dann nach Kriterien wie Erfahrung, Kompetenzen, Preis u.a. ausgewählt.
5. Wie lange dauert eine Evaluation?
Eine Evaluation dauert durchschnittlich 25-30 Tage. Davon sind ca. 5-7 Tage für die Vorbereitung, ca. 13-15 Tage für die Datenerhebung im Projektgebiet und ca. 5-8 Tage für die Datenauswertung und die Erstellung des Evaluationsberichts.
6. Wieviel kostet eine Evaluation?
Dies hängt teils vom Umfang des Projekts, teils von den Kosten vor Ort und teils davon ab, ob ein Gutachter bzw. welcher Gutachter (lokal oder in Deutschland) beauftragt wird. Grob kann man sagen, dass eine Evaluation zwischen 10.000 € und 35.000 € kostet.
7. Gibt es bei World Vision Standardindikatoren?
Ja. Im Zentrum der Arbeit von World Vision stehen bei allen Projekten die Kinder. Deshalb haben wir 15 Ziele für das Wohlbefinden von Kindern festgelegt, an denen wir unsere Arbeit für und mit Kindern ausrichten. Für jedes Ziel hat World Vision Indikatoren definiert oder international anerkannte Indikatoren übernommen (Standardindikatoren). Diese ermöglichen es uns zu messen, inwieweit sich die Situation der Kinder in einem Projekt verändert hat. Die Standardindikatoren sind für alle World Vision-Büros verbindlich, d. h. in jedem Projekt werden Evaluationen unter Berücksichtigung dieser Indikatoren durchgeführt.
8. Warum führen wir Evaluationen durch?
Eine Evaluation gibt Aufschluss darüber, ob und inwiefern unsere Maßnahmen im Projektgebiet zu Veränderungen beigetragen haben – positiv oder negativ. Somit helfen uns die Informationen, die wir bei einer Evaluation gewinnen, unsere Maßnahmen in der nächsten Projektphase zu verbessern. Darüber hinaus ist eine Evaluation eine Möglichkeit, um bei Spendern und öffentlichen Gebern Rechenschaft über die Wirksamkeit unserer Arbeit abzulegen.
9. Was passiert mit den Ergebnissen einer Evaluation?
Zum einen werden die Ergebnisse genutzt, um Spender und öffentliche Geber über die Fortschritte bzw. erreichten Wirkungen der Projektarbeit zu informieren. Zudem werden die Ergebnisse vor Ort genutzt, um mit den beteiligten Familien und lokalen Partnern die weiteren Maßnahmen zu planen bzw. anzupassen.
10. Wie wird mit negativen Ergebnissen umgegangen?
Negativen Ergebnissen schenken wir besondere Aufmerksamkeit, denn sie helfen uns, unsere Arbeit für das Wohlbefinden von Kindern zu verbessern. Wir analysieren die Ursachen genau, um den Schwachstellen in der nächsten Phase entgegenzuwirken bzw. sie bei der Planung eines neuen Projekts zu berücksichtigen. Die Ursachen für negative Ergebnisse können beispielsweise sein: Schwächen bei der Projektplanung bzw. -umsetzung, fehlende fachliche Kenntnisse bei den Projektmitarbeitern, Instabilität im Kontext durch politische Krisen oder Naturkatastrophen.
