Afrapportering fra mødet:
”Ny tilgang til evaluering i Danida”.
IDA Global Development afholdt i samarbejde med Dansk Evalueringsselskab og Udenrigsministeriet et meget velbesøgt arrangement den 27. november i Ingeniørhuset.
Der har aldrig været større fokus på effekten af bistanden. Hvad kommer ud af de mange kroner, der ydes i udviklingsbistand og hvad lærer vi af erfaringerne? Evaluering har altid spillet en vigtig rolle her. Danidas evalueringskontor har imidlertid sat fornyet fokus på evaluerbarheden af nye programmer, så der kan vises resultater også på udviklingsmålene. Kontoret arbejder med at styrke læringen fra evalueringer dels gennem anvendelse af følgeevalueringer dels gennem at tilrettelægge evalueringerne på en ny måde. Danida er midt i en proces med at gentænke dets resultats og læringskultur. Dette vil ske gennem en systematisk brug af ’theory of change’ for at beskrive interventionslogik, kausalitet og forventede resultater og bekræfte disse gennem en forbedret informationsbase skabt af programmets monitorerings og evalueringssystemer. Samtidigt vil ’real-time evaluation’ blive prøvekørt i et forsøg på at forbedre rettidighed og brug af evalueringsinformation i bistandsimplementeringen. Målet er at blive bedre til at dokumentere resultater og styrke vidensgrundlaget for fremtidig programudvikling.
Sus Ulbæk (Chef for Danidas Evalueringskontor) introducerede kort koncepterne bag theory of change og real-time evaluation, samt hvordan Udenrigsministeriet vil operationalisere disse i forhold til Danidas programmer. Den efterfølgende diskussion var opdelt i tre delemner: metode – evaluerbarhed og realtime evaluation; implikationer for programplanlægning og gennemførsel; og implikationer for ’evalueringsfunktionen’. Diskussionerne om delemnerne blev sat i gang af Niels Matti Søndergaard (Formand for Dansk Evaluerings Selskab) og Poul Buch-Hansen (udviklingskonsultent).
Flere af deltagerne spurgte om hvad nyt der var i theory of change og om det ikke blot var andre ord for programme theory og logical framework. Man bød dog velkommen, at der kom fornyet fokus på ’antagelserne’ idet det ofte er i disse, at faktorerne for succes eller det modsatte ligger gemt. Real-time eller løbende evaluering og umiddelbar tilbageføring til programimplementering af, hvad man lærte, blev hilst velkommen. Referencer til tidligere praksis med midtvejsevalueringer og ’indbygget’ evaluering blev nævnt og at hvad, der blev foreslået nu, var mere intenst og direkte end de tidligere tilgange. Det tætte parløb mellem evaluering og implementering og nødvendigheden af at tænke de to sammen vil få betydning for begge funktioner og kunne komme til at stille spørgsmålstegn ved uafhængigheden af evalueringsfunktionen. Der var bred enighed om at real-time evalueringer har en vigtig rolle for læring – men, at de ikke kan erstatte uafhængige ex post evalueringer. Bland andet derfor betyder den nye tilgang, at der vil kræves flere tekniske ressources for implementering og evaluering kombineret.
Deltagerne, såvel som diskussionsigangsætterne og Sus Ulbæk udtrykte tilfredshed med den åbne og kompetente diskussion og bad om, at der ville blive lavet yderligere arrangementer til at følge udmøntningen af de nye tiltag. Mødet afsluttes med sandwichbuffet og netværkning.
Erik Blas, Formand for IDA Global Development var ordstyrer
Post scriptum
Dansk Evalueringselskab afholder sin 2015 Konference fra 27. til 29. august. Her vil der blandt andet være træningsworkshops om torsdagen i forandringsteori (ToC). Selskabet vil også prioritere oplæg omkring evaluering af bistand og opfordrer til indsendelse af sådanne. Man kan se mere på selskabets hjemmeside www.danskevalueringsselskab.dk