Evaluering bliver mere systematiseret i den offentlige sektor

08.11.06

At evaluere betyder i al sin enkelthed at standse op efter et gøremål og vurdere om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser. I denne brede betydning af begrebet er evaluering en almen menneskelig praksis.

- Artiklen er skrevet af TNS Gallup.

Hvorfor evaluering - evalueringers formål?
Hvordan evaluering - hvilke evalueringsmodeller findes?
Evaluering er kommet for at blive
Den offentlige sektors evalueringshistorie

De seneste 30 år er ledere i offentlige organisationer imidlertid i stigende grad begyndt at benytte mere systematiske former for evaluering som input til organisations- og ydelsesudvikling. Alt tyder på, at systematiske former for tilbageskuende refleksion er kommet for at blive i den offentlige sektor.

I dag er det for mange ledere ikke længere et spørgsmål om at være for eller imod evaluering. Nu og i fremtiden vil en vigtig ledelsesopgave bestå i at afgøre, hvilke situationer der kalder på evaluering og hvilken evalueringstype, der mest passende kan anvendes.

Tendensen til øget evaluering indenfor det offentlige dækker over forskelligartede aktiviteter, der initieres med forskellige formål. Den store udfordring for ledere i offentlige organisationer (evt. i sparring med en ekstern evaluator) består i at afdække behovet for viden i organisationen. Udgangspunktet for en evaluering er som regel, at lederen gerne vil vide mere om en specifik indsats, der på den ene eller anden måde er opstået et beslutningspres omkring. Denne udfordring bør gribes an ved at formulere svar på to grundlæggende spørgsmål:

• Hvad er formålet med undersøgelsen?
• Hvilke evalueringsmodeller kan tilvejebringe den ønskede viden?

Til top

Hvorfor evaluering - evalueringers formål

Inden for det offentlige iværksættes evalueringer som oftest med et eller flere af følgende formål: et læringsformål, et kontrolformål, et dokumentationsformål eller et demokratiformål.

Evaluering som redskab til læring

Evaluering iværksættes her, når ledelsen oplever, at de har for ringe kendskab til en specifik indsats, hvis fremtid, struktur og virkemåde ledelsen ønsker at forholde sig til. Evalueringens formål er at tilvejebringe et systematisk vidensgrundlag at træffe beslutninger omkring programmer eller indsatsers fremtid.

Vidensinputtet indgår efterfølgende på lige fod med andre overvejelser i ledelsens refleksioner over omstruktureringer, fremtidige handleplaner, stop/go-beslutninger etc. Det er værd her at lægge mærke til, at systematisk indsamlet viden om "best practice" ofte kan virke til inspiration og læring andre steder i forvaltningen, sådan at gode måder at gøre tingene på kan spredes som ringe i vandet.

Evaluering som kontrol

Evalueringen iværksættes her for at sikre indsatseffektivitet, bl.a. i forbindelse med den decentralisering, der har fundet sted inden for den offentlige forvaltning de seneste år. Kontrolevalueringen mindsker afstanden mellem ledelsen og det serviceproducerende led gennem at levere information til ledelsen om resultater og målopfyldelse.

Udover at levere information om performance kan kontrolevalueringer også virke som et aktivt redskab til forandring. Løbende kontrolevalueringer har den positive konsekvens, at de evaluerede bringes til at reflektere over deres arbejdsmæssige virke og som regel vil søge at bringe deres praksis i overensstemmelse med de kvalitetsdimensioner, deres arbejde bliver vurderet på.

Evaluering som dokumentation

Evalueringen iværksættes her for at dokumentere overfor overordnede instanser eller borgerne, at der præsteres tilfredsstillende indenfor et serviceområde. Evalueringer, hvis overordnede formål er dokumentation, iværksættes typisk, når et bestemt forvaltningsområde er kommet under politisk pres eller har modtaget kritisk mediedækning baseret på enkeltsager.

Ledelsen kan så initiere en ekstern evaluering for at dokumentere overfor interessenterne, at der overordnet er tilfredshed med indsatsen, og/ eller at der på det pågældende område leveres 'value for money'. Sådanne evalueringer iværksættes både reaktivt som led i damage control/ imagepleje og proaktivt, når der er frygt for, at der i en nær fremtid vil opstå et politisk pres for at få nedlagt eller decimeret et eksisterende program.

Evaluering som demokratisk redskab

Evalueringer kan benyttes som et redskab til at forbedre demokratiet. For det første kan evalueringer give brugerne mulighed for at give deres mening til kende om de ydelser de benytter sig af. Den politiske debat af i dag handler kun sjældent om indretningen af enkeltydelser. Brugerevalueringer udgør således en sjælden mulighed for borgerne til at kommunikere til det politiske-administrative system om deres syn på ydelserne og 'front end' personalets præstationer. For det andet kan evalueringer frembringe vurderinger af forholdet mellem input og outcome i offentlige indsatser. Vurderinger af effektivitetsdimensionen er væsentlige for borgernes mulighed for at tage stilling til de folkevalgtes præstationer og holde dem fast på deres løfter.

Til top

Hvordan evaluering - hvilke evalueringsmodeller findes?

Når formålene med en evaluering er klarlagt, er det næste skridt at udvælge den rette model for undersøgelsen. Valget af evalueringsmodel er at sammenligne med den proces hvorved fotografen zoomer ind på sit motiv og derved beskærer billedet. Modelvalg er m.a.o. bestemmende for, hvilke forhold i den evaluerede indsats, der i undersøgelsen vil blive henholdsvis synlige og usynlige. Følgende overordnede evalueringsmodeller anvendes typisk inden for den offentlige sektor: målopfyldelsesevaluering, sammensat evaluering og brugerevaluering.

Målopfyldelsesevaluering

Måleopfyldelsesmodellen er resultatorienteret. Det grundlæggende undersøgelsesspørgsmål i målopfyldelsesevalueringer er: har indsatsen levet op til de politisk formulerede programmål? Modellen indebærer en relativ simpel operation for evaluator: identificering af indsatsmålsætninger, måling af effekter afstedkommet af indsatsen og afsluttende en vurdering af diskrepansen mellem de to. Styrkerne ved en denne model er, at den er relativ billig. Samtidig leverer undersøgelsen svar på, hvorvidt programmet har realiseret de politisk vedtagne intentioner. Alt afhængigt af disse intentioner kan evalueringen indeholde en vurdering af efficiency (value for money).

Ulempen ved modellen er, at der ikke leveres detaljerede svar på, hvorfor resultaterne af indsatsen er blevet, som de er. Selve planlægningsfasen og programimplementeringen behandles således ikke som et undersøgelsesområde i sig selv, hvilket betyder at de faktorer der har skabt diskrepansen forbliver usynlige i evalueringens resultater. Modellen er derfor ikke velegnet til at generere læring, derimod er den velegnet i relation til kontrolformål, dokumentationsformål og demokratiske formål.

Sammensat evaluering

Sammensat evaluering er procesorienteret. I modellen måles på, om der er overensstemmelse mellem indsatsens intentioner og outcome. Evalueringsspørgsmålet fra måleopfyldelsesmodellen suppleres her med følgende evalueringsspørgsmål: Er aktivitetsniveauet tilfredsstillende? Har der været implementeringsfejl? Er processerne gennemført som planlagt? Fordelen ved sammensat evaluering er derfor, at de forklarende faktorer i forhold til programmets resultater synliggøres. Evalueringen muliggør derfor, at organisationen kan oparbejde en viden om det felt, som indsatsen virker indenfor.

Sammensat evaluering udføres ideelt i real-time, dvs. at evaluator løbende følger en indsats fra beslutningsfase til output. Som oftest iværksættes denne type evaluering dog først efter beslutningsfasen er overstået, hvorfor modellen typisk involverer gennemlæsning af store mængder dokumentarisk materiale produceret i forbindelse med indsatsen. Sammensat evaluering anvendes ofte i evalueringen af forsøgsordninger, hvor systematiske erfaringer kan bruges til at løse lignende problemer andre steder i forvaltningen.

Brugerevaluering

Evalueringsmodellen er aktørorienteret og sigter imod borger- og brugerinddragelse. I brugerevaluering spørges de direkte brugere om deres vurdering af indsatsen. Modellen måler på overensstemmelsen mellem brugernes forventninger og deres oplevelser i mødet med 'systemet'. Denne type anvendes hyppigt i tilfredsheds- og
medarbejdertilfredshedsundersøgelser indenfor kommunale, amtslige og statslige serviceområder (hjemmepleje, daginstitutioner, undervisning, transport).

Brugerevaluering anvendes med flere forskellige formål. For det første bliver modellen anvendt af ledere for at kontrollere brugernes tilfredshed med 'front end personalet', for det andet bruges modellen til at identificere fremtidige indsatsområder i serviceproduktionen, for det tredje iværksættes brugerevalueringer for at dokumentere, at en ydelse fungerer godt. I praksis kombineres brugerundersøgelsers subjektive vurderinger ofte med mere objektive vurderinger i en målopfyldelsesevaluering, da nyere undersøgelser har vist, at brugere/ klienter har en tendens til systematisk at overdrive utilfredshed i håbet om at opnå forbedringer i servicen.

Til top

Evaluering er kommet for at blive

Det er svært at gisne om hvilken af de tre evalueringsmodeller, der i fremtiden vil opnå den hyppigste anvendelse, men alt tyder på at evaluering også i fremtiden vil vedblive at være vigtigt redskab for den offentlige sektor i Danmark.

I stat, amter og kommuner har man de senere år set en opgradering af bestillerkompetencerne. I mange offentlige organisationer er der oprettet interne specialiserede evalueringsafdelinger og/ eller retningslinier for bestillingen og kvalitetssikringen af eksterne evalueringer.

Velfærdsstaten er i disse år udsat for et stigende ressourcepres med kombinationen mellem skattestop og servicebevidste borgere. Presset på ressourceanvendelsen vokser og dermed stiger behovet for at skabe og dokumentere kvalitet for pengene i ydelserne. Ligeledes gælder det, at nyere forvaltningspolitik har introduceret styreformer med større decentral autonomi, hvilket skaber et øget behov for vurderinger af forholdet mellem ressourceanvendelsen og realiseringen af politiske målsætninger. Evaluering er kommet for at blive. Derfor er det vigtigt at man som leder i en offentlig organisation sætter sig ind i evalueringsredskabernes muligheder og begrænsninger.

Til top

Den offentlige sektors evalueringshistorie

Evalueringer har gennem de seneste 30 år vundet stor udbredelse indenfor stat, amter og kommuner, hvor både antallet af ressortområder inden for hvilke redskaberne anvendes og evalueringsintensiteten har været stadig stigende.

Den statslige sektor begyndte i starten af 1970'erne for alvor at anvende evalueringer. I starten blev evalueringer iværksat ad hoc indenfor det social politiske område, ulandsbistand og forskningsområdet. 80'erne blev karakteriseret af en stigende evalueringsintensitet. Dels steg anvendelsen af evalueringer indenfor de sektorer, hvor evaluering var blevet introduceret i 70'erne. Dels blev evalueringspraksis spredt til nye politikområder (arbejdsmarked, erhvervsfremme, uddannelse).

Udviklingen er fortsat ind i 90'erne og frem til i dag, hvor evaluering også er blevet adopteret på områderne trafik, miljø, energi, landbrug, fiskeri og sundhed. Status på det statslige evalueringsfelt kan her i starten af det nye årtusinde beskrives på den måde, at evaluering er adopteret som praksis på en bred vifte af ressort- og politikområder.

Litteratur:
Evert Vedung (2000): Public Policy and Program Evaluation. Hanne Foss Hansen (2003): Evaluering I staten - kontrol, læring eller forandring. Peter Dahler Larsen og Hanne Kathrine Krogstrup (2001): Tendenser i evaluering. Peter Dahler Larsen (2000): Surviving the routinization of evaluation: The administrative use of evaluation in Danish Municipalities, i Administration and Society, vol. 32.

Artiklen er fra TNS Gallup.

Læs mere

Væksthusets guide til ledelsesevaluering

Du kan da godt blive lidt såret

10 principper for god ledelsesevaluering

Anonymitet eller ej?