Effektvurdering af Borgerrådgiverens undervisning
Indstilling og beslutning
1. at drøfte Borgerrådgiverens forslag til en metode til systematisk at vurdere effekten af Borgerrådgiverens undervisning af kommunens medarbejdere.
Problemstilling
En af Borgerrådgiverens hovedopgaver er at medvirke til at forbedre forholdene for brugerne af Københavns Kommune, herunder ved at tilbyde undervisning i forvaltningsret mv. til kommunens medarbejdere. Formålet med Borgerrådgiverens undervisning er at kvalificere forvaltningernes medarbejdere med henblik på at forebygge fejl i sagsbehandlingen og borgerbetjeningen. Samtidig indebærer Borgerrådgiverens undervisning, at de enkelte forvaltninger sparer betydelige udgifter til eksterne kurser.
Under temadagen den 16. januar 2013 efterlyste Borgerrådgiverudvalget en effektvurdering af Borgerrådgiverens undervisningsvirksomhed. Der skal følges op herpå ved, at Borgerrådgiveren fremlægger et forslag til en metode til på systematisk vis at vurdere effekten af Borgerrådgiverens undervisning.
Løsning
Borgerrådgiveren søger kontinuerligt at tilrettelægge undervisningen sådan, at denne sikres den mest optimale effekt. Borgerrådgiverens undervisning er således karakteriseret ved at være skræddersyet til det aktuelle behov hos kursisterne, som fastlægges på et eller flere planlægningsmøder. Derudover tager undervisningen udgangspunkt i Borgerrådgiverens viden om sædvanlige fejl og forsømmelser på det pågældende område i kommunen specifikt og i den offentlige forvaltning generelt.
Allerede på nuværende tidspunkt foretager Borgerrådgiveren en systematisk evaluering af kursisternes tilfredshed med udbyttet af Borgerrådgiverens undervisning, ligesom Borgerrådgiveren løbende følger op på tilbagemeldinger på den ydede undervisning. Denne evaluering og opfølgning bidrager til kvaliteten af Borgerrådgiverens undervisning – med henblik på at opnå det maksimale udbytte for kursisterne – men kan i sagens natur ikke sige noget om undervisningens faktiske effekt på kvaliteten af forvaltningernes sagsbehandling og borgerbetjening.
Borgerrådgiveren har overvejet, om det er muligt at foretage egentlige målinger af effekten af Borgerrådgiverens undervisning. Der findes ikke sådanne effektmålinger hos Borgerrådgiveren, og Borgerrådgiveren bekendt heller ikke i de forvaltninger, hvor Borgerrådgiveren har gennemført undervisning.
Der eksisterer efter Borgerrådgiverens vurdering ikke en reel mulighed for at foretage en måling af effekten af Borgerrådgiverens undervisning. Af den grund er det Borgerrådgiverens opfattelse, at det ikke giver mening at opstille egentlige effekt-måltal for Borgerrådgiverens undervisning.
Borgerrådgiveren har i stedet overvejet, hvordan Borgerrådgiveren kan foretage en systematisk vurdering af effekten af Borgerrådgiverens undervisningsvirksomhed. Borgerrådgiveren har på den baggrund udarbejdet et forslag til en metode, som i et vist omfang vil muliggøre en vurdering af effekten i forhold til den enkelte undervisningsopgave og samtidig vil give et vist overblik over den vurderede effekt af Borgerrådgiverens samlede undervisningsvirksomhed.
Metoden består overordnet set i, at Borgerrådgiveren indhenter oplysninger fra kursisterne og deres nærmeste leder/ledelse forud for undervisningen, umiddelbart efter undervisningen og endelig tre måneder efter undervisningen. Oplysningerne vil gøre det muligt for Borgerrådgiveren at vurdere, om forvaltningernes medarbejdere gennem undervisningen har fået en viden, som kan forebygge fejl i sagsbehandlingen og borgerbetjeningen.
Oplysninger fra kursisterne
Første element i metoden består af – forud for undervisningen – at spørge kursisterne om deres viden om de minimumskrav, der er relevante for sagsbehandlingen og borgerbetjeningen på deres arbejdsområde. Kursisterne vil kunne stilles spørgsmål, der afdækker, hvorvidt de oplever at have tilstrækkelig viden om, hvilke regler, der gælder for sagsbehandlingen og borgerbetjeningen på deres arbejdsområde og om de eventuelt selv oplever mangler i forhold til deres daglige arbejde. Samtidig kunne der også stilles spørgsmål til, om kursisterne oplever, at de har velfungerende arbejdsmæssige rammer (it-understøttelse, adgang til vejledninger mv.), som gør det muligt for dem at iagttage regler, der gælder for sagsbehandlingen og borgerbetjeningen på deres arbejdsområde. Sådanne spørgsmål vil kunne afdække eventuelle barrierer for undervisningens effekt i kommunens ydelser.
Umiddelbart efter undervisningen vil kursisterne blive spurgt om, hvad deres udbytte af undervisningen har været. Kursisterne vil bl.a. kunne spørges om, hvilken viden, de har fået gennem undervisningen, som de ikke havde før, og hvordan de kan bruge denne viden i deres daglige arbejde.
Tre måneder efter undervisningen vil kursisterne igen blive spurgt om, hvilken viden, de fik gennem undervisningen, som de ikke havde før – denne gang med henblik på at få oplysning om, hvorvidt kursisterne stadig husker det nærmere indhold af Borgerrådgiverens undervisning – samt om og hvordan de faktisk anvender denne viden i deres daglige arbejde.
Oplysninger fra lederen/ledelsen i den pågældende enhed
Andet element i metoden består af – forud for undervisningen – at spørge den nærmeste leder/ledelse i den enhed, hvori kursisterne arbejder, om, hvad der konkret er årsag til, at de ønsker Borgerrådgiverens undervisning (eksempelvis konstateret manglende viden, nye opgaver mv.). Det vil være relevant at nedfælde de konkrete undervisningsmål på dette tidspunkt med henblik på at målrette de senere spørgsmål til kursisterne.
Umiddelbart efter undervisningen vil lederen/ledelsen blive spurgt om, hvad udbyttet af undervisningen har været set i forhold til årsagen til ønsket om undervisning. Derudover vil lederen/ledelsen blive spurgt om, hvordan der vil blive fulgt op på undervisningen fra lederens/ledelsens side for at sikre, at den viden, som medarbejderne har fået gennem Borgerrådgiverens undervisning, anvendes i medarbejdernes daglige arbejde.
Tre måneder efter undervisningen vil lederen/ledelsen igen blive spurgt om, hvad udbyttet af undervisningen har været, samt hvilke konkrete tiltag lederen/ledelsen har iværksat for at sikre, at den viden, som medarbejderne har fået gennem Borgerrådgiverens undervisning, faktisk anvendes i medarbejdernes daglige arbejde.
Borgerrådgiverens vurdering af effekten
Tredje element i metoden består af, at Borgerrådgiveren – på baggrund af oplysningerne fra kursisterne og deres nærmeste leder/ledelse – foretager en vurdering af effekten af den konkrete under-visningsopgave. Vurderingen foretages ud fra nærmere angivne parametre, som vil være baseret på, om forvaltningernes medarbejdere gennem undervisningen har fået og indlejret en viden, som kan forebygge fejl i sagsbehandlingen og borgerbetjeningen.
Borgerrådgiverens vurdering af effekten af hver enkelt undervisningsopgave kan indgå i en årlig sammenfattende vurdering af effekten af Borgerrådgiverens samlede undervisningsvirksomhed.
Som det fremgår, indebærer metoden, at vurderingen af effekten af Borgerrådgiverens undervisningsvirksomhed vil være baseret på kursisternes og deres nærmeste leder/ledelses subjektive tilkendegivelser og forhold. En sådan vurdering vil være undergivet en vis usikkerhed, som der derfor må tages forbehold for.
Form
For at sikre et enkelt, ensartet og sammenligneligt vurderingsgrundlag er det nødvendigt, at vurderingen baseres på typemæssigt ensartede oplysninger fra henholdsvis kursisterne og deres nærmeste leder/ledelse.
Et sådant vurderingsgrundlag sikres ved, at kursisterne henholdsvis deres nærmeste leder/ledelse på hvert af de tre oplysningstrin i processen anmodes om at svare på et spørgeskema, der er enslydende for alle Borgerrådgiverens undervisningsopgaver. Fremsendelsen og besvarelsen af spørgeskemaerne vil med fordel kunne ske elektronisk, eksempelvis ved brug af en e-mailbaseret løsning.
Borgerrådgiveren bemærker sluttelig, at den konkrete effekt af Borgerrådgiverens undervisning til en vis grad vil hænge sammen med omfanget af behovet for undervisning hos kursisterne. Borgerrådgiverens evalueringsmodel, INDICIUM, som blev vedtaget på møde i Borgerrepræsentationen den 31. oktober 2013, forventes bl.a. at indebære, at de enkelte forvaltninger (såvel som Borgerrådgiveren) får bedre mulighed for at identificere konkrete enheder i forvaltningerne, hvor medarbejderne måtte have et særligt undervisningsbehov.