Indicatoren voor doorwerking

Categorie: Opvolging / Nazorg / Doorwerking

Doorwerkingspatronen zijn vaak vrij vaag en zijn dus lastig te meten. Het meten van bepaalde effecten zegt wel iets over de soort en richting van de doorwerking, maar lang niet alles. Bovendien heeft het begrip doorwerking zelf een instrumentele en functionele betekenis, waardoor de invalshoek per definitie vrij beperkt is.

Analyse bestuurlijke reactie

De aanwezigheid, reactietermijn en inhoud van een bestuurlijke reactie van het college / gedeputeerde staten is een belangrijke indicator voor potentiële doorwerking. Zijn de aanbevelingen van de rekenkamer overgenomen? De raad / provinciale staten zegt vaak ‘ja’ tegen de aanbevelingen van de rekenkamer. Voor de colleges / gedeputeerde staten varieert dit sterk per onderzoeksrapport.

De bestuurlijke reactie kan geanalyseerd worden aan de hand van de volgende kenmerken:

De conclusies en aanbevelingen worden geheel gesteund door het college / gedeputeerde staten en de aanbevelingen worden (grotendeels) overgenomen.
Het college / gedeputeerde staten steunt de hoofdlijn van het onderzoek en enkele aanbevelingen worden door het college / gedeputeerde staten overgenomen.
Het college / gedeputeerde staten steunt de wijze van redeneren, maar niet de aanbevelingen.
Het college / gedeputeerde staten steunt een aantal aanbevelingen, maar niet de hoofdlijn van het advies.
Het onderzoek wordt door het college / gedeputeerde staten verworpen.
Het college / gedeputeerde staten verwerpt het onderzoek niet, maar steunt de redeneerlijn en aanbevelingen ook niet.
Er is (nog) geen reactie van het college / gedeputeerde staten op het onderzoek.

De reactie kan van de raad / provinciale staten op eenzelfde wijze worden geanalyseerd.

Als de raad / provinciale staten een besluit heeft genomen over de aanbevelingen uit het rekenkamerrapport, moet dit worden uitgevoerd. Zijn de aanbevelingen geïmplementeerd, in beleid ‘vertaald’ en ingevoerd? Hebben de aanbevelingen van de rekenkamer daadwerkelijk (extern) effect gehad? Of: zijn de met de aanbevelingen beoogde verbeteringen bereikt? De mate van implementatie meten is een stuk lastiger en vergt vaak een diepgaande analyse van beleidsstukken. Het voor een goede meting is het in ieder geval belangrijk:

Bij de behandeling van het rapport (laten) uit te spreken welke actie de rekenkamer(commissie) wanneer verwacht van raad / provinciale staten en college / gedeputeerde staten.
Aan te kondigen dat na een bepaalde periode een vervolgonderzoek of doorwerkingsonderzoek kan plaatsvinden.
De raad / provinciale staten laten besluiten dat het college / gedeputeerde staten na enige tijd moet rapporteren over de invoering van de aanbevelingen.
De verantwoording over de verwerking van de aanbevelingen integreren in de planning en controlcyclus.

Andere meetpunten voor doorwerking

Wanneer rekenkamer(commissie)s op grond van bepaalde, andere meetpunten een specifieke evaluatiemethode willen ontwikkelen voor doorwerking, doen zij er goed aan rekening te houden met het volgende:

streef naar een beperkt aantal, eenvoudige en eenduidige indicatoren.
de informatievoorziening ter ondersteuning van het meten moet betrouwbaar zijn, zonder dat dit gepaard gaat met een relatief zware administratieve last.
de betrokkenheid neemt toe als actoren belang hebben bij de meting.
hou rekening met de perverse effecten van ‘meten’. Meten kan strategisch gedrag uitlokken, waarbij men zich men met name richt op die effecten die relatief gemakkelijk zichtbaar te maken zijn.
meten leidt tot een vertekening van de doorwerking, omdat vooral de nadruk ligt op het kwantificeren van effecten.
met name de politiek-strategische doorwerking is zeer moeilijk te meten. Het politieke spel is lastig meetbaar te maken.

De rekenkamer zou de doorwerking bijvoorbeeld kunnen meten aan de hand van onderstaande matrix.

Complicerende factoren voor het meten doorwerking

Incubatietijd: doorwerking vindt meestal pas plaats op langere termijn. Dit betekent dat het beoordelen van de doorwerking soms moet worden afgewacht, of dat metingen moeten worden herhaald in een bepaalde frequentie (bijvoorbeeld: meting zes maanden na publicatie, en dan nogmaals na twee jaar).
Verschillende onderzoeken kennen verschillende patronen van doorwerking. Het is dus vaak niet mogelijk om ‘de’ doorwerking van rekenkameronderzoek vast te stellen. Evaluatie zal op het niveau van individuele onderzoeken moeten plaatsvinden. Dat is nogal arbeidsintensief.
Perverse neveneffecten van meting. Een grote nadruk op het meten en evalueren van effecten van doorwerking kunnen neveneffecten hebben. Het kan op termijn leiden tot het uitbrengen van onderzoeken die gemakkelijk meetbaar zijn. Daarom is het van belang om ook gebruik te maken van evaluatiemethoden met kwalitatieve elementen.
Niet alle soorten van doorwerking zijn even makkelijk vast te stellen. Instrumentele doorwerking leent zich beter voor meting dan conceptuele doorwerking. Het vaststellen strategische doorwerking is zo mogelijk nog lastiger.