Stappenplan – Meten van doorwerking decentrale rekenkamers
Inleiding
De Minister van BZK heeft in zijn actieplan 2015 aangegeven doorwerking van decentrale rekenkamers belangrijk te vinden. Doorwerking was eerder al, in 2011, ook het onderwerp in evaluaties, van lokale en provinciale rekenkamers, door de rekenkamers zelf als ook in opdracht van BZK. Het is dus belangrijk dat rekenkamer aantonen er toe te doen. En dat kan onder andere door inzicht te geven in de eigen doorwerking. Zeker als je vindt dat een goed functionerende rekenkamer een onderdeel is van de decentrale democratie en onmisbaar is in de bestuurlijke topografie.
Het in deze wiki gepresenteerde instrument(stappenplan) is voor iedereen bedoeld die aan de slag wil gaan met het meten van doorwerking van rekenkameronderzoek. Het stappenplan is bedoeld ter ondersteuning van rekenkamers die aan de slag willen gaan met het meten van de doorwerking van hun producten en aanbevelingen. Het beperkt zich in eerste instantie tot het inzichtelijk maken van de doorwerking van een rekenkameronderzoek en rekenkamerproduct. Maar ook rekenkamers die aan de slag willen gaan met het meten van de doorwerking van de rekenkamer als geheel, kunnen inspiratie vinden in dit stappenplan.
Het stappenplan bestaat uit zeven opeenvolgende stappen die, indien doorlopen, inzicht geven in de mate van doorwerking van een rekenkamerproduct. Het stappenplan biedt aanknopingspunten voor een onderzoek naar doorwerking, geen ultieme antwoorden. Rekenkamers kunnen deze gebruiken voor een terugblik op een specifiek onderzoek, maar kunnen deze ook geschikt vinden voor een meer uitgebreid doorwerkingsonderzoek.
Stappenplan
Het stappenplan voor het meten van doorwerking van rekenkamers ziet er als volgt uit, zie figuur 1.
| Figuur 1 – Stappenplan – Meten van doorwerking | ||
 |
|
|
Deze zeven stappen worden achtereenvolgens hieronder uitgewerkt.
Stap 1: Bepaal het doel
De eerste stap is om te bepalen waarom er behoefte is aan inzicht in doorwerking. Wie wil dat weten en waarom? Nuttige vragen om te stellen zijn:
- Is het doel om na te gaan hoe en in welke mate rekenkamerproducten (meestal rapporten) worden benut?
- Moet het onderzoek ook informatie opleveren om de doorwerking te stimuleren?
- Op wiens verzoek wordt het onderzoek uitgevoerd?
- Zijn de resultaten voor intern gebruik bedoeld, of is het voor externe publicatie bedoeld?
- Wie gaat het doorwerkingsonderzoek uitvoeren? Betreft het een zelfevaluatie, of maakt het onderdeel uit van een visitatie of peer review? Voert de griffie, de raad zelf het onderzoek uit of huur je als rekenkamer een extern bureau in?
De antwoorden op deze vragen bepalen de scope van het onderzoek naar doorwerking van de rekenkamer. Een rekenkamer kan bijvoorbeeld volstaan met een opvolg- of nazorgonderzoek om de doorwerking van de aanbevelingen van een enkel onderzoeksrapport te meten. In die zin is dit soort onderzoek een specifieke vorm van doorwerkingsonderzoek. Waarbij inzicht in doorwerking centraal kan staan en niet per se het meten van doorwerking. Tevens kan een rekenkamer een bredere scope kiezen door te opteren voor een onderzoek naar de doorwerking van bijvoorbeeld een paar jaar rekenkamerwerk.
Stap 2: Definieer doorwerking
Er bestaan in de wetenschappelijke literatuur en in de praktijk van beleidsevaluaties verschillende definities van doorwerking. Daarnaast zijn er verschillende termen in omloop (benutting, impact, gebruik e.a.) die naar hetzelfde begrip verwijzen. Er bestaat op dit moment nog geen eenduidige definitie en bijpassende onderzoeksmethode die als standaardaanpak in rekenkamerland geldt.
Stap 2 in een doorwerkingsonderzoek is dan ook: dat diegene die het onderzoek uitvoert, ook definieert wat onder doorwerking wordt verstaan. Als Werkgroep Doorwerking geven we de tip om hier pragmatisch mee om te gaan en niet op zoek te gaan naar de ultieme definitie. Het is verstandig om enkele doorwerkingsonderzoeken van andere rekenkamers te bestuderen en een bestaande definitie over te nemen of licht aan te passen mocht daar behoefte aan zijn. Wij constateren dat in doorwerkingsonderzoeken smalle en brede definities gehanteerd worden.
Als de focus op de beoordeling van rapporten ligt, dan wordt gesproken van een smalle definitie van doorwerking. De smalle definitie richt zich primair op de relatie tussen bestuur (gemeenteraad/Provinciale Staten/college/Gedeputeerde Staten) en de rekenkamer en aanwijsbare vormen van gebruik in bijvoorbeeld reacties en beleidsstukken. De brede definitie omvat ook het gebruik van adviezen in de bredere context, bijvoorbeeld in de betrokken maatschappelijke organisaties, wetenschap en/of media.
Concrete voorbeelden van definities van doorwerking zijn
- Rekenkamers voeren jaarlijks een aantal onderzoeken uit naar de doelmatigheid, doeltreffendheid en rechtmatigheid van het gemeentelijke en provinciale beleid. Wanneer de raads- en Statenleden de conclusies en aanbevelingen onderschrijven en ook het college de aanbevelingen (deels) overneemt, is er sprake van doorwerking (Berenschot, 2011).
- Doorwerking is de bijdrage die de rekenkamer levert aan haar taak. Die taak vatten we hier breed op, namelijk de rekenkamer draagt bij aan de (verdere) verbetering van de beleidsvorming, meningsvorming, besluitvorming, beleidsuitvoering en verantwoording door en/of namens het bestuur van de gemeente, provincie of waterschap (Lemmens, 2015).
Stap 3: Kies een aanpak
De keuze voor een aanpak houdt in dat er voor een model wordt gekozen waarin doorwerking wordt geoperationaliseerd. Het betekent ook een invulling van de variabelen waarop uiteindelijk de meting van doorwerking plaatsvindt.
Er bestaan reeds modellen om doorwerking van kennis, verworven op basis van wetenschappelijk en/of toegepast onderzoek, in beleid te onderzoeken. Deze modellen zijn soms al toegepast in de rekenkamercontext, maar soms ook niet en blijven theoretisch. Het is belangrijk om een model te kiezen dat past bij het doel en de gekozen definitie van doorwerking. Soms kan een bestaand model voldoende zijn. In andere situaties kan het zinvol zijn om een bestaand model aan te passen aan de eigen situatie. Een aanpak bevat in ieder geval een omschrijving van de belangrijkste begrippen, een toelichting op de uitgangspunten en een beschrijving van de methode en wat wordt gemeten.
We geven ter illustratie hier drie voorbeelden van onderzoeksmodellen.
Voorbeeld 1: typologie van doorwerking
Doorwerking kan onderzocht worden door verschillende typen of soorten van doorwerking te onderscheiden en die vervolgens meetbaar te maken (operationaliseren). Zo onderscheiden Bekkers e.a.in een onderzoek naar strategische adviesraden instrumentele, conceptuele, agenderende en politiek-strategische doorwerking.
Figuur 2 – Typen doorwerking strategische adviezen
Bekkers, V.J.J.M, Fenger, H.J.M, Homburg, V.M.F, & Putters, K.. Doorwerking van strategische beleidsadvisering. Erasmus Universiteit Rotterdam & Universiteit van Tilburg (2004).
In de landelijke evaluatie van de lokale en provinciale rekenkamers gebruikte Berenschot (2011) deels deze aanpak. Berenschot onderzocht de instrumentele en conceptuele doorwerking. Van instrumentele doorwerking is volgens Berenschot sprake wanneer de aanbevelingen van de rekenkamer worden opgevolgd en uiteindelijk resulteren in nieuw dan wel aangepast beleid. Van conceptuele doorwerking is sprake wanneer zowel de raad , Provinciale Staten, het college en de ambtelijke organisatie bij de beleidsontwikkeling rekening houden met of geleerd hebben van het fenomeen rekenkamer in hun gemeente of provincie. Er is met andere woorden dan meer oog voor de doelmatigheid, doeltreffendheid en rechtmatigheid van beleid waardoor de kaderstellende en controlerende taak van de raad/Provinciale Staten is versterkt. Vervolgens hebben ze enquêtevragen ontwikkeld om de instrumentele en conceptuele doorwerking te meten.
In het onderzoek van Berenschot zijn de agenderende en politiek-strategische typen doorwerking niet aan bod gekomen. De politiek-strategische doorwerking lijkt ook niet een vorm van doorwerking die decentrale rekenkamers nastreven. Gezien het feit dat er politieke doelen mee gemoeid zijn, terwijl de rekenkamer door de wetgever politiek-strategisch onafhankelijk is gepositioneerd.
Voorbeeld 2: de doorwerkingsladder
Partner en Pröpper hebben het onderstaande model van niveaus van doorwerking ontwikkeld. Het model is in de praktijk gehanteerd ten behoeve van de evaluatie van rekenkamers. (Onder andere de rekenkamercommissies van Veenendaal (2009) en Zandvoort (2011))
Figuur 3 – Niveaus van doorwerking van rekenkameronderzoek
Bron: Partner & Pröpper.
Partner & Pröpper definiëren een aantal niveaus waarop doorwerking van een concreet onderzoeksproduct plaatsvindt. Dit zijn achtereenvolgens: dat raadsleden kennis (kunnen) nemen van het rekenkamerrapport, de raad het rapport agendeert en actief bediscussieert. Vervolgens neemt de raad (en college) een besluit over de aanbevelingen en worden deze ook feitelijk uitgevoerd. Het hoogste niveau van doorwerking is dat de aanbeveling tot verbetering van de praktijk leidt.
Voorbeeld 3: de doorwerkingscirkels
De werkgroep van de Commissie Kwaliteitszorg van de NVRR heeft het volgende model van doorwerkingscirkels ontwikkeld.
Figuur 4 – Doorwerkingscirkels
 |
Ook in dit model hanteren we niveaus van doorwerking. Wat nieuw is ten opzichte van de voorbeelden 1 en 2 is de laatste cirkel of schil van publiek verantwoorden. Daarmee verwijzen we naar situaties waarin een rekenkamer-product doorwerkt buiten de politiek-bestuurlijke arena. Er is dan sprake van een brede en zelfs maatschappelijke doorwerking. Dan kan bijvoorbeeld door het schrijven van artikelen in vakbladen of kranten of presenteren van onderzoeksresultaten bij maatschappelijke organisaties, bedrijven of burgers.Sommige rekenkamers zullen niet de mogelijkheden hebben deze vorm van doorwerking te sorteren of vinden dat deze maatschappelijke doorwerking of ‘publiek verantwoorden’ niet tot hun taak hoort.De cirkels zijn op te vatten als kringen die opgewekt (kunnen) worden door het individuele rekenkamerproduct. Het rekenkamerproduct is te vergelijken met een steen die in een soms turbulente stromende rivier wordt gegooid waardoor de kringen ontstaan. |
De stroming in de lokale/provinciale politiek kan zo uitpakken dat het rekenkamerproduct nauwelijks een rimpeling veroorzaakt en de doorwerking na de bespreking van het rapport wegebt. Maar de stroming kan de kringen dusdanig versterken dat het rekenkamerproduct beleidswijzigingen tot gevolg heeft, mogelijk tot duurzame aandacht voor doelmatigheid en doeltreffendheid van het gevoerde beleid leidt en mogelijk zelfs tot de burgers doordringt.
Tabel 1 -Definitie/toelichting van de doorwerkingscirkels
Zie ook:
- Matrix met definities aangevuld met indicatoren waarmee doorwerking op dat niveau gemeten kan worden >>
- Tips en trucs ten behoeve van het vergroten van de kans op doorwerking >>
Stap 4: Data
Na stap drie komen we van de voorbereiding terecht in de uitvoering door informatie te verzamelen en vervolgens te analyseren. Ook hier is het weer mogelijk om te kiezen voor een beperkte of uitgebreide aanpak. Er zijn bijvoorbeeld rekenkamers die na de politieke behandeling van een rapport een korte enquête naar raads- of Statenleden sturen. Daarin vragen ze naar de tevredenheid met het onderzoek. Daarin kunnen ook enkele vragen over doorwerking worden meegenomen. Bijvoorbeeld: in welke mate heeft dit onderzoek nieuwe kennis of inzichten opgeleverd over het onderhanden onderwerp of beleids- en besluitvorming in het algemeen?
Daarnaast kan er gebruik gemaakt worden van gesprekken met fracties, raads- of Statenleden, wethouders, Provinciale Staten, college van B&W, Gedeputeerde Staten etc., waarin betrokkenen wordt gevraagd naar het product van de rekenkamer. Interviews geven de gelegenheid om dieper in te gaan op de eventuele doorwerking van een product van de rekenkamer. De betrokkene kan ook gevraagd worden wat hij goed en minder goed vindt aan het product.
Ook is er een puur instrumentele benadering van het data verzamelen, namelijk het turven van het aantal overgenomen aanbevelingen door de raads- of Statenleden. Het turven kan voor vele doeleinden worden gebruikt, denk bijvoorbeeld aan het turven van het aantal reacties op sociale media, of het aantal nieuwsartikelen etc. Er zijn diverse bronnen waaruit informatie kan worden getrokken. Bijvoorbeeld agenda’s, besluiten, moties & amendementen, verslagen van vergaderingen en lokale media.
Als werkgroep wijzen we erop dat een rekenkameronderzoek voor verschillende doelgroepen een verschillende betekenis kan hebben. Een rekenkameronderzoek heeft veelal een andere betekenis voor raad/Provinciale Staten, college van B&W/Gedeputeerde Staten, ambtelijke organisaties en eventueel andere doelgroepen. Houd hier rekening mee in de fase van dataverzameling, bijvoorbeeld door vragen te differentiëren naar doelgroep.
Stap 5: Analyseer
De volgende stap is om de verzamelde gegevens te analyseren aan de hand van het gekozen onderzoeksmodel. Na de analyse geven we als tip mee om te reflecteren op de uitkomsten. Ga op zoek naar welke barrières er waren, welke factoren voor een stimulans hebben gezorgd en welke leerpunten er voor de toekomst zijn. Het daarvoor nodig zijn om een apart gesprek of feedbacksessie te organiseren met raad/Provinciale Staten, college van B&W/Gedeputeerde Staten en/of secretaris/directeur.
In de tips & trucs staan handvatten die de kans op doorwerking kan vergroten.
Stap 6: Rapporteer
Na de analyse kan gerapporteerd worden. Dat kan een A-4tje zijn met de belangrijkste resultaten uit een korte evaluatie van een specifiek onderzoek. Het kan ook om een uitgebreide rapportage gaan waarin de doorwerking over een specifieke periode van de rekenkamer wordt beschreven. Mogelijk kunnen delen uit het onderzoek naar doorwerking in een jaarverslag verwerkt worden, of gebruikt worden ten behoeve van een peer review of visitatie door collega-rekenkamers.
Stap 7: Reflecteer
Na de rapportage kan tot slot geëvalueerd worden. Vragen die daarbij gesteld kunnen worden zijn: Is het gekozen model de beste wijze om de doorwerking van de rekenkamer inzichtelijk te maken en te meten? Wat kan aan het model verbeterd worden om doorwerking de volgende keer beter inzichtelijk te maken? Tot welke acties ter verbetering van doorwerking kunnen de resultaten van het doorwerkingsonderzoek leiden?
Tot slot
In de feedback die we kregen op het concept van dit stappenplan, kwam meerdere keren de ‘zachte’ kant van het rekenkamerwerk naar voren. Dat klopt deels, we hebben ons in eerste instantie gericht op de direct meetbare aspecten van doorwerking. Maar we moeten ook accepteren dat niet alles meetbaar te maken is. Indachtig het citaat van Kamerlingh Onnes (zie p. 1) kan het meten tot kennis leiden, maar de naakte gegevens behoeven een context. Zo opereert bijvoorbeeld een rekenkamer in een gemeente waarin het college elke aanbeveling van de rekenkamer naast zich neer legt. En dan zegt het aantal overgenomen aanbevelingen weinig over de doorwerking, maar misschien wel het aantal desondanks geïmplementeerde aanbevelingen. De rekenkamer weet zelf in welke bestuurlijke context ze opereert, en kan de verzamelde data van duiding voorzien en aldus de doorwerking inzichtelijk maken en meetbaar.
Het rekenkamerwerk heeft zich de afgelopen jaren ontwikkeld, en er is ook geëxperimenteerd. Er zijn niet alleen maar rapporten met aanbevelingen geschreven, maar er zijn ook presentaties en workshops met leden van raad, college, Provinciale en Gedeputeerde Staren, ambtenaren en burgers gehouden. Er is niet alleen maar achteromgekeken om van reeds uitgevoerd beleid te leren, maar er is ook ex ante en ex durante onderzoek gepleegd naar nieuwe beleidsterreinen, zoals naar de decentralisaties in het sociale domein. De vraag is hoe de doorwerking van dit soort producten te meten. De vraag is hoe de doorwerking van dit soort producten te meten is.
Tot slot de vraag, die licht buiten deze orde valt, wat is de waarde ervan om doorwerking van individuele rekenkamers te meten, als besluitvorming en uitvoering van beleid meer en meer in regionale bestuurlijke netwerken plaatsvindt? Dat is inderdaad een lastig vraagstuk. Doorwerking kan wellicht in de samenwerking van rekenkamers, ook tussen de verschillende overheidslagen, gevonden worden. En dan kan dit stappenplan behulpzaam zijn bij het meten van de doorwerking van rekenkamerwerk op deze bestuurlijke netwerken.
Op deze en andere punten kan het stappenplan nog zeker doorontwikkeld en in de praktijk getest worden.
Succes bij het hanteren van het model, het uitvoeren van
doorwerkingsonderzoek en het formuleren van acties ter verbetering van de
doorwerking en de functie van rekenkamers in het decentrale openbare bestuur