Programma 11 september 2025
09:30 Inloop
10:00 Opening met o.a. keynote spreaker Madelina Busuioc
11:15 Workshop ronde 1
11:15 De impact van evaluatie- en rekenkameronderzoek in kaart gebracht
Als evaluator of rekenkameronderzoeker wil je natuurlijk impact hebben. Maar wat betekent dit precies, en welke factoren kunnen hierin een verschil maken? In deze interactieve sessie bespreken we verschillende manieren om te kijken naar het gebruik of de invloed van evaluatiestudies of rekenkameronderzoek, en hoe we deze kunnen meten. Daarnaast beschouwen we welke factoren deze invloed belemmeren of bevorderen. We putten hiervoor uit actuele onderzoeksresultaten, en reflecteren op eigen ervaringen.
Wat wil je de deelnemers graag meegeven?
Een breed perspectief op hoe de impact van evaluatie- en rekenkameronderzoek moet worden begrepen, en actuele inzichten over factoren die hierin een belangrijke rol spelen.
Dr. Valérie Pattyn is Universitair Hoofddocent in Beleidswetenschappen en Beleidsanalyse aan het Instituut Bestuurskunde van de Universiteit Leiden en gastprofessor aan KU Leuven Instituut voor de Overheid. Ze combineert fundamenteel onderzoek over beleidsontwerp, beleidswerk, evidence-informed policy making, en beleidsevaluatie, met het occasioneel uitvoeren van toegepaste beleidsevaluaties voor overheden in Vlaanderen en Nederland. Ze heeft ook ervaring als expert-lid van diverse departementale advies- en evaluatiecommissies, onder meer bij de Commissie Beleidsevaluatie van het Ministerie van Financiën.
- Welke publicaties zou je graag mee willen geven?
Van der Knaap P., Pattyn V. en Hanemaayer, D. (2023). Beleidsevaluatie in theorie en praktijk. Het ontwerpen en uitvoeren van evaluatie- en rekenkameronderzoek. Boom Bestuurskunde - Mavrot C. en Pattyn V.(2022). “The Politics of Evaluation”, in Ladner Andreas, Sager Fritz, Handbook on the Politics of Public Administration (pp. 243-254), Cheltenham: Edward Elgar
Rosalie Joosten heeft een achtergrond in de sociale wetenschappen en werkte tot voor kort als onderzoeker bij de Rekenkamer Amsterdam en Zaanstad. Sinds dit jaar werkt zij als promovenda bij het Instituut Bestuurskunde van de Universiteit Leiden. Haar onderzoek gaat over de impact van o.a. rekenkamerrapporten op het openbaar bestuur.
Welke publicaties zou je graag mee willen geven?
- Mavrot C. en Pattyn V.(2022). “The Politics of Evaluation”, in Ladner Andreas, Sager Fritz, Handbook on the Politics of Public Administration (pp. 243-254), Cheltenham: Edward Elgar
- Andersen, N. A., & Pattyn, V. (2025)The organisation of evaluations: the influence of the ministry of finance on evaluation systems. Evidence & Policy, 21(2), 206-228.
11:15 Emoties in toezicht en verantwoording
Toezicht en verantwoording zijn vormgegeven in regels en procedures. Maar uiteindelijk houden mensen toezicht op mensenwerk. De beleving van toezicht en verantwoording heeft grote gevolgen voor de effectiviteit ervan. Emoties hebben effect op het nemen van beslissingen, omgang met regels en compliance. Dankzij inzichten uit de psychologie over emoties kunnen we meer rekening houden met de menselijke kant en verantwoording en toezicht beter inrichten.
Wat willen jullie de deelnemers graag meegeven?
In de workshop bespreken we op welke manier emoties een plek hebben in uw verantwoordings- en toezichtspraktijk. We gaan na op welke manier die emoties coping, beslissingen en naleving beïnvloeden. We koppelen recente ontwikkelingen in de wetenschap aan urgente uitdagingen in Den Haag (en daarbuiten).
Overman verbetert verantwoordingsprocessen in de publieke sector door vanuit een individueel perspectief op verantwoording en toezicht te redeneren. Hij verbindt de bestuurskunde en psychologie in zijn onderzoek.
Welke publicaties zou je graag mee willen geven?
- Overman, S., Neo, S., & Hall, A. T. (2025). The emotional backlash of public accountability. Public Performance & Management Review, 1-29. https://www.tandfonline.com/doi/pdf/10.1080/15309576.2025.2469787
- Overman, S., & Schillemans, T. (2022). Toward a public administration theory of felt accountability. Public Administration Review, 82(1), 12-22. https://onlinelibrary.wiley.com/doi/pdfdirect/10.1111/puar.13417
11:15 Gebruik van AI in audit
Burgers en bedrijven passen AI bewust en onbewust al volop toe. In de auditpraktijk gebeurt dat ook. Commerciële kantoren integreren AI in hun werkprocessen en binnen de overheid worden ook stappen gezet. Colin en Marcus gaan in op de kansen en de risico’s van AI in de auditpraktijk bij overheden met aandacht voor Europese en nationale wet- en regelgeving en beleid op het gebied van AI/algoritmes, data, cloud, etc.
Wat wil jullie de deelnemers graag meegeven?
Dat verantwoorde inzet van AI kan bijdragen aan innovatie en efficiency van het uitvoeren van audits.
Colin van Noordt is onderzoeker op het gebied van het gebruik van AI/algoritmes en cloud bij de rijksoverheid.
Welke publicaties zou je graag mee willen geven?
Marcus Schaefers is projectleider/ onderzoeker en leidt projecten op het gebied van het toepassen van AI in audit.
Welke publicaties zou je graag mee willen geven?
11:15 Kwantitatief beleidsonderzoek doen
Iedereen wil weten of beleid werkt, maar dat is vaak ingewikkelder dan het lijkt. Cijfers worden veel gebruikt om beleid te onderbouwen, maar zeggen niet vanzelf iets over effectiviteit en causaliteit.
In deze workshop maak je kennis met de basis van kwantitatief beleidsonderzoek, en leer je hoe je kritisch kunt nadenken over uitspraken over beleidseffecten. Aan de hand van praktijkvoorbeelden oefenen we met het herkennen van een goede evaluatie: wat wordt precies vergeleken, en welke aannames spelen een rol? En wat kan je doen als de data of context niet ideaal zijn?
De workshop vereist geen kwantitatieve voorkennis.
Wat wil je de deelnemers graag meegeven?
Hoe een sterke beleidsevaluatie te herkennen!
Elisa de Weerd is promovendus in gezondheidseconomie aan de Erasmus School of Economics. Daarnaast werkt ze als postdoctoraal onderzoeker aan de Radboud Universiteit Nijmegen, en is ze als freelance redacteur betrokken bij economenvakblad ESB. Elisa doet kwantitatief onderzoek aan de hand van administratieve data en enquêtedata.
Welke publicaties zou je graag mee willen geven?
- De Weerd, E., Van Kippersluis, H., Zhang, L. en Roodbeen, R. (2024) Alcoholconsumptie jongeren niet extra afgenomen na verhoging minimumleeftijd. ESB, 109 (4839), 491-493
- De Weerd, E., Cawley, J. en Van Kippersluis, H. (2024) Transgender Transitioning and Responsiveness to Policy: Evidence from the Netherlands. AEA Papers and Proceedings, 114, 364-368.
11:15 Samenwerken & kennisdelen
Nederland kent ruim 300 decentrale rekenkamers. Voor de leden en onderzoekers van deze rekenkamers, maakte de vereniging een handboek. Andere public auditors kunnen ook hun voordeel doen met de inzichten uit dit boek. In deze workshop gaan we in op hoe je kunt komen tot een mooi onderzoek, onder andere door handig samen te werken met anderen. Daarnaast delen de sprekers graag de kennis en ervaringen van de ruim 300 rekenkamers met de deelnemers.
Wat willen jullie de deelnemers graag meegeven?
In onderzoek ga je alleen misschien sneller, maar samen kom je verder én weet je meer!
Lies van Aelst is directeur van de Vereniging van Rekenkamers, lid van de Eerste Kamer en lid van 3 decentrale rekenkamers. Zij studeerde geschiedenis in Rotterdam.
Welke publicatie zou je graag mee willen geven?
- Aelst, L. van, Lemmens, E., Nijdam, N. Paulussen, R. & Schaap, L. (red.) (2024), De binnen- en buitenkant van rekenkamers, Den Haag: Boom.
Nils Nijdam is onderzoeker en adviseur bij de Algemene Rekenkamer, docent Bestuurskunde aan de Haagse Hogeschool en (vice)voorzitter van 2 decentrale rekenkamers. Hij studeerde rechten en bestuurskunde in Groningen en promoveerde in Rotterdam.
Welke publicatie zou je graag mee willen geven?
- Aelst, L. van, Lemmens, E., Nijdam, N. Paulussen, R. & Schaap, L. (red.) (2024), De binnen- en buitenkant van rekenkamers, Den Haag: Boom.
11:15 Systeemkaart als tool voor audits
Een systeemkaart is een visueel overzicht van alle relaties en interacties tussen verschillende elementen/actoren in een systeem. Het brengt de complexiteit rondom een onderwerp in kaart op verschillende lagen en schalen. Een systeemkaart helpt om uit te zoomen en om het grotere geheel in beeld te brengen. Vervolgens kan je identificeren waar je op wilt inzoomen, waar je nog meer over wilt leren en waar blinde vlekken zitten. Het helpt je ook om relaties te onderzoeken tussen dingen, categorieën, elementen of stakeholders die op het eerste oog niet gerelateerd lijken. Bij de Algemene Rekenkamer zetten we het maken van systeemkaarten in om:
• De dynamiek van een systeem te begrijpen, inclusief de interactie en relaties tussen verschillende elementen.
• Om een beeld van het systeem te creëren vanuit verschillende perspectieven.
• Om de mechanismes te beschrijven die maken dat een systeem is zoals het is (en blijft).
• Om relaties, krachten en feedbackloops expliciet te maken.
• Stakeholders te betrekken.
Tijdens de workshop vertellen we over onze ervaringen en gaan je aan de slag met je eigen casus.
Wat willen jullie de deelnemers graag meegeven?
We willen de deelnemers inspireren over de toegevoegde waarde van een systeemkaart voor je audit.
Sietske heeft een achtergrond in moderne geschiedenis en internationale relaties. Haar focus lag tijdens haar opleiding op sociaaleconomische geschiedenis door middel van data-gedreven onderzoek. Als onderzoeker bij de Algemene Rekenkamer doet zij onderzoek naar de energietransitie en het sociaal domein. Tijdens een onderzoek naar de warmtetransitie heeft zij system mapping ingezet als methode.
Welke publicatie zou je graag mee willen geven?
De Design Audit Studio, ook wel bekend als de DAS, is geïnitieerd door Linda Meijer-Wassenaar. Begonnen als socioloog, gebruikte ze steeds vaker beeld in haar onderzoekswerk, iets wat je in rapporten van de rekenkamer daarvoor nauwelijks zag. Daarop is Meijer-Wassenaar de masteropleiding Ontwerpend Onderzoek gaan doen aan de Willem de Kooning Academie. Daar leerde ze dat beeldverhalen mooi zijn, maar dat het proces van ontwerpen nog veel interessanter is en ook heel nuttig kan zijn voor rekenkameronderzoek. Dit leiden in 2018 tot een nieuw team, de Design Audit Studio.
“Klassiek wetenschappelijk onderzoek is vooral lineair, gericht op tekst en op de juiste inhoud. Een ontwerper werkt juist iteratief (stapsgewijs en testend), kijkt naar wat betekenisvol is voor mensen, de gebruiker, en zet veel beeld in. Die twee perspectieven en werkwijzen kunnen elkaar versterken.”
Welke publicatie zou je graag mee willen geven?
Marjorie heeft een achtergrond in Strategisch Product Ontwerpen aan de TU Delft. Na haar opleiding werkte ze als ontwerper bij een ontwerpbureau waar zij ontwerpende methode toepaste om verschillende maatschappelijke vraagstukken in beweging te krijgen. Bij de Algemene Rekenkamer werkt ze in een team van ontwerpers, de Design Audit Studio, die de auditors inspireert en faciliteert door het introduceren, inpassen en implementeren van vernieuwende manieren van werken.
Welke publicatie zou je graag mee willen geven?
12:30 Lunch
13:30 Workshop ronde 2
13:30 Follow the Money | Publiek potje, privéfeestje
In deze sessie gaat Remy in op hoe het platform voor onderzoeksjournalistiek “Follow the Money” kwantitatieve datasets gebruikt voor journalistiek onderzoek naar de publieke sector.
Remy Koens (1992) studeerde journalistiek in Utrecht en begon zijn datajournalistieke carrière bij de Volkskrant. Hij werkte ook als onderzoeker naar desinformatie en gaf lessen mediawijsheid op het voortgezet onderwijs.
Bij FTM ligt zijn focus op onderwijs, publieke voorzieningen en subsidieregelingen. Daarnaast levert hij bijdrages aan internationale onderzoeksprojecten.
13:30 Het Post-Office Schandaal
Het Britse Post Office of Horizon IT schandaal is een van de grootste gerechtelijke dwalingen in de geschiedenis van Groot-Brittannië. Meer dan 900 postkantoorhouders werden tussen 1999 en 2015 veroordeeld voor diefstal en valse boekhouding op basis van foutieve data uit het Horizon IT-systeem van Fujitsu. Vriendschappen stranden en families raakten ontwricht door wantrouwen, stress, ziekte en zelfs zelfmoord. Allemaal het gevolg van onterechte beschuldigingen. Dit schandaal is ook een verhaal van auditors. In elke laag van de organisatie en in elk hoofdstuk spelen auditors een hoofdrol. De workshop gebruikt film, foto’s en documenten om hierop te reflecteren. Aan de hand van de rol van de auditors reflecteren we in deze workshop op de positionering, onafhankelijkheid en ethische en professionele dilemma’s van de auditor.
Wat wil je de deelnemers graag meegeven?
Case studies dagen met echte rijke beschrijvingen van professionele situaties uit om te werken aan complexe en rommelige problemen. Case studies helpen om kritisch denken, probleemoplossend vermogen en besluitvormingsvaardigheden te vergroten. De case study over het Post Office scandal helpt om te reflecteren over de positionering, onafhankelijkheid, professionele en ethische dillema’s van de auditor.
Sjoerd Keulen bekleedt sinds 2023 de bijzondere leerstoel Publieke Audit, Beleidsevaluatie en Verantwoording vanwege de Algemene Rekenkamer. Het onderwijs en onderzoek van Sjoerd richt zich op beleidsonderzoek met impact. Sjoerd is sinds 1 september 2025 directeur van de Rekenkamer Rotterdam. Hiervoor werkte hij als strategisch adviseur bij de Algemene Rekenkamer en o.a. als universitair docent Begrotingsbeleid en Financieel Management aan de Erasmus Universiteit, Rotterdam.
Welke publicaties zou je graag mee willen geven?
- Keulen S.J. (2022), De auditor als antropoloog, Audit magazine 21(1): 54-58. https://auditmagazine.nl/artikelen/de-auditor-als-antropoloog/
- Keulen S.J. (28 juni 2024). De kat, de kameleon en de zwaardvis die zich een walrus voelde: publieke audit en verantwoording als wezenlijk politieke en emotionele activiteiten, oratie: Universiteit Leiden.https://scholarlypublications.universiteitleiden.nl/access/item%3A3764658/view
13:30 Impactgericht evalueren: auditors in maatschappelijke transities
In deze workshop verkennen we hoe auditing meerwaarde kan hebben in langdurige maatschappelijke transities. Wat betekent het om impactgericht te evalueren in een complexe, veranderende context? We kijken naar de timing van onderzoeken (ex ante, ex durante, ex post), het belang van vooraf nadenken over impact, en de vraag wie eigenlijk jouw doelgroep is. Aan de hand van casussen en interactieve reflectie verkennen we hoe je als auditor/evaluator niet alleen het verleden toetst, maar ook bijdraagt aan toekomstgericht leren en handelen.
Wat wil je de deelnemers graag meegeven?
De impact van je werk zit niet alleen in het rapport aan het einde. Als auditor/evaluator kun je, juist in transities, ook waardevol zijn door vooraf mee te denken, tussentijds te spiegelen, en explicieter te kiezen voor wie je het doet. Impactgericht evalueren vraagt dat je positie kiest én meebeweegt.
Marit Schouten is senior impactonderzoeker bij Impact Centre Erasmus en docent aan Erasmus School of Economics. Ze doet onderzoek naar maatschappelijke transities en de rol van impactmeting in complexe systemen. In haar werk helpt ze publieke organisaties om effectiever te sturen op impact, van ex ante tot ex post.
Welke publicaties zou je graag mee willen geven?
- Blog ‘Impactmaken in een complexe wereld’ (2025): https://www.eur.nl/ice/media/128116
- Geïnterviewd voor artikel ‘Rekenkamer zonder tanden’ (2024): https://www.p-plus.nl/resources/articlefiles/Rekenkamerszondertanden.pdf
13:30 Onderzoek doen voor òf met practioners?
In deze workshop staat participatief actieonderzoek centraal: Hoe doe je onderzoek met in plaats van naar bewoners? Hoe voer je onderzoek uit in co-creatie met in plaats van voor je opdrachtgever?
Aan de hand van verschillende voorbeelden van recente onderzoeksprojecten lichten we de mogelijkheden en dillema’s van participatief actieonderzoek toe. We verkennen in gesprek met elkaar de (on)mogelijkheden van deze methode van in de context waarin deelnemers aan de workshop onderzoek doen.
Wat wil je de deelnemers graag meegeven?
Uitgangspunten van participatief actieonderzoek. Mogelijkheden en dilemma’s in de praktijk.
Mijn onderzoekslijn richt zich op opzet en uitvoering van lokale participatieprocessen.
Na lange tijd in de praktijk te hebben gewerkt aan de relatie burgers en overheid heb ik de overstap gemaakt naar praktijkgericht onderzoek. Ik ben gepromoveerd op de gesprekken tussen burgers en lokale ambtenaren als onderdeel van participatieprocessen.
Welke publicatie zou je graag mee willen geven?
‘Betrek bewoners, maar niet om draagvlak te creëren’
13:30 Samen aan de slag met de menselijke maat
‘Menselijke maat’ wordt vaak in verband gebracht met “de bedoeling”, begrijpelijkheid, eenvoud, rekening houden met belangen van burgers, doenvermogen, rechtmatigheid en rechtvaardigheid. Maar hoe maak je het concreet? Hoe ga je om met verschillende belangen en dilemma’s? En wat betekent het voor ieders rol en de onderlinge samenwerking tussen beleidsmakers, uitvoerders, toezichthouders, en Kamerleden? Aan de hand van praktijkvoorbeelden gaan we interactief aan de slag met een leidraad voor de menselijke maat.
Wat willen jullie de deelnemers graag meegeven?
De sessie is voor iedereen die te maken heeft met de menselijke maat, waaronder beleidsmakers, mensen in de uitvoering en het toezicht.
Met de sessie willen we eraan bijdragen dat de deelnemers inzichten ontwikkelen over wat het betekent om volgens de menselijke maat (samen) te werken. Dit doen we interactief.
Onderzoeker, adviseur en projectleider op financiële, economische, organisatorische en bestuurlijke en toezicht vraagstukken in de zorg en sociale zekerheid.
Welke publicaties zou je graag mee willen geven?
Onderzoeker op het gebied van doeltreffendheid, doelmatigheid en rechtmatigheid van Rijksbeleid (met name ministerie van OCW).
Welke publicaties zou je graag mee willen geven?
13:30 Systeemkaart als tool voor audits
Een systeemkaart is een visueel overzicht van alle relaties en interacties tussen verschillende elementen/actoren in een systeem. Het brengt de complexiteit rondom een onderwerp in kaart op verschillende lagen en schalen. Een systeemkaart helpt om uit te zoomen en om het grotere geheel in beeld te brengen. Vervolgens kan je identificeren waar je op wilt inzoomen, waar je nog meer over wilt leren en waar blinde vlekken zitten. Het helpt je ook om relaties te onderzoeken tussen dingen, categorieën, elementen of stakeholders die op het eerste oog niet gerelateerd lijken. Bij de Algemene Rekenkamer zetten we het maken van systeemkaarten in om:
• De dynamiek van een systeem te begrijpen, inclusief de interactie en relaties tussen verschillende elementen.
• Om een beeld van het systeem te creëren vanuit verschillende perspectieven.
• Om de mechanismes te beschrijven die maken dat een systeem is zoals het is (en blijft).
• Om relaties, krachten en feedbackloops expliciet te maken.
• Stakeholders te betrekken.
Tijdens de workshop vertellen we over onze ervaringen en gaan je aan de slag met je eigen casus.
Wat willen jullie de deelnemers graag meegeven?
We willen de deelnemers inspireren over de toegevoegde waarde van een systeemkaart voor je audit.
Sietske heeft een achtergrond in moderne geschiedenis en internationale relaties. Haar focus lag tijdens haar opleiding op sociaaleconomische geschiedenis door middel van data-gedreven onderzoek. Als onderzoeker bij de Algemene Rekenkamer doet zij onderzoek naar de energietransitie en het sociaal domein. Tijdens een onderzoek naar de warmtetransitie heeft zij system mapping ingezet als methode.
Welke publicatie zou je graag mee willen geven?
De Design Audit Studio, ook wel bekend als de DAS, is geïnitieerd door Linda Meijer-Wassenaar. Begonnen als socioloog, gebruikte ze steeds vaker beeld in haar onderzoekswerk, iets wat je in rapporten van de rekenkamer daarvoor nauwelijks zag. Daarop is Meijer-Wassenaar de masteropleiding Ontwerpend Onderzoek gaan doen aan de Willem de Kooning Academie. Daar leerde ze dat beeldverhalen mooi zijn, maar dat het proces van ontwerpen nog veel interessanter is en ook heel nuttig kan zijn voor rekenkameronderzoek. Dit leiden in 2018 tot een nieuw team, de Design Audit Studio.
“Klassiek wetenschappelijk onderzoek is vooral lineair, gericht op tekst en op de juiste inhoud. Een ontwerper werkt juist iteratief (stapsgewijs en testend), kijkt naar wat betekenisvol is voor mensen, de gebruiker, en zet veel beeld in. Die twee perspectieven en werkwijzen kunnen elkaar versterken.”
Welke publicatie zou je graag mee willen geven?
Marjorie heeft een achtergrond in Strategisch Product Ontwerpen aan de TU Delft. Na haar opleiding werkte ze als ontwerper bij een ontwerpbureau waar zij ontwerpende methode toepaste om verschillende maatschappelijke vraagstukken in beweging te krijgen. Bij de Algemene Rekenkamer werkt ze in een team van ontwerpers, de Design Audit Studio, die de auditors inspireert en faciliteert door het introduceren, inpassen en implementeren van vernieuwende manieren van werken.
Welke publicatie zou je graag mee willen geven?