Monitoren en evalueren van transitiewerk is geen business as usual. Dat hangt samen met de ambitie van transitiewerk en met de speciale kenmerken van transities. Die brengen niet alleen vragen met zich mee over wat u zou kunnen of moeten monitoren of evalueren. Ze beïnvloeden ook het doel van monitoren en evalueren.
De speciale kenmerken van transities zijn:
Leren en bijstellen
Vanwege de onzekere, complexe en dymamische omgeving kan het wenselijk zijn om tijdens uw project of programma uw uitgangspunten en aanpak of zelfs doel te herzien. Daarmee wordt leren een belangrijk doel van monitoren en evalueren, met het oog op de ambitie om het transitieproject of programma zo goed mogelijk te (blijven) richten op de systeeminnovatieve ambitie.
Reflexief monitoren is:
Drie soorten activiteiten
Dit reflexief monitoren vertaalt zich in een opeenvolging van de volgende activiteiten (zie figuur): waarnemen en analyseren, reflecteren en aanpassen en/of verder ontwikkelen.
Waarnemen en analyseren
Hier gaat het bijvoorbeeld om waarneming en analyses van:
Zie voor methoden ook de database Methoden.
Reflecteren
Wat volgt is een (kritische) reflectie op de waarnemingen en analyses. Is essentie gaat het om vragen als:
Dit reflectieproces bevraagt kritisch de eigen (theoretische) uitgangspunten, diepere overtuigingen, waarden (de vanzelfsprekende ‘denkramen'). Dat is met name aan de orde als deze ‘denkramen' een blokkade lijken voor de systeeminnovatieve ambitie. Zie ook ‘Over transities'.
Aanpassen
De reflectie kan leiden tot het aanpassen van het project- of programma(ontwerp) in termen van doelen en doelgroepen, strategieën en activiteiten. Ook kan het leiden tot de ontwikkeling van vervolgprojecten of -programma's of andere nieuwe activiteiten. Denk hierbij aan lobby, organisatieverandering, of het ontwikkelen van nieuw beleid.
Reflexief monitoren verschilt op de volgende punten van ‘traditioneel' monitoren:
Belangrijke doelen van het reflexieve monitoren zijn het leren uit de praktijk en het aanpassen van een project of programma gericht op systeeminnovatie. Maar er zijn ook andere doelen van monitoren en evalueren denkbaar. Hier zetten we de verschillende doelen met hun consequenties voor de inzet en doelgroepen op een rijtje.
Doel: leren
Voor dit doel verzamelt u informatie over onder andere de voortang van uw project of programma, over gewenste en ongewenste effecten, over ontwikkelingen in de omgeving en over belemmeringen die u tegenkomt. Die informatie gebruikt u om te reflecteren op uw uitgangspunten, uw veronderstellingen over het probleem, over de oplossingen of de kennis die nodig is om tot oplossingen te komen. Daarbij kan blijken dat u vanzelfsprekende uitgangspunten moet herzien.
Doelgroep: Een belangrijke doelgroep voor leren zijn degenen die direct betrokken zijn bij de uitvoering van het project of programma. Andere belangrijke doelgroepen zijn uitvoerders van verwante experimenten en managers, financiers, beleidsmakers. Betrek de laatste groep vooral bij reflectie op institutionele belemmeringen.
Doel: verantwoording afleggen
Bij verantwoording afleggen gaat het primair om de vraag of u de gestelde doelen met een efficiënte inzet van de middelen bereikt.
Doelgroep: De doelgroep is meestal de opdrachtgever of financier van een project of programma. In het geval van nationale, door de overheid gefinancierde programma's zijn dat de overheid en de Tweede Kamer.
Doel: interveniëren of aanpassen
Hierbij gaat het om het aanpassen van het transitiewerk, bijvoorbeeld in termen van activiteiten en doelgroepen. In Reflexieve monitoring is deze stap inbegrepen.
Doelgroep: De belangrijkste doelgroepen bij aanpassen binnen reflexief monitoren zijn stakeholders en het programmamanagement. Maar interventies of aanpassingen kunnen ook voortkomen uit conclusies van opdrachtgevers/financiers over de vraag of het geld goed besteed wordt. Dan zijn vooral de opdrachtgever en het programmamanagement belangrijke doelgroepen.
Doel: enthousiasmeren en overdragen van kennis
Met de doelen van enthousiasmeren en overdragen van kennis kunt u bijdragen aan legitimatie en steun voor (verankering) van systeeminnovaties.
Doelgroep: De doelgroep bestaat uit de opdrachtgevers/financiers en (potentiële) collega-vernieuwers, mogelijke toekomstige financiers en verzekeraars, regelgevers of een breder publiek.
Niet zonder meer. Er is vaak spanning tussen monitoren en evalueren om te leren en aan te passen (reflexief monitoren) en monitoren en evalueren voor verantwoorden. Dat komt bijvoorbeeld tot uitdrukking in:
Flexibiliteit versus vaste doelen en resultaten. Het verantwoordingsdoel brengt druk met zich mee om vast te houden aan vooraf geformuleerde, vastomlijnde projectresultaten en om een project of programma onder controle te houden. Dit kan de ruimte beperken voor aanpassingen. Hier botst het leer- en aanpassingsdoel van reflexief monitoren met het verantwoordingsdoel.
Openheid versus 'alleen het goede nieuws'. Het leerdoel van reflexief monitoren vraagt openheid over ‘mislukkingen' en onverwachte resultaten, terwijl bij verantwoording alle aandacht uitgaat naar de behaalde successen.
Detail versus globaal beeld. Verder is voor het leerdoel vaak gedetailleerde informatie nodig over de aanpak en voortgang van het project of programma. Het verantwoordingsdoel is veelal meer gediend met globale informatie over budgetuitputting, planning en resultaten. Bij een beperkt budget kan ook hier spanning ontstaan.
Daarom en vanwege de uiteenlopende vragen die meekomen met de verschillende doelen, is het leerdoel niet altijd makkelijk te combineren met verantwoorden.
Overleg gewenst
Overleg tussen de opdrachtnemer en opdrachtgever over monitor- en evaluatiedoelen en indicatoren is dan ook gewenst. Soms worden sets van vragen en indicatoren gevonden waarmee zowel doel van leren en aanpassen als het verantwoordingsdoel voldoende worden gediend. Is dat niet het geval? Dan is mogelijk een goede strategie om opeenvolgend te werken: u begint met monitoren en evalueren om te leren, waarbij u goed inzicht krijgt in de ontwikkeling en resultaten van het programma. Op basis daarvan start u (aanvullende) monitoring en evaluatie voor de verantwoording.
Reflexief monitoren doet u bij voorkeur met participatie van betrokkenen. Dat heeft twee samenhangende redenen:
Participatie houdt overigens meer in dan het aandragen van informatie voor een rapport. Het gaat bijvoorbeeld om meedoen aan systeem- of actoranalyses of aan reflectiesessies.
Wie betrekt u?
Betrek eerst en vooral degenen die direct bij de uitvoering betrokken zijn. Maar belangrijke doelgroepen zijn ook managers, financiers, beleidsmakers en andere stakeholders die een rol spelen bij de vernieuwing. Daarnaast kunnen vernieuwers van verwante programma's relevant zijn voor het monitoren. Maak eventueel een systematische analyse maken om relevante actoren in beeld te krijgen. Zie ook bij ‘Methoden' actor- en netwerkanalyse'.
Wie u wanneer en voor welke (leer)vragen benadert is uiteindelijk een kwestie van weloverwogen kiezen. Laat die keuze mee bepalen door de lange termijnambities: welke partijen zouden daarvoor mee moeten leren en waarover?
In principe is de reflexieve monitor er voor om te herinneren aan de systeeminnovatieve ambities. Het is aan de project- of programmaleider om deze ambities af te wegen tegen andere belangen.
Maak als projectleider in een vroeg stadium met de monitor afspraken over uw rollen. Betrek daarbij de mogelijke verantwoordingsdoelen die een opdrachtgever heeft meegegeven (zie ook de vraag ‘Kan ik leren combineren met verantwoorden?'). En zorg ervoor dat u het eens wordt over de doelen van de monitoring en over concrete activiteiten.
Interventies
De rol van de reflexieve monitor brengt met zich mee dat hij of zij interventies zal plegen in het project of programma. Zo'n interventie kan bijvoorbeeld zijn dat de monitor deelnemers aan een experiment confronteert met vanzelfsprekendheden in hun denken. Of de monitor stelt misschien op basis van de monitorinzichten de koers van een project of programma ter discussie. De monitor doet dat in principe in het licht van de systeeminnovatieve ambitie van het project of programma.
We onderscheiden vier mogelijke taken voor een monitor:
1. (Bijdragen aan) actor-analyses
2. (Bijdragen aan) systeem- en trendanalyses
3. Suggesties leveren voor (uitvoeren) van concrete groepsinterventies
4. (Bijdragen aan) registratie
Het gaat hierbij bijvoorbeeld om bijdragen aan databestanden over veranderde praktijken en regime-aanpassingen, het bijhouden van een dynamische leeragenda, en om activiteiten om lessen aan derden over te dragen.
De vier taken zijn zowel van toepassing op monitoren en evalueren van een transitieproject als voor een transitieprogramma. Alleen is de scope van de analytische bijdragen bij monitoren en evalueren voor een programma breder dan die voor projecten. Bovendien zijn de verschillende analyses bij monitoring en evaluatie voor een programma vaak minder gedetailleerd.
Hoewel reflexief monitorwerk dicht aanzit tegen ‘gewoon' transitiewerk werken veel project- of programmaleiders met een externe monitor, die ervaring heeft met monitoren en evalueren van transitiewerk. Een voordeel van een externe monitor kan verder zijn dat hij of zij een frisse blik meebrengt. De externe monitor is daardoor beter in staat vanzelfsprekendheden te zien die een barrière vormen voor de systeeminnovatie. Een derde voordeel is dat de verantwoordelijkheden van de externe monitor en de programma- of projectleider duidelijk gescheiden zijn.
Monitoren van transities is maatwerk. Prioriteiten in verschillende doelen en doelgroepen bepalen dat maatwerk. Maar wat u gaat monitoren is ook afhankelijk van het specifieke project of programma en zijn omgeving en van ideeën (hypotheses) over de doorwerking van het transitiewerk. Het is daarom niet in algemene zin te zeggen welke vragen en indicatoren u het beste kunt gebruiken.
Veelal geldt daarbij dat monitoren en evalueren van systeeminnovatieve projecten of programma's zich niet beperkt tot (instrumenten van) reflexieve monitoring. Ook meer traditionele vormen van monitoren en evalueren kunnen gewenst en nuttig zijn. Zie hiervoor ook: 'Wat zijn in het algemeen de doelen van monitoren en evalueren?'.
Doorloop de volgende stappen om te bepalen waar u zich op gaat richten:
1) Begin met het verhelderen van de doelen, vragen en de doelgroep(en) van monitoren en evalueren (M&E). Daarmee krijgt u een eerste zicht op waarop u zich gaat richten.
2) Benoem welke toekomstvisie het project of programma wil realiseren.
3) Vertaal dan deze keuzes naar indicatoren.
Indicatoren
Er zijn verschillende typen indicatoren. Hieronder worden er drie genoemd, met voorbeelden. Welke indicatoren uiteindelijk geschikt zijn in uw geval, wordt (mee) bepaald door de antwoorden op de vragen die u hiervoor beantwoord hebt.
Procesindicatoren
Vroege signalen voor systeeminnovatieve praktijken
Meer traditionele indicatoren voor duurzaamheid
Lastig te verenigen doelen en vragen
Het kan blijken dat u bij monitoring en evaluatie met doelen en vragen te maken hebt die lastig te verenigen zijn. Dat vraagt mogelijk opnieuw overleg met opdrachtgever voor nadere keuzes en/of een fasering van verschillende monitoring- en evaluatieactiviteiten in de tijd. Zie hiervoor ook 'Kan ik leren verenigen met verantwoorden?'