Nieuw raamwerk om succes klimaatdienst voor adaptatie te beoordelen
Eva Boon doet onderzoek naar de vraag wat een klimaatdienst succesvol maakt. Samen met medewerkers van NGI en de WUR heeft ze een artikel gepubliceerd in het Elseviertijdschrift Climate Services over een raamwerk om het succes van klimaatdiensten te beoordelen. Ook laat het artikel zien hoe het raamwerk is getest in twee cases, en hoe het is geëvalueerd door onderzoekers en professionals die met klimaatdiensten werken.
Het succes van klimaatdiensten
Steeds vaker worden klimaatdiensten ontwikkeld om adaptatieprocessen te ondersteunen. Tegelijk worden ze bijna nooit geëvalueerd. Daarom heeft Eva in drie stappen een robuust evaluatieraamwerk ontwikkeld:
- Eerst ontwierp Eva het raamwerk door 12 succescriteria te selecteren en meetbaar te maken. Dat heeft ze gedaan met behulp van een Delphi-studie, waarin experts beoordeelden welke criteria het meest relevant zijn om het succes van klimaatdiensten te bepalen.
- Toen heeft ze dit raamwerk getest voor twee klimaatdiensten die werden ontwikkeld in het REACHOUT-project.
- Daarna hebben onderzoekers, makers en gebruikers van klimaatdiensten beoordeeld hoe bruikbaar, geloofwaardig en transparant het raamwerk is. Een deel van deze onderzoekers en uitvoerders bij de klimaatdiensten waarin het raamwerk werd getest.
Als het nodig is, is het ook mogelijk om nog criteria toe te voegen aan het raamwerk.
Hoe ziet het raamwerk eruit?
Het raamwerk bestaat uit 20 indicatoren die zijn vastgesteld op basis van literatuuronderzoek. Elk criterium kun je evalueren op een schaal van 1: niet geslaagd tot 5: geslaagd. Daardoor kunnen we klimaatdiensten makkelijker met elkaar vergelijken en ook beter monitoren. Verder kun je het raamwerk gebruiken voor verschillende soorten evaluaties (summatief, formatief, ontwikkelingsgericht) en je kunt het toepassen op allerlei verschillende klimaatdiensten.
Naar een standaardaanpak
Uit het onderzoek blijkt dat het raamwerk een standaardaanpak kan bieden, met indicatoren, een meetsysteem en richtlijnen, waarmee je elk criterium kwantitatief kunt beoordelen. In het algemeen vonden onderzoekers en gebruikers het raamwerk bruikbaar voor meerdere doelen, bijvoorbeeld om monitoring en evaluatie te ondersteunen of om het ontwikkelproces van een klimaatdienst te sturen. De studie benadrukt dat je een robuustere evaluatie kunt doen als er al vroeg tijdens de ontwikkeling van een klimaatdienst over de criteria wordt nagedacht. Zo biedt het raamwerk direct handvatten om meer succesvolle klimaatdiensten te ontwerpen.
Toekomstig gebruik van het raamwerk
Voor het succes van klimaatdiensten is het belangrijk dat het raamwerk ook echt gebruikt wordt en dat het normaal wordt om klimaatdiensten te evalueren. Om klimaatdiensten verder te ontwikkelen, is het daarom slim om het gebruik van de succescriteria te stimuleren als een nuttige tool. Door de bekendheid van de criteria te vergroten, kun je de weg vrijmaken voor een standaardaanpak om klimaatdiensten te evalueren. Naast het raamwerk is er als hulpmiddel ook een korte handreiking ontwikkeld om de criteria mee te nemen bij het ontwikkelen van klimaatdiensten, met een checklist en ‘guiding questions’.
Benieuwd?
Wil je meer weten over Eva’s onderzoek en de ontwikkeling van het raamwerk? Ga dan naar het artikel. Wil je zelf een klimaatdienst ontwikkelen en wil je hierbij het raamwerk zelf gebruiken? Dan kun je hieronder de handreiking downloaden:
Checklist and guiding questions for climate service development and evaluation
Het succes van klimaatdiensten
Steeds vaker worden klimaatdiensten ontwikkeld om adaptatieprocessen te ondersteunen. Tegelijk worden ze bijna nooit geëvalueerd. Daarom heeft Eva in drie stappen een robuust evaluatieraamwerk ontwikkeld:
- Eerst ontwierp Eva het raamwerk door 12 succescriteria te selecteren en meetbaar te maken. Dat heeft ze gedaan met behulp van een Delphi-studie, waarin experts beoordeelden welke criteria het meest relevant zijn om het succes van klimaatdiensten te bepalen.
- Toen heeft ze dit raamwerk getest voor twee klimaatdiensten die werden ontwikkeld in het REACHOUT-project.
- Daarna hebben onderzoekers, makers en gebruikers van klimaatdiensten beoordeeld hoe bruikbaar, geloofwaardig en transparant het raamwerk is. Een deel van deze onderzoekers en uitvoerders bij de klimaatdiensten waarin het raamwerk werd getest.
Als het nodig is, is het ook mogelijk om nog criteria toe te voegen aan het raamwerk.
Hoe ziet het raamwerk eruit?
Het raamwerk bestaat uit 20 indicatoren die zijn vastgesteld op basis van literatuuronderzoek. Elk criterium kun je evalueren op een schaal van 1: niet geslaagd tot 5: geslaagd. Daardoor kunnen we klimaatdiensten makkelijker met elkaar vergelijken en ook beter monitoren. Verder kun je het raamwerk gebruiken voor verschillende soorten evaluaties (summatief, formatief, ontwikkelingsgericht) en je kunt het toepassen op allerlei verschillende klimaatdiensten.
Naar een standaardaanpak
Uit het onderzoek blijkt dat het raamwerk een standaardaanpak kan bieden, met indicatoren, een meetsysteem en richtlijnen, waarmee je elk criterium kwantitatief kunt beoordelen. In het algemeen vonden onderzoekers en gebruikers het raamwerk bruikbaar voor meerdere doelen, bijvoorbeeld om monitoring en evaluatie te ondersteunen of om het ontwikkelproces van een klimaatdienst te sturen. De studie benadrukt dat je een robuustere evaluatie kunt doen als er al vroeg tijdens de ontwikkeling van een klimaatdienst over de criteria wordt nagedacht. Zo biedt het raamwerk direct handvatten om meer succesvolle klimaatdiensten te ontwerpen.
Toekomstig gebruik van het raamwerk
Voor het succes van klimaatdiensten is het belangrijk dat het raamwerk ook echt gebruikt wordt en dat het normaal wordt om klimaatdiensten te evalueren. Om klimaatdiensten verder te ontwikkelen, is het daarom slim om het gebruik van de succescriteria te stimuleren als een nuttige tool. Door de bekendheid van de criteria te vergroten, kun je de weg vrijmaken voor een standaardaanpak om klimaatdiensten te evalueren. Naast het raamwerk is er als hulpmiddel ook een korte handreiking ontwikkeld om de criteria mee te nemen bij het ontwikkelen van klimaatdiensten, met een checklist en ‘guiding questions’.
Benieuwd?
Wil je meer weten over Eva’s onderzoek en de ontwikkeling van het raamwerk? Ga dan naar het artikel. Wil je zelf een klimaatdienst ontwikkelen en wil je hierbij het raamwerk zelf gebruiken? Dan kun je hieronder de handreiking downloaden:
Checklist and guiding questions for climate service development and evaluation