Door Harold Salomons
Ideeën die opkomen tijdens een avondje voor de buis. Een blog van Harold Salomons over het juist inrichten en uitvoeren van evaluatieprocessen en de valkuilen die daarbij kunnen optreden.
Tijdens het bekijken van de indrukwekkende dramaserie ‘De Vuurwerkramp’ over de vreselijke ramp in Enschede werd ik ineens geraakt door een opmerking van een van de onderzoekers. Deze deelde de rest van het onderzoeksteam mede dat er jaren eerder in Culemborg ook een grote vuurwerkontploffing had plaatsgevonden en dat er een dik rapport lag met adviezen om een herhaling van die ramp te voorkomen… maar dat daar helaas niets mee was gedaan.
Deze scene bleef mij bij door mijn eigen ervaringen met het evaluatieproces tijdens mijn werkzaamheden voor de politie maar ook tijdens mijn opdrachten voor de gemeente en evenementenorganisatoren. Daarbij bleek namelijk ook dat kansen waren gemist om echt te leren van situaties en incidenten, deze te borgen in de organisatie en echt te gebruiken bij de start van de voorbereidingen van het terugkerende evenement. Zo herinner ik mij goed de evaluaties tijdens het aftanken van de ME-voertuigen na een lange inzet, de manschappen uitgeblust in de voertuigen en dan over de porto horen ‘of er iemand nog iets heeft voor de evaluatie’. Daar kwam niet heel veel op terug zoals u zult begrijpen. Ook de evaluaties van grote SGBO’s waren in die tijd regelmatig gezellige her-ontmoetingssessies met de ketenpartners maar raakten niet de kern van waar het proces echt voor is bedoeld.
Zoals met zoveel processen is de kwaliteit van het evaluatieproces sterk afhankelijk van de aandacht die ervoor bestaat bij alle betrokkenen. Is het een ‘moetje’ dan hoef je niet veel te verwachten, ga je er echt samen voor zitten is er zoveel te winnen. Enkele van mijn persoonlijke observaties ten aanzien van het proces wil ik graag delen.
Zorg voor een veilige omgeving gericht op het leren van en met elkaar
Ik heb bij een flink aantal evaluaties meegemaakt dat er door de stakeholders (o.a. vergunningverleners, OOV, politie) in de richting van de organisator een lawine aan negatieve punten werd afgevuurd. Dit zorgt voor een wij-zij situatie waarin de organisator niet uitgenodigd wordt om zich open of kwetsbaar op te stellen. Een juiste balans van zaken die goed gingen en onderwerpen die verbetering behoeven zal de samenwerking juist versterken in plaats van onder druk zetten. Ook is het veel krachtiger om samen te onderzoeken op welke wijze de multi-partners elkaar kunnen ondersteunen dan te wijzen naar waar de ander het verkeerd heeft gedaan.
Stel al tijdens de voorbereiding van het evenement met elkaar een aantal specifieke evaluatiepunten vast
Door alle stakeholders vooraf tijdens de voorbereidingsfase al te richten op duidelijk omschreven aandachtspunten voor de evaluatie zullen ze in de uitvoering hier veel scherper de aandacht voor hebben. De opbrengst zal daardoor ook veel meer en diepgaandere informatie opleveren dan dat je het pas achteraf gaat uitvragen. Je kunt dit ook als vergunningverlener/adviseur op een goede manier inzetten om een organisator een duwtje in de juiste richting te geven.
Het al in de voorbereiding benoemen van de aandachtspunten van vorig jaar maakt het ook voor de organisator heel duidelijk waar deze verbeteringen in het proces zal moeten doorvoeren, op een moment waarop deze nog voldoende tijd heeft om dat daadwerkelijk te doen.
De evaluatie gaat niet alleen over de uitvoering, neem ook het voorbereidingsproces nadrukkelijk mee
In mijn ervaring gaat het in veel evaluaties van evenementen met name over de uitvoering. Dit is jammer omdat daarmee belangrijke lessen uit de voorbereidingsfase over het hoofd kunnen worden gezien. Enkele vragen die in dat kader bij mij opkomen als voorbeeld: ‘Waren we op tijd met de vergunningverlening, hielden we ons aan het spoorboekje?’, ‘Was er sprake van een open en constructieve samenwerking tussen alle partijen?’ en ‘Waren de taken, verantwoordelijkheden en bevoegdheden van alle stakeholders wel duidelijk voordat we de uitvoering in gingen?’
Gebruik de evaluatie!
Een open deur wellicht, maar toch zo vaak door mij gemist tijdens de vele evenementen waaraan ik in al mijn verschillende rollen een bijdrage had. De start van het voorbereidingsproces van een terugkerend evenement zal toch echt moeten beginnen met het gezamenlijk bespreken van de evaluatie van vorig jaar. Door even duidelijk stil te staan bij wat er goed en minder goed ging bij de voorgaande editie, maakt dat alle betrokkenen zoveel meer helderheid verkrijgen wat er nog te doen is in de voorbereiding. Maak die evaluatie dus ook goed vindbaar voor een eventuele opvolger/vervanger, door het op de juiste wijze te archiveren/borgen in je organisatie.
Valkuilen evaluatieproces
Om weer terug te komen waardoor ik met deze blog begon nog enkele valkuilen uit het evaluatieproces van de voornoemde vuurwerkrampen. Wellicht geven die ons ook de goede richting aan de wijze waarop je evaluaties van minder ernstige situaties kunt verbeteren:
Ontlopen van verantwoordelijkheid
Leerprocessen kunnen alleen plaatsvinden wanneer betrokkenen oprecht en eerlijk reflecteren over hun functioneren in aanloop naar, tijdens, of na de ramp. Voorkom dus ‘blame games’, want dat leidt tot de zeer menselijke tegenreactie om het eigen straatje schoon te willen vegen. Op deze wijze sluipen er veel halve en hele onwaarheden en tegenstrijdige verklaringen in het evaluatieonderzoek.
Gebrek aan onafhankelijkheid
Het ontlopen van verantwoordelijkheid wordt een nog groter probleem wanneer de onderzoekers die de evaluatie uitvoeren niet onafhankelijk zijn. Is een organisatie die zelf (mede-) verantwoordelijk was voor, tijdens, of na de ramp in staat om ook op het eigen handelen voldoende te reflecteren? Of ontstaat dan de situatie waarin de slager zijn eigen vlees keurt?
Als iedereen schuld heeft, draagt niemand verantwoordelijkheid voor lessen
Er wordt in onderzoeken regelmatig gesteld dat incidenten en rampen het gevolg zijn van ‘systeemfalen’. Dit wordt uitgelegd als een situatie waarbij iedereen in het systeem een beetje schuld draagt voor hetgeen is voorgevallen, een vrij abstract collectief krijgt dan dus de schuld in de schoenen geschoven.
Dit maakt het echter mogelijk voor de individuele organisaties om hun verantwoordelijkheid te ontlopen en daarmee ook de noodzaak om echt aan de slag te gaan met de leerpunten en verbeterprocessen.
Wensdenken
Een laatste mechanisme dat het leren van evaluatierapporten kan belemmeren betreft het begrip ‘wensdenken’. De aanbevelingen en lessen zijn dan utopisch en daarmee onmogelijk te realiseren. Dergelijke rapporten zijn goed voor de bühne, maar dragen niet bij aan een daadwerkelijke verbetering van de situatie.
Naar een goed evaluatieproces
Met dit blog hoop ik het vuur weer wat op te stoken ten aanzien van het inzetten van een kwalitatief goed evaluatieproces. Door echt goed te onderzoeken waar het beter kan zullen we veiligere evenementen realiseren, daar doen we het met zijn allen uiteindelijk voor!