‘True genius resides in the capacity for evaluation of uncertain, hazardous, and conflicting information.’
(Winston Churchill)
1 Inleiding
Als je evaluaties gebruikt om af te rekenen, dan druk je het initiatief weg om te delen. Zeker in een situatie waarin betrokkenen willen leren. (Uit: interview Mr. Albert van Wijk, Openbaar Ministerie)
Er bestaat een groot aantal evaluatietechnieken. Dit boek heeft niet tot doel een uitgebreide handleiding te willen zijn voor de diverse technieken voor het uitvoeren van evaluaties. We beperken ons tot een korte inleiding in de diverse technieken, waarmee we het verschil tussen referentiemodellen, technieken en werkvormen duidelijk willen maken.
Er zijn criteria die moeilijker en die makkelijker zijn te meten, maar er is in principe geen onderscheid tussen harde en zachte criteria. (Uit: interview Wichert van Engelen, manager ICT Vernieuwing bij GVB)
Voor een heldere indeling van de technieken verwijzen we naar een publicatie van het Steunpunt Beleidsrelevant Onderzoek van de Bestuurlijke Organisatie Vlaanderen, dat de in paragraaf 6.2 opgenomen indeling hanteert (Peuter, Smedt & Bouckaert, 2007). In deze publicatie wordt vooral gekeken naar technieken vanuit het oogpunt van beleidsevaluatie.
Voor aanvullende informatie is ook de on-linegids van de Europese Commissie, Evalsed (Evaluation of Socio-Economic Development), erg nuttig. Deze gids biedt ondersteuning bij het uitvoeren van evaluaties voor socio-economische ontwikkelingen. De genoemde technieken zijn generiek toepasbaar en voor diverse evaluaties bruikbaar.
2 Technieken voor structureren van de evaluatie
Om een evaluatie tijdens de uitvoering te kunnen structureren, kunnen technieken gebruikt worden die respondenten en evaluator helpen om bevindingen te structureren:
- De SWOT-matrix (Strenghts, Weaknesses, Opportunities, Threats) is hier een voorbeeld van (Quinn, 1988). In een matrix worden interne en externe elementen aan elkaar gekoppeld. Daarmee wordt de basis gelegd voor een analyse van bijvoorbeeld de aanpak. De SWOT-structuur kan helpen bij het vooruitkijken in het kader van strategievorming en ook bij bij het terugkijken en evalueren.
- Logische modellering, waarbij expliciet wordt gemaakt welke denk- of uitvoeringsstappen in de loop van de tijd zijn gezet. Deze techniek kan ook gebruikt worden om vooruit te kijken. Het resultaat van een logische modellering is een tijdslijn. Deze tijdslijn geeft de opeenvolgende activiteiten, de opvolgende input, throughput (activiteiten), de output (ofwel de (bereikte) resultaten) en tot slot de effecten weer.
- Conceptmapping. Dit is, kort gezegd, een techniek om onderlinge relaties te analyseren en in diagrammen uit te werken. Hierbij worden vaak eerst de behaalde resultaten en effecten achterhaald, en die worden gegroepeerd. Met de projectdeelnemers wordt vervolgens gekeken welke evaluatiecriteria gelden voor deze groepen. In beide stappen vindt een prioritering plaats van de resultaten, effecten en evaluatiecriteria. Door daarover in discussie te gaan, kan de evaluator informatie verzamelen over de oorspronkelijke doelen en de daadwerkelijke realisatie daarvan.
- De Colour Vote-methode (L’Abaque de Régnier) is bedoeld om standpunten en visies te meten binnen een Er worden diverse stellingen geformuleerd, waarna groepsleden deze stellingen van een score voorzien. Deze score wordt uitgedrukt in een kleur. Zo wordt met kleurenschema’s duidelijk gemaakt hoe de groep tegen de diverse standpunten aankijkt (http://www.colorvote.com).
- Beoordeling van de evalueerbaarheid (Evaluability Assessment, EA). Hierbij wordt onderzocht wat de evalueerbaarheid is van een project en welke methoden en technieken het best toegepast kunnen worden. Hierbij wordt dus ook gezocht naar aansluiting van methode bij het te evalueren object (Scriven, 1991).
3 Technieken van dataverzameling
Er zijn diverse technieken voor dataverzameling die de evaluator – evenals een onderzoeker – ter beschikking staan om zijn gegevens te verzamelen. Vanuit het ontwerp van de evaluatie volgt een keuze voor de soort steekproef en de grootte van de steekproef, en of de evaluator gebruikmaakt van een focusgroep. De evaluator moet hierbij keuzes maken in de manier waarop hij informatie van respondenten uitvraagt, bijvoorbeeld in naturalistische of gestructureerde observaties, gestructureerde of ongestructureerde interviews, enquêtes, documentanalyses of het gebruik van vragenlijsten. Ook rollenspellen, het laten schrijven van liederen, het werken aan een ‘familieopstelling’ of de inzet van kwaliteitscirkels kunnen behulpzaam zijn bij het verzamelen van gegevens.
Audits zijn naar mijn mening meer een control-instrument. Evalueren is bedoeld om tussentijds te rapporteren, bij te sturen en te leren. (Uit: interview Mr. Albert van Wijk, Openbaar Ministerie)
IKEA uses a metaphor for working with checklists: compare it with the way a pilot is working.
A pilot will only take off after a positive result of the checklist. You would not want the pilot to leave with a negative result of the checklist because one of the engines is not working. (Uit: interview Paolo Cinelli, CIO IKEA)
Enkele voorbeelden van dataverzamelingstechnieken zijn:
- Het doen van observaties. Denk aan de observatie van mensen, objecten, groepen. Observeren kan aan de hand van een speciale checklist, of vanuit een meer naturalistische benadering, zonder voorgestructureerde lijst.
- Het bestuderen van documenten, logboeken of beeldmateriaal.
- Het houden van interviews. Dit kan individueel of in groepen. Een interview kan via een gestructureerd protocol verlopen, of juist heel open en vrij van vorm zijn. Interviews kunnen persoonlijk, face-to-face, worden gedaan, telefonisch of online.
- Het gebruik van vragenlijsten met diverse soorten vragen (open en gesloten) en wel of niet voorgestructureerd op basis van geoperationaliseerde vragen.
- Gebruikmaken van visualisaties en beelden, onder meer door fotomateriaal te verzamelen, of door het opvragen van door mensen gemaakte collages of tekeningen.
De bezuinigingen waarvoor wij ons, als OM, zien gesteld, zijn een goede trigger om strakker te sturen en leermomenten in te bouwen. De financiële druk veroorzaakt dat wij projecten beter monitoren en dat wij vaker vragen om inzicht in de voortgang. (Uit: interview Mr. Albert van Wijk, Openbaar Ministerie)
Een slecht gemaakt examen zegt niet alleen iets over de student, maar kan ook iets zeggen over de kwaliteit van de examenvragen, de kwaliteit van het onderwijs, de kwaliteit van de beoordelaar en de gemoedstoestand van de student. Dit geldt ook voor projecten en evalueren: in je beoordeling moet je met al deze aspecten dan ook rekening houden. (Uit: interview Pieter Frijns, Bureau Gateway)
De te kiezen werkvormen bij een bepaalde techniek, hangt af van bepaalde omstandigheden. Een vragenlijst als techniek kan via een mondelinge werkvorm, groepsgesprekken of via een visualisatie worden afgenomen indien er grote aantallen mensen betrokken zijn. Bij kleine aantallen is een persoonlijk interview beter op z’n plaats. Interviews werken ook beter indien de respondent het lastig vindt om lijsten in te vullen, of als de respondent juist gevraagd wordt te reflecteren op bepaalde onderwerpen. Kortom, in de gekozen werkvorm wordt uiteindelijk de vertaling gemaakt naar hoe respondenten bevraagd worden.
4 Technieken van data-analyse
De gegevens die voor een evaluatie verzameld worden, kunnen kwalitatief en kwantitatief van aard zijn. Voor het analyseren van de gegevens uit de dataverzamelingsfase, staan de evaluator diverse statistische technieken ter beschikking, waaronder een regressieanalyse (Baarda & De Goede, 1994). Kwantitatieve gegevens geven inzicht in de data en de samenhang tussen de (significante) trends in deze data. Er bestaan technieken die inzichtelijk maken wat de betekenis is van de data. Dit kan bijvoorbeeld door modellen te maken die de input en de output beschrijven, of die een deel van de macro-economische werkelijkheid beschrijven. Een andere benadering is het opstellen van een kosten-/batenanalyse waarbij de evaluatie meer gericht is op de financiële aspecten, bijvoorbeeld op de gemaakte kosten en gegeneerde baten van een project of maatregel. Een kosteneffectiviteitsanalyse baseert zich ook op kosten en baten, maar beschouwt ook de effecten in de analyse. Deze modellen zijn vooral voor beleidsevaluaties toepasbaar, maar kunnen ook voor projecten ingezet worden.
Voor evalueren werkt het blauwdrukdenken niet. Een mooie aanpak is om met de direct betrokkenen sessies te organiseren op het gebied van intervisie, rapportages en projectcontrol en tussentijdse audits. (Uit: interview Mr. Albert van Wijk, Openbaar Ministerie)
Voor kwalitatieve data zijn andere analysetechnieken beschikbaar, waaronder hulpmiddelen voor inhoudsanalyse van gesprekken en teksten, het visualiseren van gegevens, het rubriceren van de gegevens op basis van steekwoorden of in bijvoorbeeld interactieve sessies met experts (focusgroepen) (Patton, 2002; Denzin & Lincoln, 2005). Als bij de uitwerking van de resultaten meerdere personen betrokken worden, kan de Delphi-methode helpen: door uitwerkingen en vragen rond te sturen naar een aantal experts, ontstaat consensus in de uitwerking en de conclusies, en ontstaat tevens de mogelijkheid om nieuwe ideeën expliciet te maken.
Pass the message that successful projects are important for the whole organization, and that success is totally dependent on cooperation between different players and teams. Also, that failure is part of life and professional progress, hence it should be looked at constructively. Evaluations are not to punish, but to learn from. The more open you are yourself, the more you will get out of it. (Uit: interview Paolo Cinelli, CIO IKEA)
Kijken we naar de genoemde technieken, dan is het ook een optie om een meting op een aantal criteria in de tijd enkele malen te herhalen. Hierdoor ontstaan zogenoemde tijdreeksen, waarmee de ontwikkelingen van een project kunnen worden gevolgd.
5 Technieken van beoordeling
Na de analyse volgt een beoordeling van de data. Deze stap brengt extra waarde aan in de evaluatie, omdat aan de geëvalueerde en geanalyseerde gegevens conclusies worden verbonden. Ook hier staat de evaluator een aantal technieken ter beschikking. Naast de eigen waardering en rangordening van de resultaten, kan een evaluator ook een expertpanel inschakelen, die met hem de waardering en rangordening uitvoert. Om deze beoordeling te ondersteunen, kan gebruik worden gemaakt van een impactmatrix, waarbij maatregelen of activiteiten afgezet worden tegen de impact die ze hebben.
Bij het evalueren en rapporteren gaat het bij het OM niet alleen om geld en budget maar zeker ook om aspecten als de mens-als-medewerker, de cultuur en het managementproces. Al deze facetten zijn van belang bij goed evalueren en goed rapporteren over de voortgang. (Uit: interview Mr. Albert van Wijk, Openbaar Ministerie)
Als we maatregelen tegen elkaar afzetten in een matrix, is sprake van een zogenoemde cross impact-matrix. Een andere techniek om de beoordeling te ondersteunen, is een multicriteria-analyse (MCA), waarbij meerdere criteria, en dus meerdere wegingsfactoren, inzicht geven in de verschillen tussen waarnemingen, activiteiten of maatregelen, of opgeleverde eindresultaten van een project.
Beoordelen is een samenspel van meten, waarderen en beslissen en daarmee dan ook meer dan enkel een ‘slaag/zak’-keuze. (Uit: interview Pieter Frijns, Bureau Gateway)
Indien een vergelijking met andere organisaties of projecten gewenst is, kan ook een benchmark uitgevoerd worden. In een benchmark vergelijkt men een aantal belangrijke thema’s die in meerdere organisaties spelen en die getoetst kunnen worden. Op deze wijze kunnen evaluatieresultaten van verschillende organisaties vergeleken worden en kan de eventuele beoordeling in een bredere context worden uitgevoerd.
Door te evalueren moet voorkomen worden dat er een piramide van rapportages ontstaat, waardoor je je vaker dan nodig is aan het verantwoorden bent aan de hogere echelons, dan dat je daadwerkelijk aan het leren bent binnen je eigen organisatie. (Uit: interview Mr. Albert van Wijk, Openbaar Ministerie)
Tot slot noemen we nog de efficiëntie-analyse, waarbij de input en de output worden vergeleken, en waarbij de vraag gesteld wordt of de output niet op een efficiëntere manier kan worden bereikt. Hierbij kunnen diverse statistische technieken worden ingezet, bijvoorbeeld Six Sigma als instrumentarium voor evalueren.
6 Conclusie
Een evaluator heeft de beschikking over een groot aantal technieken om zo veel mogelijk data te verzamelen, te analyseren en te beoordelen. Een goede evaluator is dus ook een goede onderzoeker. In dit hoofdstuk is een kort overzicht gegeven van technieken die in de gereedschapskist van een evaluator zitten om de evaluatie uit te voeren. Deze gereedschapskist zit dus heel wat voller dan de gebruikelijke documentanalyse, deskresearch, gesprekken en vragenlijsten. Er zijn diverse andere manieren om aan informatie te komen. Dit hoofdstuk geeft een beknopt overzicht van de mogelijkheden en nodigt uit tot inventief omgaan met de onderdelen uit de gereedschapskist. Zeker als er een referentiekader wordt opgesteld op basis van de methoden, best practices, standaarden en frameworks die in de navolgende hoofdstukken worden beschreven, is onze oproep: gebruik vooral meerdere technieken om aan onderzoeksgegevens te komen. De mogelijkheden zijn divers, en de inzet van meerdere technieken zal de betrokkenheid van de deelnemers aan de evaluatie zeker vergroten.
Wouter Bronsgeest en Jan Jaap Elskamp
The post Technieken voor evalueren appeared first on EN | Van Haren Publishing.
