Wanneer evalueren en wie evalueren

‘We have two ears and one mouth so that we can listen twice as much as we speak.’

(Epictetus)

1   Inleiding

Learning is a shared responsibility. (Uit: interview Paolo Cinelli, CIO IKEA)

Omdat de snelheid waarmee IT zich vernieuwt groot is, is het nodig de IT-voorzieningen steeds aan te passen, of zelfs te vervangen. De druk op vernieuwing levert voortdurende verbetering van techniek en functionaliteit op, maar legt ook druk op de schouders van IT-functionarissen om snel de beoogde resultaten te bereiken. Aan het opstellen van wensen, aan testen en aan kwaliteitscontrole wordt dan minder aandacht besteed dan nodig is. Ook komt het voor dat er concessies worden gedaan aan de functionaliteit, of dat er budgettaire druk ontstaat. Daarnaast ontstaat het risico dat projecten uitlopen, de kosten toenemen en de opbrengsten minder worden. Zeker in de huidige tijdgeest worden budgetten voor IT-investeringen kleiner. Door projecten met een IT-component actief te evalueren, kan worden vastgesteld of de realisatie ervan volgens plan verloopt.

Het kan zijn dat de uitkomst van een evaluatie aanleiding is voor bijsturing. Evenals het opdrachtnemerschap van IT-trajecten van cruciaal belang is voor de wijze waarop projecten met een IT-component worden uitgevoerd, is ook het opdrachtgeverschap bij evaluatie van doorslaggevend belang voor de wijze waarop de evaluatie plaatsvindt. Onderzoek naar faalfactoren van IT-projecten toont aan dat elementen als gebrekkige communicatie en samenwerking, complexiteit van het project, en de onduidelijke rolverdeling tussen opdrachtgever, stuurgroep en projectmanager belangrijke faalfactoren zijn (Stuurman, 2009; Van der Molen, 2009; Beenker, 2010; Jung & Looi, 2011; Schönfeld, 2012).

In dit hoofdstuk staan we stil bij de fasering van projecten, het opdrachtgeverschap en de verschillende rollen van experts die in een project betrokken zijn bij evalueren.

2   Aandachtspunten per projectfase

In projectmanagementmethoden wordt aanbevolen om door middel van kwaliteitszorg en evalueren projecten te monitoren, om zodoende eventueel falen te voorkomen. Lessons lerarned (geleerde lessen) uit eerdere projecten, kwaliteitszorg en evaluaties leveren basisinformatie voor optimalisatiemaatregelen tijdens realisatie, het mitigeren van risico’s en het verbeteren van de kwaliteit van de eindproducten. Bij het evalueren van projecten met een IT-component is het daarnaast belangrijk om rekening te houden met de fasen van een project met een IT-component. Iedere fase heeft namelijk een specifiek karakter (De Vries & Ploeger, 2011).

Er is durf nodig om “nee” te zeggen tegen een onrealistisch project. Er zijn voorbeelden waarbij medewerkers hebben aangeven dat de opdrachtgever een onrealistisch project vraagt en dat zo´n systeem er ook niet is gekomen. Daarvoor is een cultuur nodig waarin de opdrachtgever en de CIO de randvoorwaarden creëren en de medewerkers vertrouwen ontwikkelen. (Cornelis van der Werf, onderzoeksdirecteur Algemene Rekenkamer)

In de initiatiefase is niet veel meer aanwezig dan een globaal idee over de te realiseren functionaliteit, de benodigde middelen, mogelijke baten en te bereiken effecten. In deze fase zullen vooral economische, sociale, organisatorische en bestuurlijke aspecten aan de orde komen. Vaak wordt in deze fase ook de business case opgesteld. In de planvormingsfase werken enkele functionarissen met veel kennis van het primaire proces samen om tot een plan te komen. Het accent ligt hierbij op organisatorische en economische aspecten. De realisatiefase wordt gekenmerkt door een veelheid aan activiteiten die door technische experts in een bepaalde tijdspanne worden gerealiseerd. In deze fase ligt het accent op technische en organisatorische aspecten. De beheer- en gebruiksfase wordt gekenmerkt door sociale en organisatorische aspecten vanwege de grote aantallen eindgebruikers, het lifecyclemanagement en nieuwe gebruikerswensen.

In de beheerfase kan een systeem onderdeel zijn geworden van een grotere keten, de lijnorganisatie, of er kan sprake zijn van outsourcing. In deze situaties spelen weer andere aspecten een rol: bij IT-voorzieningen die onderdeel zijn van een keten, en waarbij gebruikers op verschillende plaatsen in de organisatie beschikken over gegevens die elders in de organisatie zijn opgeslagen, spelen vooral bestuurlijke aspecten een rol. Denk aan de besturing van de keten, de verschillende belangen van de ketenpartijen en hun stakeholders en de verschillende en elkaar soms tegensprekende kwaliteitseisen waarover onderhandeld moet worden. In het geval van outsourcing, de overdracht van IT-faciliteiten aan een derde partij, speelt de relatie tussen opdrachtgever en dienstverlener een cruciale rol. Bij een evaluatie van deze laatste vorm zal dan ook veel aandacht uitgaan naar bestuurlijke en organisatorische elementen.

In het algemeen is samenwerking tussen mensen van belang, dus als dit ook in de IT een van de afbreukrisico´s is, leer dan van oplossingen in andere sectoren. Speel leentjebuur! IT is een jonge industrie, dus ga niet alle eigen schade en schande ervaren maar vertaal bijvoorbeeld de timeout uit de medische wereld naar de IT. Organiseer een timeout van een dag aan het eind van een fase en laat iedereen zich uitspreken over onzekerheden en twijfels over de resultaten van de afgeronde fase voordat je aan de volgende fase begint. (Uit: interview Saskia Stuiveling, president Algemene Rekenkamer)

Aandachtspunten waarop tijdens een evaluatie gelet moet worden, en de zwaarte van deze aandachtspunten gekoppeld aan de levenscyclusfase, zijn uitgewerkt in tabel 1.

Tabel 1 Evaluatie per levenscyclusfase (De Vries & Ploeger, 2011)

Levenscyclusfase	Sociaal	Technisch	Organisatorisch	Economisch	Bestuurlijk
Initiatie	++	+	++	++	++
Planvorming	+	+	++	++	+
Realisatie	+	+++	++	+	+
Beheer en gebruik	++	++	+++	+++	+
– In keten	+	++	+	+	++
– Outsourcing	+	+	++	+	+++

3   Opdrachtgeverschap

Naast de projectaanpak en de rol van de projectmanager, heeft ook de opdrachtgever invloed op een groot aantal kritieke succesfactoren voor het slagen van een project met een IT-component (Chaos Report, 2009). Zo bepaalt de opdrachtgever in sterke mate de betrokkenheid van de gebruiker. Gebruikers hebben een belangrijke rol bij het opstellen van functionele eisen en kwaliteitseisen, zijn vaak betrokken bij het opstellen en toetsen van specificaties, en kunnen ook in diverse testfasen een belangrijke rol hebben. Deze betrokkenheid heeft ook invloed op het draagvlak voor nieuwe voorzieningen. Hoe groter het draagvlak, des te groter is de kans op een succesvolle implementatie. Ook heeft de opdrachtgever een grote invloed bij de keuze van de projectmanager. Een goede match tussen competenties, ervaring, omvang en het belang van het project vragen van de opdrachtgever kennis van zaken en zakelijk inzicht bij de keuze van een projectmanager. Het is bekend dat de kwaliteit van de projectmanager erg belangrijk is voor een succesvolle realisatie (Van der Molen, 2009). De opdrachtgever is ook verantwoordelijk voor het benoemen van belangrijke uitgangspunten voor de organisatie, zoals de visie op het (her)gebruik van bestaande software, interne ontwikkeltrajecten of de mogelijkheid voor pakketselectie. Ook   de keuze voor ontwikkelmethoden voor proces en software, en de (gegeven) kwaliteitsmethoden zijn aspecten van opdrachtgeverschap.

Fail small and quick, a positive reward for success is important! Be humble as a company. Invest in the professional. Let him/her develop inside the company. Give a tap on the shoulder. Give them more responsibility. (Uit: interview Paolo Cinelli, CIO IKEA)

In het Chaos Report wordt opdrachtgeverschap onderverdeeld in vijf scholen (Chaos Report, 2009): de managementschool, de governanceschool, de analytische school, de sociologische school en de agile-school. Deze indeling vinden wij bruikbaar voor het beschrijven van de verschillende rollen van opdrachtgevers. Als de rol van de opdrachtgever bekend is, kan in de evaluatie namelijk ook gelet worden op de effecten van deze rolinvulling (zie tabel 2).

Tabel 2 Scholen voor opdrachtgeverschap

School	Waar het accent van de aandacht ligt
managementschool	De managementschool zorgt voor het organiseren van het proces en het bij elkaar brengen van competenties. De aandacht ligt bij organisatiemodellen met een focus op de (te realiseren) strategie en visie. Gericht op het goed beschrijven van functionaliteit.
governanceschool	De governanceschool is gericht op toepassen van regels voor het uitvoeren van projecten en het ontwikkelen van IT-voorzieningen. Toezicht op deze regels en methoden staat centraal, er wordt nadrukkelijk aan voortgangsrapportages en control gedaan.
analytische school	Deze school heeft vooral zorg en aandacht voor de juiste technische en functionele specificaties. Ze zal zich in de methoden van ontwerp ook vooral richten op de uitdieping van de businessvragen en de vertaling naar proces- en systeemspecificaties.
agile-school	Deze school kenmerkt zich door een multidisciplinaire aanpak, het doorlopen van iteraties tijdens het ontwerp- en ontwikkelproces, innovatief vermogen en het gebruikmaken van alle aanwezige kennis en inzicht.
sociologische school	De school richt zich op het gedrag van mensen, groepen van mensen en de organisatie(s). De focus ligt op cultuur, samenwerkingsverbanden en werkvormen die het project helpen de doelstelling te halen.

4   Actoren en de uitvoering van evaluaties

De evaluatie van een project met een IT-component kan op verschillende manieren plaatsvinden (Gartner, 2009). We hebben vastgesteld dat evalueren zelf ook een proces is, en dat een evaluator met verschillende referentiemodellen en evaluatietechnieken in verschillende projectfasen een evaluatie kan uitvoeren. Daarnaast zal een project door de opdrachtgever bestuurd worden vanuit een specifieke achtergrond of school waar de evaluator rekening mee moet houden (zie tabel 2). De persoon of groep personen die de evaluatie uitvoert kent ook verschillen. De uitvoering van een evaluatie kan door verschillende actoren plaatsvinden, waaronder de manager, de projectmanager, de controller, de EDP-auditor, een organisatieadviseur, de moderator van een interactief proces of de leider van een peer-to-peer-proces. Hieronder bespreken we achtereenvolgens de genoemde actoren.

Managers zijn verantwoordelijk voor de IT-voorzieningen van hun organisatie. Het voordeel van managers die in een evaluatie de voortrekkersrol hebben, is dat zij kennis hebben van de doelstellingen, de primaire processen en de producten en diensten van de organisatie. Ze kunnen een project met een IT-component dan ook goed relateren aan deze onderwerpen. Een mogelijk nadeel van managers kan zijn dat zij meer generieke kennis van de kennisintensieve processen hebben binnen hun organisatie, en vaak sturen op kosten, baten en risico’s. Bij lijnmanagers is kennis van het ontwikkelen van IT en kennis van IT-voorzieningen beperkter aanwezig. Een ander nadeel kan zijn dat managers de evaluatie nodig hebben voor externe of interne verantwoording en dan graag laten zien hoe goed het gaat met een project (Bolman & Deal, 1995).

Professionals zijn vanuit hun expertise niet onbetrouwbaar, maar vaak wel onvolledig. Door samen te werken wordt een vollediger en breder blikveld gecreëerd. (Uit: interview Pieter Frijns, Bureau Gateway)

Projectmanagers hebben kennis van en ervaring met het uitvoeren van projecten, en worden daarop geselecteerd (Gevers & Zijlstra, 2007). Zij worden aangestuurd op het realiseren van projectdoelen binnen tijd, budget en kwaliteit en dus op de succesvolle besteding van projectbudgetten. In de IT gaat het vaak om grote budgetten. Aandachtspunt voor projectmanagers is de eigen betrokkenheid bij projecten. Een projectmanager zal een evaluatie dan ook uitvoeren om zelf te leren wat beter kan, maar zal tegelijkertijd ook aan de opdrachtgever en stuurgroep niet al te slechte evaluatie- en kwaliteitsrapportages willen laten zien. Daardoor ontstaat het risico dat een projectmanager bij zijn rapportage de projectrisico’s wat lager inschat.

Binnen veel organisaties werken controllers die erop toezien dat de besteding van financiële en overige middelen op verantwoorde wijze gebeurt. Zij hebben vaak ervaring met allerlei bedrijfsprocessen en financiële processen binnen de organisatie. Daarnaast houden controllers vaak toezicht op de bedrijfs- en projectrisico’s en de mitigerende maatregelen die door projectmanagers of lijnmanagers genomen worden (Bos & Harting, 2006; OGC, 2009). Controllers kunnen wel evalueren, maar een nadeel kan zijn dat zij, omdat ze minder specifieke kennis van IT hebben, zich meer zullen richten op het aspect financiën en verantwoording.

Een EDP-auditor of IT-auditor heeft als taak de correcte werking van IT-voorzieningen vast te stellen (Cangemi & Singleton, 2003). De EDP-auditor heeft veel kennis van de informatievoorziening en de IT-faciliteiten en gebruikt deze kennis om te komen tot een oordeel over de correcte werking van IT-faciliteiten. Een interne auditor heeft daarnaast als voordeel dat hij ook de primaire processen van een organisatie kent. De externe auditor kent deze processen echter niet, hetgeen een nadeel kan zijn. De auditor heeft beroepsregels die ervoor zorgen dat hij een zo onafhankelijk mogelijke rol kan innemen ten aanzien van het project dat de audit ondergaat (IIA, 2009).

Soms wordt een organisatieadviseur gevraagd om een evaluatie uit te voeren. Dit kan een eigen medewerker zijn, maar vaak worden hiervoor externe adviesbureaus uitgenodigd. In veel gevallen zal in een dergelijk organisatieadviestraject een aantal gesprekken plaatsvinden met sleutelfunctionarissen. Dit levert een aanpak op die meer elementen heeft van een organisatiediagnose. Mogelijke gevolgen zijn een bredere kijk, maar ook een bredere onderzoeksscope met invloed op de diepgang, doorlooptijd en eventueel kosten (Schein, 1978; Boudewijns, 2005).

Een onafhankelijke moderator kan ook evaluaties uitvoeren. In deze gevallen is er sprake van een meer interactief proces om een analyse uit te voeren. Denk bij deze manier van evalueren aan sessies waarin vertegenwoordigers van verschillende disciplines deelnemen. Een goede spreiding van disciplines die bij een project met een IT-component betrokken zijn, en dat zijn er veel, helpt om in een evaluatie meerdere invalshoeken te belichten. Vertegenwoordigers van diverse disciplines nemen niet alleen hun kennis en ervaring mee, maar ook hun blik op de werkelijkheid binnen een project of een organisatie. Voordeel is dat deze manier van werken relatief weinig tijd en geld kost. Daarnaast levert het veel input op voor de evaluatie, en heeft het als neveneffect dat medewerkers met verschillende vakinhoudelijke disciplines elkaar spreken en elkaar nieuwe inzichten geven.

Sinds enkele jaren voeren diverse organisaties binnen de overheid ook peer-to-peer- onderzoeken uit. Hierbij wordt een onderzoeksteam samengesteld dat bestaat uit ervaren functionarissen, die gelijkwaardig zijn aan de opdrachtgever en projectmanager van het te onderzoeken project. Deze methode wordt bij de Rijksoverheid toegepast bij IT-projecten met een omvang van meer dan 5 miljoen euro en is gebaseerd op de door de Britse overheid ontwikkelde en gecertificeerde Gateway-methode (OGC, 2007). Het voordeel is dat de input in het reviewproces wordt geleverd door personen die beschikken over relevante kennis en ervaring. In deze aanpak worden veel aspecten belicht, hoewel in deze aanpak vooral aandacht is voor economische en bestuurlijke aspecten.

Onafhankelijkheid is noodzakelijk om aan een project of organisatie aanbevelingen te kunnen geven op proces én inhoud. (Uit: interview Pieter Frijns, Bureau Gateway)

Het belang dat een functionaris heeft bij uitvoering van een Hoe meer betrokken hij is bij het project, hoe ‘hoger’ de score.De genoemde actoren kunnen we afzetten tegen acht inhoudelijke aspecten die van belang zijn bij het managen van projecten en waarvan een actor kennis zou moeten hebben bij het beoordelen of evalueren van projecten (De Vries, 2011):

• Saamhorigheid tussen betrokken Soms kan die worden vergroot, in andere gevallen neemt de saamhorigheid af of is die niet aanwezig tijdens de interventie vanuit de specifieke rol.
• Afstemming van verwachtingen rond het project: de mate waarin een betrokkene kan aangeven wat er met de projectresultaten gedaan kan en moet
• Kennis van risico’s: hoeveel weet de actor van risicomanagementprocessen?
• Kennis van de interne gang van zaken: weet de actor iets van het interne primaire proces en kan hij de ontwikkelingen van de organisatie of het project in de juiste context plaatsen en op waarde
• Kennis van mogelijkheden van IT: hoeveel weet de expert van IT en de toepassingen van IT? Hoeveel weet de expert van het voortbrengen van IT en het daarna onder beheer verder ontwikkelen?
• De kosten: heeft de actor kennis van financiële processen? Is de actor in staat om een goed onderscheid te maken tussen de inkomsten en uitgaven en de bijbehorende controlcycli?
• Doorlooptijd: welke actor kent de doorlooptijd en kan de te behalen doorlooptijd ter discussie stellen, of de projectmedewerkers meer motiveren de deadlines te behalen?

Tabel 3 Actoren versus inhoudelijke aspecten (Naar: De Vries & Ploeger, 2011)

	Manager	Project manager	Controller	EDP- auditor	Org. adviseur	Mode- rator	Peer- to-peer
Belang	+	–	+	+	+	–	+-
Saamhorigheid	–	–	–	–	–	+	+
Verwachtingen	–	–	–	–	–	+	–
Kennis van de risico’s	–	+	–	+	+	+	+
Kennis van het proces	+	–	+	+	–	+	+
IT-kennis	–	+	–	+	+	+	+
Kosten	+	+	+	+	–	+	–
Doorlooptijd	+	+	+	+	–	+	+
Totaal	+-	+-	+-	+-	–	+	+-

Aan evalueren door ieder van de genoemde actoren zijn zowel aspecten verbonden die veel aandacht krijgen (aangegeven met een ‘+’-teken) als aspecten die normaliter minder aandacht krijgen (aangegeven met een ‘-’-teken). Het interactieve proces met deelname van vertegenwoordigers van alle betrokken disciplines onderscheidt zich in positieve zin. Deze werkwijze leidt tot mobilisatie van aanwezige kennis en inzicht en kent de kortste doorlooptijd, de minste kosten en de beste scheiding van belangen en verantwoordelijkheden. Het interactieve proces met meerdere betrokkenen kan dus leiden tot efficiënte en vooral rijke evaluaties.

Uiteraard is het belangrijk dat een heldere rapportage volgt waarin de resultaten zijn vastgelegd. Het is belangrijk om te laten zien hoe de resultaten tot stand zijn gekomen teneinde het onderzoek herhaalbaar te maken. Een goede rapportage maakt dat transparantie ontstaat en voorkomt dat lezers of opdrachtgevers de rapportage als ‘quick & dirty’-onderzoek gaan bestempelen. Daarnaast geeft een goede rapportage ook aan dat niet alles ‘zwart-wit’ is en dat de resultaten met enige nuance moeten worden bekeken. Opdrachtgevers willen vaak korte stukken met de kern van de boodschap. Een van de oplossingen hiervoor is om gebruik te maken van een mix van rapportagevormen, bijvoorbeeld een presentatie, een managementsamenvatting en een uitgebreidere rapportage. De kernopdracht aan de evaluator bij rapporteren is ‘Maximizing Use and Understanding’ (Fitzpatrick et al., 2011).

5   Conclusie

Evaluatie van projecten met een IT-component is van belang vanwege de snelle ontwikkelingen op IT-gebied, de kosten die gepaard gaan met het maken van IT-voorzieningen en het afbreukrisico door verkeerde implementatie of door een verkeerd gebruik van de IT-voorzieningen. Een evaluatie kan met meerdere methoden, in verschillende projectfasen, vanuit meerdere opdrachtgeversperspectieven en vanuit zeven verschillende actorperspectieven worden uitgevoerd. Daar moet bij de evaluatie dus rekening mee gehouden worden.

Projecten met een IT-component kennen een aantal fasen met ieder een eigen karakter. Een geschikt moment om te evalueren is natuurlijk aan het eind van een fase. Op dat moment wordt duidelijk hoe de betreffende fase is verlopen, welke resultaten zijn behaald en welke tekortkomingen kunnen worden geconstateerd. Als we per fase evalueren, kunnen we iedere keer een basis leggen voor de inrichting van de komende fase. Het is wel belangrijk om per fase vervolgens verschillende aandachtspunten in de evaluatie te benadrukken.

De opdrachtgever speelt een belangrijke rol bij het uitvoeren van projecten met een IT-component en bij het geven van de opdracht voor evaluaties. Hij kan vanuit verschillende scholen acteren, en in het verlengde daarvan ligt zijn inbreng in visievorming, strategieformulering en uitvoering en analyse van evaluaties. De rolopvatting van de opdrachtgever, de behoefte en het achterliggende doel van de opdrachtgever, de mate waarin methoden voor kwaliteitsborging worden toegepast en taakverdeling tussen de opdrachtgever en projectmanager zijn belangrijk voor de uitvoering van evaluatieprocessen. Het expliciet onderkennen van de rolopvatting van de opdrachtgever, maakt evaluaties inhoudelijk rijker en maakt de impact van de evaluatie groter.

De diverse betrokkenen bij een IT-project hebben hun eigen achtergrond en eigen belangen bij de projectuitvoering en de evaluatie van hun project. We zien dat een aanpak waarbij kennis en inzicht van verschillende stakeholders door een moderator worden gemobiliseerd de beste resultaten oplevert.

Eli de Vries en Wouter Bronsgeest

The post Wanneer evalueren en wie evalueren appeared first on EN | Van Haren Publishing.