Kan de kwaliteit van diensten, denk aan zorg, sociaal domein, maar ook retail en bankieren, nuttig gemeten worden? Wat zegt dat cliëntervarings-onderzoek nou echt? Wat voor waarde moeten we hechten aan de meting van loyaliteit of betrokkenheid van medewerkers?

Dit deel één van een serie van drie blogs over de onmeetbaarheid van de kwaliteit van diensten, over warme informatie en Uitdagend leiderschap. In dit eerste deel kijken we wat de wetenschap zegt over het kunnen meten aan diensten. En over het meten van kwaliteit van die diensten. Als u met uw organisatie afhankelijk bent van zulke metingen, dan is deze blog echt voor u.

Het is een eenvoudige vraag: wat zegt de wetenschap over het kunnen meten van kwaliteit van diensten? Deze vraag is helaas niet met een verwijzing naar één artikel of quote te beantwoorden. Bij mijn weten bestaat hét artikel dat aantoont ‘het kan niet’ of ‘zo kan het wel’, niet. Het volgende is wel duidelijk:

• Iedereen is het er over eens dat de kwaliteit van een product (een auto, een hypotheek, een programma op je computer) te meten is. Snelheid, risico, betrouwbaarheid, sterkte, functionaliteit, enzovoort zijn prima in getallen uit te drukken.
• Voor diensten ligt dat totaal anders. Diensten zijn geen ding, geen (economisch) goed dat je kunt produceren en op voorraad leggen. Diensten hebben een productiecomponent, een interactiecomponent en een betekeniscomponent. En die staan ook niet los van elkaar, die hebben invloed op elkaar.
• Er is wel een hele bak literatuur over pogingen om de kwaliteit van diensten te meten. Bijvoorbeeld SERVQUAL en het beperktere SERVPERF. Wie die stukken goed leest, ziet dat er veel productiedenken en kennismanagement bij elkaar wordt gevoegd. Maar van METEN van kwaliteit van de dienst als geheel is geen sprake. Dat lukt niet voor de componenten interactie en betekenis.
• Tenslotte, het is heel eenvoudig om artikelen te vinden over hoe oneindig moeilijk het is om de kwaliteit van diensten te meten. Wetenschappers spreken over een ‘hard problem’ (lastig, venijnig, taai). Bijvoorbeeld deze oude klassieker uit 1991 [1] of deze uit 1995 [2] van mensen die geloven dat het kan.

Het beste verhaal dat ik ken over waarom meten niet lukt gaat over kwaliteit van software [3]. Het is weliswaar is geen wetenschappelijk artikel, maar het legt helder uit waarom het maar niet wil lukken om de kwaliteit (goedheid) van de dienstencomponent objectief te meten. De kern is dat:

• Deze ten diepste verankert zit in het hoofd van mensen;
• De output, de mensen en de omgeving (context) elkaar onderling beïnvloeden;
• Het goede op mysterieuze wijze ontstaat in de interacties (tussen mensen of tussen mens en product);
• Oordeel geven over kwaliteit van een dienst kan ‘socially akward’ (ongemakkelijk) zijn.

De conclusie is helder: (Publieke) goederen bestaan uit een product- en een service-component. Het product/productiedeel is vaak best redelijk meetbaar. Wat er echter in de praktijk gebeurt, is dat het daarbij blijft. Het servicedeel is zeer lastig te modelleren. En krijgt daardoor minder aandacht. In de praktijk (van klanten en inkopers), maar ook in wetenschappelijke literatuur.

Is er dan niets te vinden? Nou, de volgende drie bronnen geven wel belangrijke aanwijzingen.

Organisaties zijn meer dan hun productie

Zoals boven al gezegd hebben diensten interactie- en een betekenis-aspect. Waar productie vooral onderdeel is van harde wetenschappen, zijn interactie en betekenis onderdeel van sociale wetenschappen. Het is bekend dat betrouwbaar meten van sociale fenomenen onmogelijk is. Dit is goed zichtbaar in deze uitleg van Jochem Glaser:

No natural scientist has to find out what their photons, atoms, molecules, cells, plants, fields, rocks, suns and so on think, or what they mean when they behave in a particular way. Social scientists and humanists have to reconstruct the meaning given to their actions by the objects of their study, and how they derive a course of action from this meaning.

The ways in which we make sense of the world defies objective measurement. Social scientists and humanists face this problem twice: Their subjects of study give meaning in a process that defies objective measurement, which is why they must reconstruct this meaning in a process that cannot be fully explicated or measured itself. Anthony Giddens and others have called this ‘double hermeneutics’.

Hier staat dus – en dat is gewoon bekend in de sociale wetenschappen – dat objectief meten in sociale/menselijke systemen niet kan, omdat interpretatie van waarnemingen altijd een rol speelt.

De klant, niet de dienstverlener, is de baas

Bij dienstverlening wordt vaak gesproken over het proces van levering. Dat die gedachte fundamenteel onjuist is, wordt duidelijk uit het werk van Goldhar, Braunstein en Berg over diensten in de 21e eeuw (4). Zij schrijven:

It clearly is a service when the process is the product and the customer/user is in control of both the design of the output/outcome and the management of the process

(of in het Nederlands)

Iets is duidelijk een dienst als het proces het product is en de klant/gebruiker de controle heeft over zowel het ontwerp van het geproduceerde / de uitkomst als de besturing van het proces

Hieruit volgt dat de kwaliteit van diensten niet meetbaar is. Dit omdat de leverancier noch diens opdrachtgever vooraf een model kan opstellen van de kwaliteit van het geproduceerde / de uitkomst. Hoe zouden ze dat moeten doen? Ze weten immers vooraf niet wat er geproduceerd gaat worden of wat de uitkomst gaat zijn.

Cliëntervaring is geen los gegeven

Er zijn vele wetenschappelijke artikelen die stellen dat in dienstverlening (zoals zorg of onderwijs) de relatie tussen cliënt en dienstverlener een hoofdrol vervult. Wat echter weinig mensen zich realiseren, is dat die relatie invloed heeft op zowel de ervaring/tevredenheid van de cliënt, als ook op de betrokkenheid/tevredenheid van de dienstverlener. Het volgende voorbeeld maakt dat duidelijk:

In sommige vormen van dienstverlening zijn klanten niet aardig of blij. Omdat ze onder toezicht staan, omdat ze worden aangesproken op hun gedrag, omdat ze in een psychose zitten, ….. Uit ons onderzoek voor een Jeugdzorgregio bleek in 2016 dat klanten van de reclassering zware onvoldoenden gaven in het cliëntervaringsonderzoek (CEO) van de aanbieder. De reactie daarop van de manager van de reclassering was treffend: “ja zeg, als wij tevreden klanten hadden, zaten ze niet in het het reclasseringsprogramma”. En hij vervolgde: “onze medewerkers worden gemotiveerd als het hen lukt om onze cliënten op de lange duur te normaliseren in hun gedrag en houding. Geef hen eenvoudige klanten en ze zoeken een andere baan’.

Stel je zou in dit geval CEO en MTO (medewerkertevredenheidsonderzoek) los van elkaar bekijken, dan meet je ontevreden klanten en wellicht tevreden medewerkers. Ga je dan bijsturen? En hoe dan?

Is dat dan alles?

Er zijn delen van wetenschap die kijken naar alle drie de componenten en hun onderlinge invloeden. Bijvoorbeeld in de biologie (ecologie, netwerken), de antropologie, de complexiteitskunde (leer van de onvoorspelbare systemen) en de systeemkunde. Die vakgebieden spreken overigens zelden over diensten, maar over organisatie, interactie en betekenis. Reason en Goodwin [5] zeggen bijvoorbeeld:

Reductionisme (het opvatten van systemen als bestaande uit delen die allemaal voorspelbaar gedrag hebben en dus onder controle te houden zijn) is opvallend succesvol in veel fysieke systemen en zelfs in enige mate in de biologie.

De beperkingen van deze aanpak worden echter steeds zichtbaarder als we proberen om de complexiteit van organismen, ecosystemen, organisaties, maatschappijen en de patronen achter wereldwijde ecologische veranderingen, te bevatten.

Vanuit een complexiteitsperspectief vertonen organisaties (lees*: en dus ook de dienstencomponenten van publieke goederen) niet-lineair gedrag. En om creatief te kunnen zijn (lees*: te kunnen doen wat nodig is) zijn deze organisaties verwijderd van evenwicht (lees*: er is geen sprake van focus op efficiëntie en minimalisering van kosten). Dergelijke systemen proberen te onderzoeken (lees*: monitoren, sturen, managen) met reductionistische benaderingen (lees: meten) leidt naar verwachting tot misleidende conclusies. (Stacey, 1995:493. *mijn toevoegingen)

Deze moeilijke zinnen zeggen in feite dat serviceorganisaties diensten leveren die niet vooraf volledig voorspelbaar zijn. Dit is de ware betekenis van het woord complex dat tegenwoordig zo populair is, maar meestal verkeerd wordt gebruikt. Nogmaals samengevat:

Als je niet weet wat de precieze output van een dienst zal zijn en je bent niet de baas over het proces, dan kun je geen volledig (kwaliteits)model maken. En kun je dus ook niet meten.

Tenslotte, ik kan nu een hele trits aan artikelen uit de biologie en systeemkunde gaan aanhalen om bewijs te leveren dat ‘moeilijk’ nog te optimistisch is. Ik hou het hier echter bij bewijs uit het ongerijmde:

Er is (a) geen literatuur die aantoont hoe de kwaliteit van diensten meetbaar is. En er zijn (b) bergen bronnen die zeggen hoe moeilijk het is. Samen met de  bovenstaande biologische/complexiteitskundige inzichten, kun je hieruit concluderen dat het meten van de kwaliteit van diensten niet zinvol mogelijk is.

Hoe dan wel?

Het is niet mijn bedoeling de lezer depressief achter te laten. Uit bovenstaande valt ook te concluderen dat het wel mogelijk is om de dynamische [6] kwaliteiten (meervoud) van organisaties te ontsluiten en te evalueren. De oplossing is dat men niet moet proberen om de kwaliteit van diensten hard te meten om te kunnen monitoren en/of te sturen. Het slimmer is om tijdig veranderingen in de zachte kwaliteiten van diensten op te merken en daarmee te besturen.

Uit het voorgaande is het duidelijk dat de kwaliteit van diensten niet zinvol meetbaar is. Het is nodig om de interactie tussen mensen die deelnemen en de betekenis van de productie en interactie voor mens, organisatie en maatschappij mee te nemen in het bepalen van de kwaliteiten (ja, meervoud) van diensten.

Onderstaande figuur toont de drie aspecten die nodig zijn om de kwaliteiten van diensten te kunnen besturen:

De productiedata zoals tijd, geld, product, aantal, levertijd geeft zicht op de harde, koude kant van diensten. Het geeft echter geen zicht op de warme kant: de interactie tussen mensen en de betekenis daarvan voor die mensen (zoals klanten, inwoners, gezinnen) als voor de mensen die werken bij organisaties (medewerkers, artsen, beleidsmakers).

Die interactie en betekenis is niet te meten, maar wel op te merken in de verhalen die mensen vertellen over de dienst en het “leveren” daarvan. Meer daarover in het volgende deel van deze serie: wat is warme informatie.

Naschrift

Het opmerken is mogelijk op basis van narratief evalueren. En dat is dan weer de basis voor verantwoorden op maatschappelijke bijdrage door bijvoorbeeld aanbieders. Tenslotte wordt de cirkel rond als gestart wordt vanuit opgaven, zodat daarop ook bestuurd kan worden: Uitdagend leiderschap. Zie de pagina besturingsfilosofie voor meer informatie.

Referenties

1. Difficulties of measuring human services performance: keeping your eye on moving targets. Paul D. Epstein. Journal of Health and Human Resources Administration Vol. 14, No. 1 (SUMMER, 1991), pp. 27-43 (17 pages).
2. Measuring service quality: A systems approach. Rose L. Johnson, Michael Tsiros and Richard Lancioni. Journal of Services Marketing 9(5):6-19. December 1995.
3. Asess quality, don’t measure it, Satisfice.com.
4. Services in the 21st century, Goldhar, Braunstein en Berg, Chapter in The Handbook of Innovation and Services: A Multi-disciplinary Perspective (2007).
5. Peter Reason en Brian Goodwin, Toward a science of qualities in organizations: lessons from Complexity theory and postmodern biology. Draft voor Concepts and Transformation, April 1999.
6. Dat wil zeggen dat de set kwaliteiten kan veranderingen in de loop van de tijd. Er komen nieuwe bij, er verdwijnen bestaande, sommigen smelten samen, anderen splitsen. Dit heet ook wel emergeren / verdwijnen.