2.2.7. Principes bij de keuze van psychodiagnostische instrumenten

2.2.7.   Principes bij de keuze van psychodiagnostische instrumenten

Als de psycholoog psychodiagnostische instrumenten wil inzetten, is het van belang dat hij zich informeert over de instrumenten die voor het beoogde doel beschikbaar zijn. Meestal kunnen meerdere instrumenten met eenzelfde meetpretentie in aanmerking komen. Dan is het extra van belang om de kwaliteit van deze instrumenten mee te laten wegen bij het maken van een keuze. De informatie die een testuitgever daarover verstrekt, bijvoorbeeld in de handleiding, kan daarbij behulpzaam zijn.

Daarnaast kan ook een objectief kwaliteitsoordeel van de COTAN beschikbaar zijn en als hulpmiddel dienen voor de psycholoog bij het maken van een keuze tussen instrumenten. Uitvoerige informatie over de werkwijze van de COTAN is te vinden op de website van het NIP. De COTAN beoordelingen zijn voor abonnementhouders te raadplegen in de online COTAN documentatie; ook kunnen losse testbeoordelingen worden opgevraagd.

De COTAN beoordeelt de kwaliteit van een psychodiagnostisch instrument op zeven criteria: uitgangspunten van de testconstructie, kwaliteit van het testmateriaal, kwaliteit van de handleiding, normen, betrouwbaarheid, begripsvaliditeit en criteriumvaliditeit; zie BOX 8 voor een nadere toelichting. Op elk van deze criteria kan de beoordeling ‘onvoldoende’, ‘voldoende’ of ‘goed’ luiden. Het is dus een genuanceerd beoordelingssysteem: de COTAN verleent niet een algemeen keurmerk “goedgekeurd psychodiagnostisch instrument” en ontraadt evenmin het gebruik van bepaalde instrumenten, ook niet als ze op een of meer van de zeven criteria als ‘onvoldoende’ worden beoordeeld.

Het is en blijft de verantwoordelijkheid van de psycholoog om instrumenten te kiezen die van de hoogst mogelijke kwaliteit zijn en passen bij de vraagstelling. Waar artikel 101 ‘Gebruik van doeltreffende en doelmatige methoden’ van de Beroepscode de psycholoog de professionele verantwoordelijkheid oplegt om te kiezen voor methoden waarmee hij het beoogde doel zo goed en zo efficiënt mogelijk kan worden bereikt, geldt dat immers ook voor de keuze van testinstrumenten.

Wat betekent het nu in het gebruik van een psychodiagnostisch instrument als dit ‘voldoende’ of ‘goed’ scoort op een van de zeven beoordelingscriteria van de COTAN? In BOX 8 wordt naast een korte toelichting gegeven op de beoordelingscriteria van de COTAN ook een aantal voorbeelden gegeven waarin een beoordeling ‘onvoldoende’ op zijn plaats is.

Uiteraard verdient het de voorkeur dat de psycholoog instrumenten inzet die op zoveel mogelijk criteria van de COTAN ten minste de kwalificatie ‘voldoende’ hebben gekregen. Maar dat wil niet zeggen dat instrumenten die op een bepaald criterium geen ‘voldoende’ beoordeling hebben verworven niet zinvol en verantwoord zouden kunnen worden gebruikt. Indien een instrument op één of meer van de criteria als ‘onvoldoende’ is beoordeeld, of wanneer er (nog) geen COTAN beoordeling beschikbaar is, dan dient de psycholoog het gebruik van dit instrument goed te kunnen beargumenteren. Hij dient zich bewust te zijn van eventuele onvolkomenheden van het instrument, deze zo mogelijk bij de toepassing te ondervangen en er bij de interpretatie van de resultaten rekening mee te houden.

De psycholoog zou geneigd kunnen zijn om te kijken naar de test met de meeste ‘voldoendes’, terwijl de context van de individuele cliënt bepalend dient te zijn voor de keuze van het instrumentarium. Hij moet zijn keuze kunnen onderbouwen en motiveren. Uiteraard zijn er ook grenzen: hoewel de COTAN zich verre houdt van het aanbevelen of ontraden van een instrument, is een groot aantal ‘onvoldoendes’ wel een signaal. Het kan wijzen op een in potentie goed instrument waarvan de onvolkomenheden door verder onderzoek en ontwikkeling nog verholpen zouden kunnen worden. Het kan echter ook zijn dat de psycholoog, na het lezen van de COTAN toelichting op de beoordeling, tot de conclusie komt dat het instrument overduidelijk is achtergebleven bij de stand van de wetenschap. In dat geval zou hij, mede gelet op artikel 16 ‘Professionele standaard’, zich moeten afvragen of hij het betreffende instrument wel kan en wil inzetten.

Naast de afwegingen over de kwaliteit van een instrument moet de psycholoog zich bij de keuze afvragen of hij zelf op grond van opleiding, training en ervaring voldoende gekwalificeerd is om een bepaald instrument te gaan gebruiken (artikel 105 ‘Kwalificatie’).

Bij de keuze van psychodiagnostische instrumenten is het in toenemende mate van belang dat de psycholoog zich afvraagt of het instrument in staat is een zuiver beeld van de eigenschappen van de cliënt te geven, ongeacht diens leeftijd, sekse, taal of cultuur. Artikel 58 ‘Respect voor eigenheid en diversiteit’ verplicht de psycholoog hiertoe. Het onderzoek naar ‘fairness’ of ‘testonpartijdigheid’ van instrumenten wordt door de COTAN sinds medio 2015 expliciet als aanvulling op de beoordeling beschreven. Zie ook het Fairness addendum van de COTAN op de website van het NIP en de publicatie van Huijding, Hemker, & Van den Berg (2012).

Juist om de reden dat de psycholoog inzicht moet hebben in de mogelijkheden en beperkingen van een instrument en in de plus- en minpunten ervan – hetgeen voortvloeit uit artikel 101 ‘Gebruik van doeltreffende en doelmatige methoden’ − is het niet toereikend om alleen maar kennis te nemen van de zeven uitkomsten van de COTAN beoordeling. Het rijtje onvoldoendes, voldoendes en goeds zegt veel, maar niet alles. Ook van de toelichting die bij elke beoordeling wordt gegeven − en daar een onlosmakelijk deel van uitmaakt − zou de psycholoog kennis moeten nemen. Deze bevat, naast beschrijvende informatie en samengevatte onderzoeksgegevens, bij elk criterium de afwegingen en argumenten van de beoordelaars om tot de gegeven beoordeling te komen en waar mogelijk de beperkingen in het gebruik van het instrument.

Twee voorbeelden kunnen duidelijk maken waarom het belangrijk is van de toelichting van de COTAN kennis te nemen. Ten eerste: de Beroepscode verlangt dat men bij het gebruik van recent ontwikkelde methoden waarover nog niet zoveel bekend is extra voorzichtig te werk gaat (artikel 17 ‘Zorgvuldigheid en voorzichtigheid bij nieuwe methoden’). Van veel psychodiagnostische instrumenten die tot voor kort als een ‘papier-en-potlood test’ werden aangeboden, worden digitale (online) versies gemaakt; op bepaalde toepassingsgebieden zijn digitale (online) versies tegenwoordig eerder regel dan uitzondering. Doorgaans brengt dat niet alleen verschillen in instructie en voorbeelden met zich mee, maar vaak ook in de presentatie van de items zelf. Men kan, als er door de testauteurs of -uitgevers geen aanvullend onderzoek is gedaan, niet voetstoots aannemen dat de schriftelijke en de digitale versie equivalent zijn. In het geval er sprake is van zowel een papier-en-potlood- als een digitale versie zal in de toelichting daarop worden ingaan zodat de psycholoog extra informatie krijgt om een goede afweging te maken bij de keuze van een instrument. Overigens gaan de ontwikkelingen op het terrein van nieuwe vormen van digitale diagnostiek en testgebruik zeer snel, zoals bijvoorbeeld serious games en situational judgement tests. Ook bij deze nieuwe vormen is zorgvuldigheid en voorzichtigheid geboden.

Een tweede voorbeeld betreft het criterium ‘betrouwbaarheid’. De beoordeling zelf bestaat uit één samenvattende waardering, waaraan soms een voetnoot wordt toegevoegd als bijvoorbeeld het oordeel voor subgroepen verschillend is, want juist bij betrouwbaarheid kunnen de gevonden coëfficiënten voor verschillende leeftijdsgroepen flink uiteenlopen, en niet zelden van ‘onvoldoende’ tot ‘goed’. Soortgelijke voetnoten komen ook voor bij andere criteria, zoals normering en begripsvaliditeit. In de toelichting wordt dan het verschil in het oordeel op een volledige en genuanceerde manier weergegeven en daarom is het lezen van de toelichting een belangrijke en noodzakelijke ondersteuning bij het maken van een verantwoorde keuze voor een instrument.

Uit bovenstaande wordt duidelijk dat, hoe waardevol de COTAN beoordeling van psychodiagnostische instrumenten ook is, het niet meer maar ook niet minder dan een hulpmiddel voor de psycholoog is. Het kiezen van en werken met psychodiagnostische instrumenten blijft te allen tijde de eigen verantwoordelijkheid van de psycholoog. Verwacht wordt dat de psycholoog ontwikkelingen in de psychodiagnostiek en psychometrie die relevant zijn voor zijn vakgebied actief volgt en zich, conform artikel 100 ‘In stand houden en ontwikkelen professionele deskundigheid’, zonodig bijschoolt. In de geestelijke gezondheidszorg heeft bijvoorbeeld Routine Outcome Monitoring (ROM), het doen van herhaalde metingen bij een cliënt om onder meer de behandeling te volgen en evalueren, een belangrijke plaats gekregen. Dat houdt in dat de psycholoog zich daarvoor ook zal moeten verdiepen in aan herhaalde metingen gerelateerde (test)technische vragen, zoals de vraag wanneer, gelet op de betrouwbaarheid van het instrument, gesproken kan worden van een daadwerkelijk verschil tussen twee scores. De psychometrie stelt immers op het punt van normen, betrouwbaarheid en validiteit andere eisen aan tests die voor herhaalde metingen worden gebruikt dat aan instrumenten die voor een eenmalige meting bedoeld zijn. De psycholoog zal zich hiervan bewust moeten zijn, mede omdat de beoordelingen van de COTAN vaak betrekking hebben op de eenmalige afname van de test en de psychometrische eisen voor een test (potentieel) anders zijn voor data verkregen middels een herhaalde afname in vergelijking tot een eenmalige afname.