COTAN zoekt verbinding tussen (test)praktijk en wetenschap

De COTAN heeft de afgelopen jaren in haar zoektocht naar de verbinding tussen (test)praktijk en wetenschap diverse stappen ondernomen. Dit artikel beschrijft de stappen die zijn genomen en die nog genomen zullen worden.

 

Wat is de COTAN en wat doet zij?

De Commissie Testaangelegenheden Nederland (COTAN) is een centrale commissie van het NIP. De COTAN bestaat uit experts op verschillende gebieden, zoals ontwikkelingspsychologie, arbeids- en organisatiepsychologie, neuropsychologie, psychometrie en psychodiagnostiek. De COTAN-leden bestaan uit vertegenwoordigers van alle universitaire opleidingen psychologie in Nederland, vertegenwoordigers uit de secties van het NIP en leden met specifieke expertise. Naast COTAN-leden zijn er ook externe beoordelaars verbonden aan de COTAN. Externe beoordelaars zijn experts die werkzaam zijn in het psychodiagnostische veld en/of in de psychometrie.

De taak van de COTAN is het bevorderen van de kwaliteit van tests en testgebruik in Nederland. De term ‘test’ refereert in deze context ook naar vragenlijsten en toetsen.

Het bevorderen van de kwaliteit van tests wordt gedaan door het beoordelen van de kwaliteit van daartoe aangeboden tests binnen het Nederlands taalgebied, aan de hand van het COTAN Beoordelingssysteem voor de kwaliteit van tests. In dit beoordelingssysteem zijn richtlijnen opgenomen over hoe de tests op zeven verschillende beoordelingscriteria (zoals validiteit en betrouwbaarheid) beoordeeld worden. Het COTAN Beoordelingssysteem dient tevens als leidraad voor testauteurs en testuitgevers bij de ontwikkeling van tests. De COTAN beoordeelt tests op onafhankelijke wijze en volgt daarbij een vaste procedure. De inzet van de vrijwillige en onpartijdige COTAN beoordelaars is daarbij onmisbaar. De eindredactie bewaakt de consistentie over beoordelingen heen. Zodra de COTAN een instrument beoordeeld heeft, wordt deze beoordeling inclusief een (uitgebreide) toelichting daarop gepubliceerd in de COTAN Documentatie. Het doel van de COTAN beoordeling en bijbehorende Toelichting is om de testgebruikers te helpen een oordeel te vormen over de kwaliteit van de test.

Het bevorderen van de kwaliteit van testgebruik wordt onder andere gedaan door het uitbrengen van richtlijnen, zoals de Algemene Standaard Testgebruik AST-NIP 2017. De AST-NIP 2017 is een uitwerking en verbijzondering van de Beroepscode voor Psychologen en bevat richtlijnen en informatie om te komen tot een verantwoorde testkeuze en het juist gebruik van psychodiagnostische instrumenten in het kader van de psychodiagnostiek en/of psychologische interventies.

 

Ontstaan COTAN werkgroep ‘Beslissen en testgebruik’

Het huidige COTAN beoordelingssysteem dateert uit 2010. Sindsdien zijn er diverse ontwikkelingen geweest op het gebied van testconstructie, statistiek en methodologie. Dergelijke ontwikkelingen vergen een aanpassing en/of uitbreiding van het huidige beoordelingssysteem, waar momenteel aan gewerkt wordt. De COTAN hecht er waarde aan bij dergelijke wijzigingen de input van verschillende groepen betrokkenen mee te nemen. Zo is gesproken met testuitgevers die de laatste jaren tests ter beoordeling hebben aangeboden en derhalve ervaring hebben met het COTAN Beoordelingssysteem.

Een andere belangrijke groep betrokkenen zijn de psychologen in de praktijk, de zogeheten ‘testgebruikers’. Dat is de reden waarom de COTAN eind 2017 een enquête heeft uitgezet onder psychologen in de praktijk om erachter te komen of, en zo ja, hoe testgebruikers denken over het COTAN Beoordelingssysteem, de COTAN Beoordelingen en de COTAN Documentatie.

De resultaten leverden waardevolle inzichten op en naar aanleiding daarvan is binnen de COTAN nagedacht over hoe testgebruikers/NIP-leden meer betrokken kunnen worden bij het werk van de COTAN. De COTAN ziet dat er in de (test)praktijk behoefte is aan concrete handvatten en richtlijnen voor handelen. Bijvoorbeeld over hoe te handelen en/of wat de mogelijkheden zijn indien de voorhanden zijnde tests op meerdere criteria van het COTAN Beoordelingssysteem als ‘onvoldoende’ zijn beoordeeld. Derhalve is in de in 2018 verschenen herziene AST-NIP getracht aan de hand van praktische voorbeelden meer handen en voeten te geven aan de inhoud, zodat theorie en praktijk samen komen. Om dit nog verder uit te dragen, is besloten een COTAN werkgroep op te richten, waarin testgebruikers/NIP-leden mee kunnen denken met de COTAN over (praktische) zaken waar zij in de (test)praktijk tegenaan lopen om zodoende samen te komen tot mogelijke oplossingen die wellicht resulteren in het opstellen van richtlijnen.

 

Start COTAN werkgroep

Het gesprek aangaan met de praktijk wat betreft testgebruik werd actief gestart op 31 oktober 2019 tijdens het 60-jarig jubileumsymposium van de COTAN met als prikkelende titel ‘Beslissen door mens of machine: de controverse tussen statistische en klinische predictie’. De levendige discussies maakten duidelijk dat wetenschap en praktijk op dit gebied nog ver van elkaar af staan, maar dat zij zeker van elkaars inzichten kunnen leren om zodoende de kwaliteit van testgebruik nog verder te bevorderen.

 

Brainstormsessies met testgebruikers

Om meer zicht te krijgen op hoe psychologen/NIP-leden beslissingen nemen (al dan niet op basis van tests), heeft de COTAN daartoe extra vragen toegevoegd aan de enquête van de Europese Federatie van Psychologieverenigingen (EFPA) over de houding van psychologen aangaande tests en testgebruik. Deze enquête is door het NIP in 2020 verspreid en ruim 800 NIP-leden hebben hieraan deelgenomen. Hartelijk dank daarvoor!

Op dit moment wordt de enquête ook in andere Europese landen afgenomen en al deze gegevens zullen als input worden gebruikt voor een Europese publicatie over de attitude van Europese psychologen ten aanzien van tests en testgebruik. De Nederlandse resultaten van de enquête worden op dit moment door de COTAN verwerkt en geïnterpreteerd voor een Nederlandstalige publicatie (bij voorkeur in tijdschrift De Psycholoog). Zodra hier meer over bekend is, wordt dit gemeld.

In de enquête konden NIP-leden/testgebruikers tevens aangeven of de COTAN hen zou mogen benaderen ten behoeve van (wetenschappelijk) onderzoek naar psychologische tests, testgebruik en/of het nemen van beslissingen, zodat zij input kunnen leveren voor de COTAN werkgroep. Het aantal aanmeldingen daarvoor was overweldigend! De COTAN waardeert het en vindt het mooi om te zien dat de NIP-leden/testgebruikers zich betrokken voelen en/of betrokken willen worden bij (het werk van) de COTAN om daaraan een bijdrage te leveren.

Middels dit nieuwsbericht willen de COTAN en het NIP allereerst alle NIP-leden/testgebruikers bedanken die zich hebben aangemeld; BEDANKT!

Daarnaast willen we jullie informeren over de aanstaande brainstormsessies, die de COTAN organiseert naar aanleiding van deze enquête om zodoende met elkaar van gedachten te wisselen over testgebruik en het nemen van beslissingen. Vanwege het grote aantal aanmeldingen is het helaas niet mogelijk om iedereen uit te nodigen. Daarom zullen uit de groep aangemelde NIP-leden willekeurig 40 personen benaderd worden. Zij hebben inmiddels persoonlijk bericht ontvangen.

De COTAN verwacht eind 2021 een terugkoppeling te kunnen geven aan de NIP-leden/testgebruikers over zowel de resultaten van de EFPA enquête als de uitkomsten van de brainstormsessies.

Petra Hurks (voorzitter COTAN)
Monique Rook (directeur NIP)