Beoordelingsprocedure

Om een test aan te melden vult u het aanmeldformulier in. Of  lees hieronder eerst de te volgen stappen.

Aan de hand van het Beoordelingssysteem worden tests beoordeeld op zeven criteria:

1. Uitgangspunten van de testconstructie
2. Kwaliteit van het testmateriaal
3. Kwaliteit van de handleiding
4. Normen
5. Betrouwbaarheid
6. Begripsvaliditeit
7. Criteriumvaliditeit

De COTAN neemt een test in de beoordelingsprocedure op als:

• De test voor het Nederlands taalgebied is geconstrueerd, vertaald en/of bewerkt.
• De afnameprocedure gestandaardiseerd is.
• De validiteit, de betrouwbaarheid of de normen zijn onderzocht.
• Het instrument voor professioneel gebruik ontwikkeld is.
• Het instrument direct of indirect uitspraken over personen mogelijk maakt.

1. Aanmelden/Insturen

U vult het online aanmeldformulier in. Vervolgens stuurt u uw test in drievoud naar de COTAN (adres: Postbus 2085, 3500 GB Utrecht). Daarnaast stuurt u overig materiaal mee dat relevant is voor de beoordeling. Denk hierbij aan:

• Handleiding
• Technische verantwoording
• Normtabellen (indien niet opgenomen in de handleiding of verantwoording)
• Antwoordformulieren
• Scoringssleutels
• Artikelen
• Rapporten
• Dissertaties
• USB-sticks of andere informatiedragers (bij digitale tests)

In uitzonderingsgevallen kan het testmateriaal op locatie worden beoordeeld. Denk hierbij aan moeilijk verplaatsbaar testmateriaal of materiaal dat specifieke eisen stelt aan computers. Bij online tests moet u drie aparte logins (cotan1, cotan2 en cotan3) met wachtwoorden aanleveren.

2. Twee beoordelaars

Na ontvangst gaat het materiaal onder strikte geheimhouding naar twee beoordelaars met inachtneming van de richtlijn onpartijdigheid COTAN (pdf). Het toegezonden materiaal wordt nooit uitgeleend, of aan derden ter inzage gegeven. Het wordt uitsluitend gebruikt voor de beoordeling door de COTAN en voor de beschrijving van het instrument in de COTAN documentatie. Vervolgens wordt het materiaal opgeslagen in het COTAN-archief.

3. Anonieme beoordeling

De beoordelaars verrichten onafhankelijk van elkaar een anonieme beoordeling. De beoordelaars worden uitgezocht op deskundigheid en objectiviteit. Auteurs beoordelen nooit hun eigen tests en zijn niet werkzaam bij het bedrijf of de instelling die de test heeft ontwikkeld of een concurrerend bedrijf of instelling.

4. Voorleggen discrepanties

De beoordelingen worden voorgelegd aan de Senior Eindredacteur Testaangelegenheden van de COTAN. De eindredacteur bespreekt eventuele discrepanties in de beoordelingen met de beoordelaars. Indien nodig schakelt de eindredacteur een derde deskundige/beoordelaar in.

5. Versturen initiële beoordeling

Nadat de initiële beoordeling is vastgesteld wordt deze met een Toelichting verstuurd naar de indiener. De indiener kan hierop reageren met inachtneming van daarvoor vastgestelde richtlijnen (pdf).

6. Definitieve beoordeling

De beoordelaars en de eindredacteur stellen naar aanleiding van een reactie van een testuitgever of testauteur de definitieve beoordeling op. Deze wordt gepubliceerd in de online COTAN documentatie.

7. Herbeoordeling

Als nieuwe onderzoeksgegevens beschikbaar komen of wanneer er een nieuwe, herziene handleiding verschijnt, kan een herbeoordeling nodig zijn. De hierboven geschetste procedure wordt daarbij in zijn geheel opnieuw doorlopen. Een herbeoordelingsprocedure kan niet eerder plaatsvinden dan tenminste een jaar na afronding van de voorafgaande beoordeling.