Betrouwbaar toetsen: Verbeteren van multiple choice vragen

Wat is het?

Een antwoordmodel ondersteunt lectoren in het betrouwbaar evalueren van studenten hun prestatie. In een antwoordmodel definieer je de kenmerken van een positieve evaluatie en geef je aan op welke manier je tot een eindscore komt. Een antwoordmodel wordt vaak ook een verbetersleutel, een rubric of een checklijst genoemd. Dit zijn allemaal voorbeelden van een antwoordmodel. In deze tip staan we stil bij antwoordmodellen voor multiple-choice beoordelingen.

Waarom belangrijk?

Een antwoordmodel ondersteunt een betrouwbare beoordeling. Dit wil zeggen dat een antwoordmodel de kans vergroot dat je tot eenzelfde beoordeling zou komen indien de beoordeling door een andere beoordelaar gebeurt of op een ander tijdstip.

Een antwoordmodel is ook een ondersteuning wanneer je met meerdere lectoren moet beoordelen. Ook kan een antwoordmodel een belangrijke basis zijn voor de feedback die je geeft aan studenten.

Hoe doen?

Bij MC-toetsen is het antwoord meestal rechtlijnig; het is fout of niet fout. Als lector kan je wel kiezen op welke manier je zal beoordelen. Deze keuze is afhankelijk van (a) het aantal antwoordalternatieven en (b) het aantal vragen. Een overzicht:

(1) Gis-correctie is een correctie voor het raden. Bij gis-correct ga je foute antwoorden ‘afstraffen’ door een negatieve score. Als student is het dus beter om soms een vraag over te laten i.p.v. te gokken. De gis-correctie die je doorvoert is afhankelijk van je aantal antwoordopties (n) en wordt berekend als volgt:

1/(n-1). Een vraag met 4 antwoordopties zal dus een gis-correctie hebben van 1/3. Dit betekent dat een foutief antwoord -1/3, een juist antwoord +1 en een leeg antwoord 0 is.

GIS-correctie is aan te raden bij:

– Twee antwoordopties (ja-nee vragen): De kans op juist gokken is dan namelijk heel groot

– Een erg klein aantal MC-vragen (< 10 items)

(2) Cesuur is een standaard-setting, hierbij ga je de standaard hoger leggen dan de helft. Cesuur is een manier om faalangst (die vaak gepaard gaat met gis-correctie) te ondervangen zonder dat ‘juist gokken’ wordt beloond. Bij cesuur wordt je namelijk niet afgestraft voor een foutief antwoord. Hoe hoog je de cesuur legt is afhankelijk van het aantal vragen in je toets (N) en  het aantal antwoordopties (n). Via onderstaande formule kan je jouw cesuur berekenen.

C= N(n+1)/2n 

Bv. De cesuur bij:

• een examen met 25 vragen met telkens 4 antwoordopties: de cesuur ligt op 15 => ((25x (4+1))/2×4) . Dit betekent dat een student 15 moet halen om te slagen i.p.v. 12,5
• een examen met 30 vragen met telkens 3 antwoordopties: de cesuur ligt op 20 => ((30 x (3+1)/2×3). Dit betekent dat een student 20 moet halen om te slagen i.p.v. 15.

Hoe wordt jouw uiteindelijk cijfer bij hoger e cesuur bepaald?

Het aantal vragen dat je goed hebt, wordt onder hogere cesuur nog verrekend naar het uiteindelijke cijfer. Als je de cesuur (bv. 25/40 vragen met 4 keuzemogelijkheden) haalt, krijg je uiteindelijk als cijfer 10/20. Als je geen enkele vraag goed hebt, komt dit overeen met een negatief cijfer dat naar 0 omgezet wordt en als je alle vragen goed hebt, krijg je het maximum van de punten of 20/20.

Voor de omrekening van het aantal goede antwoorden naar het uiteindelijke cijfer kan onderstaande formule gebruikt worden.

Hierbij staat

y voor de ruwe score (nl. het aantal correcte antwoorden)

c voor de cesuur (bv. 25/40)

z voor het eindcijfer van de student

N voor het aantal vragen of m.a.w. de maximale score op het examen (bv. 40)