Wat is het en waarom belangrijk?
Als je kwaliteitsvol wil toetsen denk je na over hoe je een opdracht of examen formuleert. Moeilijke zinsconstructies of dubbelzinnige vragen meten eerder het taalbegrip van studenten dan hun inhoudelijke kennis of competenties. Met een aantal simpele redactietips kan je jouw vraagstelling verscherpen en dus de betrouwbaarheid van je toets/opdracht verhogen.
Onderstaande tips hebben betrekking op multiple choice evaluatievormen.
Wat is het?
Een antwoordmodel ondersteunt lectoren in het betrouwbaar evalueren van studenten hun prestatie. In een antwoordmodel definieer je de kenmerken van een positieve evaluatie en geef je aan op welke manier je tot een eindscore komt. Een antwoordmodel wordt vaak ook een verbetersleutel, een rubric of een checklijst genoemd. Dit zijn allemaal voorbeelden van een antwoordmodel. In deze tip staan we stil bij antwoordmodellen voor multiple-choice beoordelingen.
Waarom belangrijk?
Een antwoordmodel ondersteunt een betrouwbare beoordeling. Dit wil zeggen dat een antwoordmodel de kans vergroot dat je tot eenzelfde beoordeling zou komen indien de beoordeling door een andere beoordelaar gebeurt of op een ander tijdstip.
Een antwoordmodel is ook een ondersteuning wanneer je met meerdere lectoren moet beoordelen. Ook kan een antwoordmodel een belangrijke basis zijn voor de feedback die je geeft aan studenten.
Hoe doen?
Bij MC-toetsen is het antwoord meestal rechtlijnig; het is fout of niet fout. Als lector kan je wel kiezen op welke manier je zal beoordelen. Deze keuze is afhankelijk van (a) het aantal antwoordalternatieven en (b) het aantal vragen. Een overzicht:
(1) Gis-correctie is een correctie voor het raden. Bij gis-correct ga je foute antwoorden ‘afstraffen’ door een negatieve score. Als student is het dus beter om soms een vraag over te laten i.p.v. te gokken. De gis-correctie die je doorvoert is afhankelijk van je aantal antwoordopties (n) en wordt berekend als volgt:
1/(n-1). Een vraag met 4 antwoordopties zal dus een gis-correctie hebben van 1/3. Dit betekent dat een foutief antwoord -1/3, een juist antwoord +1 en een leeg antwoord 0 is.
GIS-correctie is aan te raden bij:
– Twee antwoordopties (ja-nee vragen): De kans op juist gokken is dan namelijk heel groot
– Een erg klein aantal MC-vragen (< 10 items)
(2) Cesuur is een standaard-setting, hierbij ga je de standaard hoger leggen dan de helft. Cesuur is een manier om faalangst (die vaak gepaard gaat met gis-correctie) te ondervangen zonder dat ‘juist gokken’ wordt beloond. Bij cesuur wordt je namelijk niet afgestraft voor een foutief antwoord. Hoe hoog je de cesuur legt is afhankelijk van het aantal vragen in je toets (N) en het aantal antwoordopties (n). Via onderstaande formule kan je jouw cesuur berekenen.
C= N(n+1)/2n
Bv. De cesuur bij:
Hoe wordt jouw uiteindelijk cijfer bij hoger e cesuur bepaald?
Het aantal vragen dat je goed hebt, wordt onder hogere cesuur nog verrekend naar het uiteindelijke cijfer. Als je de cesuur (bv. 25/40 vragen met 4 keuzemogelijkheden) haalt, krijg je uiteindelijk als cijfer 10/20. Als je geen enkele vraag goed hebt, komt dit overeen met een negatief cijfer dat naar 0 omgezet wordt en als je alle vragen goed hebt, krijg je het maximum van de punten of 20/20.
Voor de omrekening van het aantal goede antwoorden naar het uiteindelijke cijfer kan onderstaande formule gebruikt worden.
Hierbij staat
y voor de ruwe score (nl. het aantal correcte antwoorden)
c voor de cesuur (bv. 25/40)
z voor het eindcijfer van de student
N voor het aantal vragen of m.a.w. de maximale score op het examen (bv. 40)
Wat is het?
Een antwoordmodel ondersteunt lectoren in het betrouwbaar evalueren van studenten. In een antwoordmodel definieer je de kenmerken van een positieve evaluatie en geef je aan op welke manier je tot een eindscore komt. Een antwoordmodel wordt vaak ook een verbetersleutel, een rubric of een checklijst genoemd. Dit zijn allemaal voorbeelden van een antwoordmodel. In deze tip staan we stil bij antwoordmodellen voor open-vraag beoordelingen. Dit komt vaak voor in een kennistoets of casustoets.
Waarom belangrijk?
Een antwoordmodel vergroot de kans dat je tot eenzelfde beoordeling zou komen indien de beoordeling door een andere beoordelaar gebeurt of op een ander tijdstip. Een antwoordmodel is ook een ondersteuning wanneer je met meerdere lectoren moet beoordelen. Ook kan een antwoordmodel een belangrijke basis zijn voor de feedback die je geeft aan studenten.
Hoe doen?
Een antwoordmodel voor open vragen is vaak niet te herleiden tot ‘goed/fout’.
(1) Een antwoordmodel voor open vragen bestaat uit een oplijsting van volgende elementen:
– de essentiële aspecten die in het antwoord moeten zitten.
– de belangrijke aanvullingen
– welke informatie zinvol of relevant kan zijn.
(2) Een antwoordmodel specifieert ook hoe deze elementen gescoord zullen worden.
(3) Indien vragen voortvloeien uit elkaar, leg ook vast op welke manier je met doorreken- of redeneerfouten omgaat. Stel dat vraag 1 en 2 met elkaar verband houden: impliceert een ‘rekenfout’ op de eerste vraag automatisch een nul voor de tweede vraag of neem je die rekenfout mee in het beoordelen van de tweede vraag? Doorrekenfouten zijn vaak het geval bij casustoetsen waarbij één casus centraal staat voor een reeks aan (verband houdende) vragen.
(4) Eenvoudige tips om je betrouwbaarheid verder te verhogen tijdens het verbeteren.
– Verbeter de antwoorden per vraag i.p.v. per student.
– Laat jouw examens verbeteren door jouw parallel collega en vice versa.
Voorbeelden van antwoordsleutels
Voorbeeld 1 ‘Vraag met meerdere antwoorden’ (Context: Lerarenopleiding)
Schrijf een lessuggestie (lesverloop en lesinhoud) bij het volgende onderwerp voor het eerste leerjaar(Inhoud van de les: waarnemen van het weer): “Ik weet welk weer het is!” (4p)
Antwoordmodel:
| Essentiële elementen | 0/4 | ¼ | 2/4 | ¾ | 4/4 |
| Lesverloop | Geen lesstructuur | Inleiding of slot ontbreekt | Structuur werd toegepast | Gestructureerd lesverloop | Gestructureerd lesverloop |
| Aanbieden kinderen | Eenmalige les | Eenmalige les | Regelmatig aanbod
Leerlingen nemen waar |
Regelmatig aanbod
Leerlingen nemen waar Leerlingen verwoorden correct. |
Regelmatig aanbod
Leerlingen nemen waar Leerlingen verwoorden correct Leerlingen gebruiken symbolen. |
| Lesinhoud | Geen correcte lesinhoud | Correcte lesinhoud | Correcte lesinhoud | Correcte lesinhoud | Correcte lesinhoud |
Voorbeeld 2 (Context: management)
“De ‘country-club’ leiderschapsstijl is geïdentificeerd door Blake en Mouton. Geef aan de hand van een eigen voorbeeld aan wat dat impliceert (op 5 punten)”
Antwoordmodel:
Essentiële elementen: het voorbeeld illustreert dat het om een werknemersgerichte leiderschapsstijl gaat. (3 punten)
Belangrijke aanvullingen:
– via sociale relaties die de goede werksfeer ten goede komen (1punt)
Aanvullend (telkens 0.5 punten)
– creëren van aangename en stimulerende omstandigheden
– waardering, aanmoediging en beloning
Voorbeeld 3 (context: lerarenopleiding basisonderwijs)
“Tijdens een les over het landschap toon je volgende foto. Je leert hen aan de hand van deze foto de elementen van het landschap en het landschap te beschrijven. Welke vragen of opdrachten kan je geven aan kinderen uit de derde graad bij het gegeven beeld (maak gebruik van de geografische vierslag)? Noteer de vragen in een logische volgorde. (10p)”
Antwoordmodel:
| 1/5 | 2/5 | 3/5 | 4/5 | 5/5 | |
| Leerinhoud
|
Student heeft het zowel over reliëfelementen als landschapselementen in de vragen | Student vraagt naar de verschillende landschapselementen in de vragen/opdrachten | Student vraagt naar de verschillende landschapselementen en laat de elementen in twee groepen (natuurlijk en menselijke) indelen | Student vraagt naar de verschillende landschapselementen en geeft vragen/opdrachten waaruit af te leiden valt dat er natuurlijke landschapselementen en menselijke landschapselementen aanwezig zijn in dit landschap. Uit de vraagstelling kunnen kinderen komen tot de vaststelling dat er meer menselijke dan natuurlijke elementen aanwezig zijn en dat dit dus een cultuurlandschap is. | Student vraagt naar de verschillende landschapselementen en geeft vragen/opdrachten waaruit af te leiden valt dat er natuurlijke landschapselementen en menselijke landschapselementen aanwezig zijn in dit landschap. Uit de vraagstelling kunnen kinderen komen tot de vaststelling dat er meer menselijke dan natuurlijke elementen aanwezig zijn en dat dit dus een cultuurlandschap is.
Daarenboven worden er vragen/opdrachten genoteerd waarbij de kinderen tot de conclusie komen dat dit een ‘landelijk landschap’ is (met behulp van determinatietabel). |
| Opbouw vragen
Geografische vierslag: 1/ Waarnemen en beschrijven 2/ verklaren 3/ Herkennen en toepassen 4/ Waarderen |
De student noteert algemene vragen van de geografische vierslag, zonder toepassing op de leerinhoud en niet in correcte volgorde | De student noteert algemene vragen van de geografische vierslag, zonder toepassing op de leerinhoud en in correcte volgorde | Student maakt gebruik van de geografische vierslag, ongeveer de helft van de vragen zijn hierbij toegepast op de leerinhoud, niet noodzakelijk in correcte volgorde | Student maakt gebruik van de geografische vierslag, toegepast op de leerinhoud, maar niet in de correcte volgorde | Student maakt gebruik van geografische vierslag in juiste volgorde en op een correcte manier, toegepast op de leerinhoud |
Wat is het?
In een zoemsessie geef je studenten een vraag of opdracht die zij samen met hun buurman moeten bediscussiëren of beantwoorden. Aan het geroezemoes dat in de klas ontstaat, dankt de werkvorm haar naam.
Waarom is het belangrijk?
Een zoemsessie is een manier om je college actief te maken. Via zoemsessies worden studenten uitgedaagd om ‘iets’ te doen met de inhoud zoals het stellen van waarom-vragen, het kritisch reflecteren op standpunten, het zoeken naar oplossingen voor gegeven problemen/opdrachten.
Studenten laten stemmen is een mogelijke werkvorm om hen actief te betrekken bij de leerstof. Hierbij leg je een uitdagende stelling, vraag of casus met enkele antwoordmogelijkheden voor aan je studenten.
Stemmingen kunnen op verschillende momenten worden ingezet met verschillende doelen.
Hoe?
Het organiseren van stemmingen is op zich eenvoudig en gebeurt vaak spontaan door handopsteking of kaartjes. Er zijn echter ook tools die digitaal stemmen mogelijk maken. Via digitaal stemmen kunnen studenten anoniem stemmen, krijg je als lector snel een overzicht van de antwoorden en kan je deze respons concreet gebruiken om feedback te geven.
Het succes van de stemming –digitaal of niet – is afhankelijk van je doelstelling en van de vraagstelling. Te eenvoudige vragen leiden bij iedereen tot hetzelfde antwoord waardoor er geen discussie is. Bij te complexe vragen kunnen studenten niet of niet doordacht stemmen wat de discussie bemoeilijkt. Je kan verschillende soorten vragen stellen, een kort overzicht:
In deze video legt een lesgever in snel tempo uit op welke manieren hij ‘digitale stemmingen’ gebruikt in zijn lessen.
Tools voor digitaal stemmen
Er bestaan heel wat gemakkelijke tools aan de hand waarvan je online stemmingen kan organiseren tijdens je les. Het enige wat je nodig hebt is een internetverbinding en een laptop/tablet/smartphone.
Een aanrader is Socrative. Bekijk onderstaande tutorial en probeer het eens uit!
Meer weten?
Classroom Response Systems (“Clickers”) | Center for Teaching | Vanderbilt University. (z.d.). Geraadpleegd 13 januari 2020, van https://cft.vanderbilt.edu/guides-sub-pages/clickers/
Opdat studenten een opdracht goed en volledig kunnen uitvoeren, is het belangrijk dat lectoren hun opdracht helder uitschrijven. Daartoe bestaat de checklist Richtlijnen voor richtlijnen, die aangeeft welke onderdelen een volledige opdrachtomschrijving heeft.
Transparantie en duidelijkheid zijn belangrijk om ervoor te zorgen dat studenten de opdracht uitvoeren zoals je als lector hebt beoogd. Je vermijdt bovendien achterafvragen van studenten zoals Wat zijn de vereiste onderdelen van de opdracht? Hoe lang moet die opdracht zijn? Hoe evalueert de docent de opdracht? Waarom is de opdracht belangrijk in mijn opleiding? …
Hanteer de checklist “Richtlijnen voor richtlijnen” om je opdracht op te stellen, na te lezen of te laten nalezen. Een voorbeeld met duidelijke richtlijnen vinden jullie hier.
Zorg ervoor dat de volgende elementen opgenomen worden in de opdrachtinstructie:
