Header Image - TEACHER LAB
TEACHER LABOnderwijscreatie aan Howest

Antwoordmodel voor praktische en competentiegerichte opdrachten

by teachlabadmin

Wat is het?

Een antwoordmodel ondersteunt lectoren in het betrouwbaar evalueren van studenten hun prestatie. In een antwoordmodel definieer je de kenmerken van een positieve evaluatie en geef je aan op welke manier je tot een eindscore komt. Een antwoordmodel wordt vaak ook een verbetersleutel, een rubric of een checklijst genoemd. Dit zijn allemaal voorbeelden van een antwoordmodel. In deze tip staan we stil bij antwoordmodellen voor praktische en competentiegerichte opdrachten. Deze zijn vaak een onderdeel voor volgende beoordelingsvormen: praktijkopdracht, gedragsassessment, casustoets, vaardigheidstoets, overall toets en criterium gericht interview.

Waarom belangrijk?

Een antwoordmodel vergroot de kans dat je tot eenzelfde beoordeling zou komen indien de beoordeling door een andere beoordelaar gebeurt of op een ander tijdstip. Een antwoordmodel is ook een ondersteuning wanneer je met meerdere lectoren moet beoordelen. Ook kan een antwoordmodel een belangrijke basis zijn voor de feedback die je geeft aan studenten.

Hoe doen?

Een antwoordmodel opstellen voor praktische opdrachten loopt lichtjes anders dan voor geschreven beoordelingsvormen. Vaak doorloop je volgende stappen:

(1) Waarop ga je evalueren? Waar ga je op letten?

Vertaal de leerdoelen naar gedragsindicatoren. Deze gedragsindicatoren zijn:

– Relevant: de indicatoren zijn herkenbaar voor studenten en collega lectoren uit de opleiding.

– Observeerbaar: de indicatoren zijn te observeren aan de hand van de producten die een student oplevert of de handelingen (bv. presentatie, verdediging, gedragsassessment, vaardigheidstoets) die hij uitvoert.

– specifiek: de indicatoren zijn voldoende richtinggevend voor examinatoren en begeleiders.

– eenduidig: de indicatoren zijn vaak beperkt tot één actief werkwoord per indicator.

– hanteerbaar: het aantal indicatoren is voor een beoordelaar praktisch hanteerbaar om in de gestelde tijd tot een oordeel en onderbouwing te komen.

Voorbeeld Reflectieopdracht (Context: lerarenopleiding)

Studenten reflecteren op de voorbije stageperiode en blikken vooruit op de toekomstige stageperiode.

Leerdoel: “De leerkracht kan zijn eigen functioneren in vraag stellen en bijsturen”

Gedragsindicatoren:

  • De student blikt terug op een concrete beroepssituatie en benoemt de positieve punten van zichzelf in relatie tot de centrale beroepscompetenties.
  • De student blikt terug op een concrete beroepssituatie en benoemt werkpunten voor zichzelf.
  • De student formuleert op basis van een concrete situatie kansen en bedreigingen voor de toekomst .
  • De student reflecteert op de noodzakelijke stappen voor de toekomst t.a.v. de centrale beroepscompetenties. De student formuleert eigen uitdagingen en verantwoordt dit op basis van brononderzoek.

(2) Op welke manier ga je deze indicatoren scoren?

Denk na over je beoordelingscriteria. De verschillende mogelijkheden op een rij met voor- en nadelen.

(A) Schaal. Iedere gedragsindicator wordt op een X-punten schaal gescoord, zie voorbeeld hieronder

Indicator Schaal
  Helemaal niet voldoende Niet voldoende Voldoende Helemaal voldoende
De student blikt terug op een concrete beroepssituatie en benoemt werkpunten voor zichzelf.   x    

Werken met schalen heeft als voordeel dat je relatief snel op een genuanceerde manier kijkt naar de gedragsindicatoren. Je gaat m.a.w. verder dat ‘aanwezig of niet aanwezig’ maar je geeft aan in welke mate deze indicator aanwezig is. Een groot nadeel van beoordelingsschalen is dat de categorieën en het verschil tussen deze categorieën vaak niet duidelijk is voor verschillende beoordelaars en voor de student.

(B) Rubric. Iedere categorie wordt geëxpliciteerd, verschillen worden verwoord.

Indicator Schaal
  Helemaal niet voldoende Niet voldoende Voldoende Helemaal voldoende
De student blikt terug op een concrete beroepssituatie en benoemt werkpunten voor zichzelf. Er wordt geen concrete beroepssituatie en werkpunten geformuleerd. Er wordt gereflecteerd op een concrete beroepssituatie maar er worden geen werkpunten aangehaald. Er wordt gereflecteerd op een concrete beroepssituatie en er zijn werkpunten geformuleerd. Deze werkpunten zijn concreet maar niet gebaseerd op een grondige analyse van oorzakelijke verbanden en mogelijke alternatieven in het professioneel handelen. De werkpunten zijn concreet geformuleerd en gebaseerd op een grondige analyse van oorzakelijke verbanden en mogelijke alternatieven in het professioneel handelen.

Een rubric is één van de meest effectieve instrumenten om betrouwbaar competenties te toetsen. Het opstellen van een rubric is echter een heel tijdsrovende klus en is vooral aan te raden voor het beoordelen van minder ‘tastbare’ aspecten zoals bv. attitudes, bij weinig gedragsindicatoren én bij afsluitende toetsen.

(C) Checklijst. Een checklijst wordt vaak gebruikt bij het beoordelen van werkstukken of presentaties waarbij het rap duidelijk is of de indicator aanwezig is of niet. Een checklijst controleert de aanwezigheid van relevante kenmerken of indicatoren, hoe meer elementen aanwezig, hoe beter te prestatie.

Indicator: De student blikt terug op een concrete beroepssituatie en benoemt de positieve punten van zichzelf in relatie tot de centrale beroepscompetenties.
1  werkpunt formuleren v
Oorzaken detecteren v
Verbanden vinden v
Alternatieve formuleren  
Reflectiemodel hanteren.  

Let op: bij de terugkoppeling naar de student is het belangrijk dat je de feedback persoonlijk maakt. Het is belangrijk dat je nog wat duiding kan geven aan de student, dit verhoogt de betrokkenheid.

(3) Hoe wegen de indicatoren door in de eindbeoordeling?

Expliciteer je weging. Ga je mathematisch te werk, werk je met diverse wegingen (bepaalde indicatoren wegen zwaarder door) of werk je met cesuur (waarbij bepaalde indicatoren voorwaardelijk zijn om te slagen).

Meer weten?

Via de volgende link kan je kant-en-klare rubrics opzoeken en eventueel fine-tunen naar wat jij nodig hebt.

Relevante blogtips

Meet wat je moet weten: kwaliteitsvolle Multiple Choice vragen

by teachlabadmin

Wat is het en waarom belangrijk?

Als je kwaliteitsvol wil toetsen denk je na over hoe je een opdracht of examen formuleert. Moeilijke zinsconstructies of dubbelzinnige vragen meten eerder het taalbegrip van studenten dan hun inhoudelijke kennis of competenties. Met een aantal simpele redactietips kan je jouw vraagstelling verscherpen en dus de betrouwbaarheid van je toets/opdracht verhogen.

Onderstaande tips hebben betrekking op multiple choice evaluatievormen.

Betrouwbaar toetsen: Verbeteren van multiple choice vragen

by teachlabadmin

Wat is het?

Een antwoordmodel ondersteunt lectoren in het betrouwbaar evalueren van studenten hun prestatie. In een antwoordmodel definieer je de kenmerken van een positieve evaluatie en geef je aan op welke manier je tot een eindscore komt. Een antwoordmodel wordt vaak ook een verbetersleutel, een rubric of een checklijst genoemd. Dit zijn allemaal voorbeelden van een antwoordmodel. In deze tip staan we stil bij antwoordmodellen voor multiple-choice beoordelingen.

Waarom belangrijk?

Een antwoordmodel ondersteunt een betrouwbare beoordeling. Dit wil zeggen dat een antwoordmodel de kans vergroot dat je tot eenzelfde beoordeling zou komen indien de beoordeling door een andere beoordelaar gebeurt of op een ander tijdstip.

Een antwoordmodel is ook een ondersteuning wanneer je met meerdere lectoren moet beoordelen. Ook kan een antwoordmodel een belangrijke basis zijn voor de feedback die je geeft aan studenten.

Hoe doen?

Bij MC-toetsen is het antwoord meestal rechtlijnig; het is fout of niet fout. Als lector kan je wel kiezen op welke manier je zal beoordelen. Deze keuze is afhankelijk van (a) het aantal antwoordalternatieven en (b) het aantal vragen. Een overzicht:

(1) Gis-correctie is een correctie voor het raden. Bij gis-correct ga je foute antwoorden ‘afstraffen’ door een negatieve score. Als student is het dus beter om soms een vraag over te laten i.p.v. te gokken. De gis-correctie die je doorvoert is afhankelijk van je aantal antwoordopties (n) en wordt berekend als volgt:

1/(n-1). Een vraag met 4 antwoordopties zal dus een gis-correctie hebben van 1/3. Dit betekent dat een foutief antwoord -1/3, een juist antwoord +1 en een leeg antwoord 0 is.

GIS-correctie is aan te raden bij:

– Twee antwoordopties (ja-nee vragen): De kans op juist gokken is dan namelijk heel groot

– Een erg klein aantal MC-vragen (< 10 items)

(2) Cesuur is een standaard-setting, hierbij ga je de standaard hoger leggen dan de helft. Cesuur is een manier om faalangst (die vaak gepaard gaat met gis-correctie) te ondervangen zonder dat ‘juist gokken’ wordt beloond. Bij cesuur wordt je namelijk niet afgestraft voor een foutief antwoord. Hoe hoog je de cesuur legt is afhankelijk van het aantal vragen in je toets (N) en  het aantal antwoordopties (n). Via onderstaande formule kan je jouw cesuur berekenen.

C= N(n+1)/2n 

Bv. De cesuur bij:

  • een examen met 25 vragen met telkens 4 antwoordopties: de cesuur ligt op 15 => ((25x (4+1))/2×4) . Dit betekent dat een student 15 moet halen om te slagen i.p.v. 12,5
  • een examen met 30 vragen met telkens 3 antwoordopties: de cesuur ligt op 20 => ((30 x (3+1)/2×3). Dit betekent dat een student 20 moet halen om te slagen i.p.v. 15.

Hoe wordt jouw uiteindelijk cijfer bij hoger e cesuur bepaald?

Het aantal vragen dat je goed hebt, wordt onder hogere cesuur nog verrekend naar het uiteindelijke cijfer. Als je de cesuur (bv. 25/40 vragen met 4 keuzemogelijkheden) haalt, krijg je uiteindelijk als cijfer 10/20. Als je geen enkele vraag goed hebt, komt dit overeen met een negatief cijfer dat naar 0 omgezet wordt en als je alle vragen goed hebt, krijg je het maximum van de punten of 20/20.

Voor de omrekening van het aantal goede antwoorden naar het uiteindelijke cijfer kan onderstaande formule gebruikt worden.

formule cesuur

Hierbij staat

y voor de ruwe score (nl. het aantal correcte antwoorden)

c voor de cesuur (bv. 25/40)

z voor het eindcijfer van de student

N voor het aantal vragen of m.a.w. de maximale score op het examen (bv. 40)

Betrouwbaar toetsen: antwoordmodel voor open vragen

by teachlabadmin

Wat is het?

Een antwoordmodel ondersteunt lectoren in het betrouwbaar evalueren van studenten. In een antwoordmodel definieer je de kenmerken van een positieve evaluatie en geef je aan op welke manier je tot een eindscore komt. Een antwoordmodel wordt vaak ook een verbetersleutel, een rubric of een checklijst genoemd. Dit zijn allemaal voorbeelden van een antwoordmodel. In deze tip staan we stil bij antwoordmodellen voor open-vraag beoordelingen. Dit komt vaak voor in een kennistoets of casustoets.

Waarom belangrijk?

Een antwoordmodel vergroot de kans dat je tot eenzelfde beoordeling zou komen indien de beoordeling door een andere beoordelaar gebeurt of op een ander tijdstip. Een antwoordmodel is ook een ondersteuning wanneer je met meerdere lectoren moet beoordelen. Ook kan een antwoordmodel een belangrijke basis zijn voor de feedback die je geeft aan studenten.

Hoe doen?

Een antwoordmodel voor open vragen is vaak niet te herleiden tot ‘goed/fout’.

(1) Een antwoordmodel voor open vragen bestaat uit een oplijsting van volgende elementen:

– de essentiële aspecten die in het antwoord moeten zitten.

– de belangrijke aanvullingen

– welke informatie zinvol of relevant kan zijn.

(2) Een antwoordmodel specifieert ook hoe deze elementen gescoord zullen worden.

(3) Indien vragen voortvloeien uit elkaar, leg ook vast op welke manier je met doorreken- of redeneerfouten omgaat. Stel dat vraag 1 en 2 met elkaar verband houden: impliceert een ‘rekenfout’ op de eerste vraag automatisch een nul voor de tweede vraag of neem je die rekenfout mee in het beoordelen van de tweede vraag? Doorrekenfouten zijn vaak het geval bij casustoetsen waarbij één casus centraal staat voor een reeks aan (verband houdende) vragen.

(4) Eenvoudige tips om je betrouwbaarheid verder te verhogen tijdens het verbeteren.

– Verbeter de antwoorden per vraag i.p.v. per student.

– Laat jouw examens verbeteren door jouw parallel collega en vice versa.

 

Voorbeelden van antwoordsleutels

Voorbeeld 1 ‘Vraag met meerdere antwoorden’ (Context: Lerarenopleiding)

Schrijf een lessuggestie (lesverloop en lesinhoud) bij het volgende onderwerp voor het eerste leerjaar(Inhoud van de les: waarnemen van het weer): “Ik weet welk weer het is!” (4p)

Antwoordmodel:

Essentiële elementen 0/4 ¼ 2/4 ¾ 4/4
Lesverloop Geen lesstructuur Inleiding of slot ontbreekt Structuur werd toegepast Gestructureerd lesverloop Gestructureerd lesverloop
Aanbieden kinderen Eenmalige les Eenmalige les Regelmatig aanbod

Leerlingen nemen waar

 Regelmatig aanbod

Leerlingen nemen waar

Leerlingen verwoorden correct.

 Regelmatig aanbod

Leerlingen nemen waar

Leerlingen verwoorden correct

Leerlingen gebruiken symbolen.
Lesinhoud Geen correcte lesinhoud Correcte lesinhoud Correcte lesinhoud Correcte lesinhoud Correcte lesinhoud

 

Voorbeeld 2 (Context: management)

“De ‘country-club’ leiderschapsstijl is geïdentificeerd door Blake en Mouton. Geef aan de hand van een eigen voorbeeld aan wat dat impliceert (op 5 punten)”

Antwoordmodel:

Essentiële elementen: het voorbeeld illustreert dat het om een werknemersgerichte leiderschapsstijl gaat. (3 punten)

Belangrijke aanvullingen:

– via sociale relaties die de goede werksfeer ten goede komen (1punt)

Aanvullend (telkens 0.5 punten)

– creëren van aangename en stimulerende omstandigheden

– waardering, aanmoediging en beloning

 

Voorbeeld 3 (context: lerarenopleiding basisonderwijs)

“Tijdens een les over het landschap toon je volgende foto. Je leert hen aan de hand van deze foto de elementen van het landschap en het landschap te beschrijven. Welke vragen of opdrachten kan je geven aan kinderen uit de derde graad bij het gegeven beeld (maak gebruik van de geografische vierslag)? Noteer de vragen in een logische volgorde. (10p)”

landschap

Antwoordmodel:

1/5 2/5 3/5 4/5 5/5
Leerinhoud

 

 

 Student heeft het zowel over reliëfelementen als landschapselementen in de vragen Student vraagt naar de verschillende landschapselementen in de vragen/opdrachten Student vraagt naar de verschillende landschapselementen en laat de elementen in twee groepen (natuurlijk en menselijke) indelen Student vraagt naar de verschillende landschapselementen en geeft vragen/opdrachten waaruit af te leiden valt dat er natuurlijke landschapselementen en menselijke landschapselementen aanwezig zijn in dit landschap. Uit de vraagstelling kunnen kinderen komen tot de vaststelling dat er meer menselijke dan natuurlijke elementen aanwezig zijn en dat dit dus een cultuurlandschap is. Student vraagt naar de verschillende landschapselementen en geeft vragen/opdrachten waaruit af te leiden valt dat er natuurlijke landschapselementen en menselijke landschapselementen aanwezig zijn in dit landschap. Uit de vraagstelling kunnen kinderen komen tot de vaststelling dat er meer menselijke dan natuurlijke elementen aanwezig zijn en dat dit dus een cultuurlandschap is.

Daarenboven worden er vragen/opdrachten genoteerd waarbij de kinderen tot de conclusie komen dat dit een ‘landelijk landschap’ is (met behulp van determinatietabel).
Opbouw vragen

 

Geografische vierslag:

1/ Waarnemen en beschrijven

2/ verklaren

3/ Herkennen en toepassen

4/ Waarderen

 De student noteert algemene vragen van de geografische vierslag, zonder toepassing op de leerinhoud en niet in correcte volgorde De student noteert algemene vragen van de geografische vierslag, zonder toepassing op de leerinhoud en in correcte volgorde Student maakt gebruik van de geografische vierslag, ongeveer de helft van de vragen zijn hierbij toegepast op de leerinhoud, niet noodzakelijk in correcte volgorde Student maakt gebruik van de geografische vierslag, toegepast op de leerinhoud, maar niet in de correcte volgorde Student maakt gebruik van geografische vierslag in juiste volgorde en op een correcte manier, toegepast op de leerinhoud

 

Richtlijnen voor een heldere opdrachtomschrijving

by teachlabadmin

Wat?

Opdat studenten een opdracht goed en volledig kunnen uitvoeren, is het belangrijk dat lectoren hun opdracht helder uitschrijven. Daartoe bestaat de checklist Richtlijnen voor richtlijnen, die aangeeft welke onderdelen een volledige opdrachtomschrijving heeft.

Waarom?

Transparantie en duidelijkheid zijn belangrijk om ervoor te zorgen dat studenten de opdracht uitvoeren zoals je als lector hebt beoogd. Je vermijdt bovendien achterafvragen van studenten zoals Wat zijn de vereiste onderdelen van de opdracht? Hoe lang moet die opdracht zijn? Hoe evalueert de docent de opdracht? Waarom is de opdracht belangrijk in mijn opleiding? …

Hoe?

Hanteer de checklist “Richtlijnen voor richtlijnen” om je opdracht op te stellen, na te lezen of te laten nalezen. Een voorbeeld met duidelijke richtlijnen vinden jullie hier.

Tips

Zorg ervoor dat de volgende elementen opgenomen worden in de opdrachtinstructie:

  • de doelstellingen van de opdracht;
  • een te volgen methode of stappenplan;
  • de voorziene begeleiding;
  • de te verwachten feedbackprocedure;
  • de vormelijke aspecten van het eindproduct;
  • de deadline(s);
  • de evaluatiecriteria.

 Bron:

Peeters, E. & T. Van Houtven (2013). Schrijfvaardigheid in het hoger onderwijs. Praktische handleiding voor krachtig schrijfvaardigheidsonderwijs in de instroomfase. Leuven: Acco.