Leren van jouw toetsen of examens

Een toets of examen geeft jou veel info over de student, over jouw lessen en over de vragen zelf. Op Leho is er een ingebouwde itemanalyse. Deze kun je gebruiken om je vragen te beoordelen ofwel om vanuit de vragen meer te leren over de sterkte van je studenten.

Waar vind ik de itemanalyse?

Bij het openen van een toets klik je op “samenstellen”. Daar vind je onderstaande menubalk. Klik op het tabblad “Rapporten”.

Er verschijnt een beknopt overzicht van de volledige toets. Je kunt de hoogste, de laagste en de gemiddelde score bekijken. Er wordt een update aangekondigd (wellicht in de tweede helft van februari ’24), waardoor je deze resultaten zult kunnen exporteren naar een csv-bestand, zodat je ze in Excel kunt inladen.

De toetsanalyse geeft informatie over de hele toets en alle deelnemers met deze gegevens (klik ook op de pijl rechtsboven het kader):

• De staafbalken geven weer welke scores het meest frequent gehaald worden.
• De standaarddeviatie beschrijft hoe ver de scores van het gemiddelde liggen. Een laag getal geeft aan dat alle scores dicht bij het gemiddelde liggen.
• Cronbachs Alfa toont met een cijfer tussen 0 en 1 hoe consistent een toets is: een nul betekent dat alle items volledig onafhankelijk van elkaar zijn. Het al dan niet juist beantwoorden va een vraag in deze toets is geen voorspeller voor het al dan niet juist beantwoorden van andere vragen of dus het behalen van een goede eindscore. Een score van 0,70 of hoger kan als acceptabel beschouwd worden.

Welke informatie haal ik uit de itemanalyse?

Hieronder een voorbeeld van drie toetsvragen uit een toets. Bij elke vraag verschijnen vier parameters die met elkaar samenhangen. Naast het gekende gemiddelde en mediaan, vind je ook deze een moeilijkheidsgraad en een discriminatie-index. Deze cijfers zijn steeds tussen 0 en 1.

• Moeilijkheidsgraad van item: hoeveel proportie studenten beantwoordt de vraag correct? Het cijfer vermenigvuldigen met 100 geeft het percentage.
• Discriminatie-index: in welke mate maakt het item het mogelijk een onderscheid te maken tussen hoogst en laagst scorende studenten? Statistisch gezien wordt het item vanaf 0,25 op dit vlak als voldoende beschouwd en vanaf 0,35 als goed tot zeer goed.

Om de cijfers correct te interpreteren, denk je best na over het doel van het item. Stel dat je een vraag opstelde met het idee dat het makkelijk is, dan zou de moeilijkheidsgraad een cijfer dicht bij 1 moeten opleveren. Als dat het geval is, zul je de vraag moeten herwerken als je een moeilijkere vraag wou stellen. De discriminatie-index geeft op die manier bijkomende info: als je een behoorlijk onderscheid kunt maken tussen studenten die sterk scoren en zwak scoren, is ze misschien geschikt voor wat je wou bereiken.

Het is een goede toets of examen als de parameter bij de moeilijkheidsgraad niet al te hoog of te laag is en als de parameter discriminatie-index niet al te laag is.

Door te klikken op de pijl rechts, zie je een overzichtstabel van de gegeven antwoorden bij gesloten vraagtypes.

Meer lezen?

• Uitgebreide uitleg over alle functionaliteiten in de item-analyse op Canvas
• Statistische achtergrondinfo over de parameters bij de item-analyse op Canvas

Kan ik dit ook doen met een toets of examen op papier?

Ja, dat kan. We komen daar in een latere blog nog op terug.

Wil je toch al meer lezen? Je vindt al wat toelichting op de Lehopagina “Onderwijsprofessionalisering” onder het thema “Kwaliteitsvol evalueren op opleidingsniveau”.