Header Image - TEACHER LAB

Praktijkvoorbeeld mondeling examen op afstand

Vak Mediarecht en Deontologie uit de opleiding Journalistiek

Een mondeling examen op afstand afnemen kan even vlot verlopen als the real deal. Toch komt er wat extra voorbereiding bij kijken. Voor het vak Mediarecht en Deontologie in de opleiding Journalistiek werd door de coronacrisis het klassieke mondelinge examen met succes online afgenomen. Het plan van aanpak lees je hieronder. Voor de algemene tips rond een mondeling examen op afstand, kan je deze blogpost raadplegen.

Stap 1: Brief de studenten

In de laatste les kregen de studenten een voorbeeldexamen en praktische info voor het online examen mee. Heb je geen laatste les meer? Zorg dan voor heldere instructies via een aankondiging in Leho (zie verder).

Kader kwaliteitsvol toetsen

by elke.ruys@howest.be

Wat?

Het kader kwaliteitsvol toetsen schetst het Howestbrede toetsbeleid. Het geeft de concrete verwachtingen weer en geeft handvatten voor de implementatie in de opleidingen.

Waarom belangrijk?

“Wat moeten we kennen en kunnen?” Het is de eerste vraag die op menig studententong ligt. De manier van toetsen stuurt het leerproces van studenten. Wil je bijvoorbeeld studenten brengen tot toepassing dan is het noodzakelijk dat je deze toepassing evalueert en je niet beperkt tot kennis/inzicht.

Hoe?

Onderstaand filmpje legt het kader kwaliteitsvol toetsen uit. Het biedt een inleiding om je eigen onderwijspraktijk te optimaliseren.

Anderstalige collega’s kan je eventueel doorverwijzen naar de Engelstalige versie van het filmpje: Click here to watch the video in English.

Meer weten?

Na deze algemene inleiding kan je je eigen onderwijspraktijk van naderbij onder de loep nemen en jezelf verder verdiepen in specifieke topics.

Vul de toetsscan voor docenten of de toetsscan voor opleidingen in. Deze zijn opgenomen in de cursus onderwijsprofessionalisering van dienst Onderwijs op Leho. Wanneer je nog niet eerder voor deze cursus was ingeschreven, word je gevraagd dit eerst te doen. De twee toetsscans vind je terug bij de modules.

Lees de verschillende blogtips onder de tag “Kwaliteitsvol toetsen”. Scrol door de tips en lees deze die voor jou relevant zijn of waarrond je op dit moment concrete vragen hebt.

De opleidingen in Brugge kunnen rond concrete examenafspraken terecht op deze sharepointpagina. Het gaat om afspraken rond zowel pre-, tijdens als post-toetsing.

Heb je verder nog vragen, neem dan contact op met elke.ruys@howest.be

Mondeling examen op afstand

Waaraan moet je denken bij het organiseren van je mondeling examen op afstand? We zetten alles voor jullie op een rijtje.

Stel een kwaliteitsvol mondeling examen op

Ook al verloopt je mondeling examen nu van op afstand, toch blijven de tips uit deze blogpost onverminderd gelden en zijn de meeste tips ook rechtstreeks toepasbaar. Aangepaste werkwijzes of extra aandachtspunten lichten we hieronder toe.

Creëer tijdssloten in Leho

Hierrond verscheen eerder al een blogpost.

Geef in de tijdssloten nog eens de info rond hoe de gesprekken zullen verlopen. Via welke tool? Worden ze opgebeld of moeten ze zelf inloggen? Eventueel al een link naar de vergaderruimte. Zie ook volgend onderdeel.

Reken in de tijdssloten ook steeds wat extra tijd voor jezelf om na het gesprek notities te maken, een voorlopige score te noteren… Bvb. stel dat elke student 15′ krijgt voor zijn mondeling examen, reken dan minstens 5′ extra tijd voor je notities en plan dus blokken in van 20′ (of meer).

Plan ook voldoende pauze-momenten in. Dit is belangrijk om eventuele uitlooptijd weer in te halen, maar uiteraard ook om zelf even tot rust te komen.

Let op! Het tijdsslot geeft enkel de tijd weer van het effectieve mondeling deel van het examen. Hiervoor dient de student ook nog tijd te krijgen voor een schriftelijke voorbereiding. Je dient dus duidelijk naar je studenten te communiceren hoeveel tijd voor het tijdsslot de studenten moeten starten met hun schriftelijke voorbereiding en hoe deze zal worden georganiseerd. Bvb. Tijdsslot van student A start om 8u30. De student heeft 30′ schriftelijke voorbereiding en moet dus om 8u klaarzitten voor het schriftelijk deel.

Meer informatie over de schriftelijke voorbereiding vind je verderop in deze post.

Kies een geschikte werkwijze voor de gesprekken

Voor mondelinge examens kan je niet werken met één link naar een ruimte in Vergaderingen (Big Blue Button) of MS Teams Meeting in Leho die je vooraf deelt met alle studenten. Groot nadeel is immers dat studenten kunnen klikken op deelnemen aan de vergadering terwijl het examen van een voorgaande student nog loopt. Om dit op te lossen zijn er twee opties, die beiden werken met Vergaderingen (Big Blue Button) en MS Teams Meeting in Leho:

(1) Je belt telkens zelf de volgende student op wanneer je er klaar voor bent.

(2) Je maakt per student handmatig een andere vergaderlink aan. De studenten kunnen hier al wachten op je komst. Als docent wissel je van de ene vergadering naar de andere.

Organiseer de schriftelijke voorbereiding

Een extra element om vooraf goed over na te denken is de schriftelijke voorbereiding van de studenten. Je zal de studenten immers nu niet meer simpelweg vooraf ad random een vragenset kunnen laten trekken. Je kan dit oplossen door een voorafgaande kennistoets (al dan niet met Lock down browser/Respondus monitor) of pc-examen. Om fraude zoveel mogelijk te kunnen uitsluiten is het hierbij essentieel om tijdens het feitelijke mondelinge examen zo goed mogelijk te peilen naar het eigen inzicht rond de topics uit de voorbereiding.

Kennistoets. Een uitgebreide blogpost over digitaal toetsen op afstand vind je hier. Vooral het deel rond het werken met een toetsdatabank is hier extra relevant. Zo kan je er voor kiezen om een toetsdatabank te maken met verschillende mogelijke vragen. Vervolgens bepaal je hoeveel vragen (bvb. drie) elke student moet krijgen en maakt Leho een ad random selectie.

Tip: Wil je graag enige controle houden over welke mix van vragen de studenten krijgen (bvb. vragen gespreid over de hoofdstukken van je cursus), dan kan je in de plaats van individuele vragen ook vragensets maken. Hierbij som je in één essay-vraag je verschillende vragen op en laat je Leho ad random slechts één vraag (bestaande dus uit drie vragen) toewijzen aan de studenten. Een voorbeeld zie je hieronder:

Je kiest zelf of je de kennistoets via Lock down browser/Respondus monitor laat verlopen. Gezien de diverse vragensets, de korte tijdslimiet en mondelinge verantwoording achteraf is de extra inspanning om via LDB/RM te werken hier echter minder noodzakelijk.

PC-examen. Dienen de studenten specifieke PC-applicaties te gebruiken, dan zijn de instructies uit de blogpost PC-examen op afstand voor jou relevant.

Tip rond organisatie: We raden je aan om verschillende start- en einddatums toe te kennen per individuele student of subgroepjes van max. vijf opeenvolgende studenten. Zo wordt de tijd tussen de schriftelijke voorbereiding en het eigenlijke mondelinge examen beperkt. Dit kan via het bewerken van de toets: het vakje onderaan “toewijzen aan”. Door op toevoegen te klikken, kan je andere subgroepen of individuele studenten toevoegen.

Communiceer duidelijk

Is jouw plan van aanpak voor jezelf helemaal duidelijk? Stel dan een heldere communicatie op naar je studenten waarin je elk facet helder toelicht.

Veel succes!

PC-examen op afstand

Een examen dat toetst in welke mate studenten bepaalde pc-applicaties beheersen kan je standaard niet uitvoeren met Lock-down browser. De reden is eenvoudig; de browser laat niet toe dat studenten deze applicaties openen. De implicatie is dus dat studenten deze toets/opdracht moeten uitvoeren in een ‘gewone’ browser waar ze dus ook hulpbronnen kunnen inschakelen. Klinkt scary?

Toch zijn er een aantal mogelijkheden om dit digitaal te toetsen op een betrouwbare manier. Berg dus je digitale ambities niet onmiddellijk op maar neem even de tijd om onderstaande werkwijze te overwegen. Deze werkwijze is gebaseerd op Howest-initiatieven bij docenten, overleg op de dienst onderwijsontwikkeling en aftoetsing bij de andere Vlaamse hogescholen (werkgroep Blended Leren).

(1) Werk met een kortere, maar realistische tijdslimiet.

Een kortere tijdslimiet maakt het moeilijker voor de studenten om alles nog op te zoeken. OK, soms kunnen ze nog wat details gaan opzoeken maar iemand die de materie niet beheerst zal niet in staat zijn om in deze korte tijdspanne ALLES op te zoeken. “Gericht zoeken” vereist namelijk ook veel voorkennis.

Je kan zowel aan opdrachten als aan toetsen een tijdslimiet hangen.

  • Voor opdrachten werk je met een start- en einddatum. Meer informatie via deze handleiding
  • Voor toetsen kan je een tijdslimiet instellen, naast de start- en de einddatum. Meer informatie via deze handleiding.

Opgelet, denk ook aan de faciliteitsstudenten met recht op extra examentijd! Voordien werd deze extra tijd inclusief aan alle studenten gegeven. Gezien het belang van een strakke timing, is dit nu niet het geval, maar dient dit wel nog afzonderlijk toegekend te worden aan specifieke faciliteitsstudenten binnen je opleidingsonderdeel. Hoe je de tijd van individuele studenten aanpast in een toets, lees je hier. Voor opdrachten maak je best een aparte sectie aan met faciliteitsstudenten. Voor deze sectie kan je dan de eindtijd anders instellen.

(2) Werk met diverse versies.

Werk met diverse opdracht- of toetsversies en verdeel deze ad-random over de studenten. Je hebt opnieuw diverse mogelijkheden om dat te doen.

Toetsgroepen in de klassieke toetsen. Via toetsgroepen kan je in Leho ad-random een x-tal vragen laten selecteren per student. Maak dus diverse opgaven aan in een toetsdatabank en laat Leho zelf een paar opgaven selecteren via de toetsgroepen. Meer informatie over toets en de toetsopties vind je hier.

Secties. Verdeel studenten over secties en maak diverse opdrachten/toetsen aan per sectie. Hou de titel van de opdracht/toets neutraal. Als docent zie je aan welke sectie de opdracht/toets is toegekend maar studenten zien dit niet.

Hieronder vind je een printscreen van een docent zijn Leho. Je ziet dat de toets toegekend is aan ‘groep A’.

Echter, de student ziet dit niet. Onderstaande printscreen toont je de studentview.

Deze view is identiek bij opdrachten. Studenten zien dus niet welke versie ze hebben MITS:

  • ‘Personen’ in de cursusnavigatie niet zichtbaar is voor studenten. Meer informatie over het onzichtbaar zetten van functies in je cursusnavigatie vind je hier.
  • De titel van de toets/opdracht neutraal is en niet verwijst naar de groep waarin ze zitten.

Meer informatie over het toekennen van studenten aan secties vind je hier.

Deze ad-random factor samen met de tijdslimiet maakt het moeilijker om gerichte hulpbronnen te zoeken.

(3) Monitor – controleer

De automatische proctoring valt weg doordat je geen gebruik kan maken van de respondus-technologie. Echter, je kan zelf wel een aantal zaken doen. Dit zijn een paar mogelijkheden, het is uiteraard niet de bedoeling dat je dit allemaal doet, je kan eerder iets kiezen dat bij je past.

3.1 Peil naar inzicht via een LDB-respondus kennistoets: het exit-ticket

Na de toepassingsopdracht/toets kan je studenten gerust nog doorsturen naar een gesloten kennistoets die peilt naar het inzicht in de handelingen. Voor deze vragen is er dan geen pc-applicatie nodig maar deze vragen peilen dan vooral naar het inzicht van studenten in gelijkaardige scenario’s. Je bereidt deze scenario’s dus voor aan de hand van ‘WAT ALS….vragen’ met verduidelijkende screenshots. Doel van deze toets is dan vooral: kan de student ook de onderliggende redeneringen benoemen en juist interpreteren? In deze toets is er wel automatische proctoring dus dit dient als een check of de student de vorige oefening zelfstandig heeft gemaakt. Meer informatie over het aanmaken van een toets met LDB vind je hier.

3.2 Bevraag studenten hun inzicht in een digitaal mondeling examen.

Na de toepassingsopdracht/toets kan je studenten gerust nog uitnodigen voor een virtuele live sessie. Via de afsprakengroepen in Leho kunnen studenten zich registreren voor zo’n moment. Jij kan dit organiseren in Teams Meet of in de vergadertool. Laat studenten hun webcam én scherm delen wanneer ze antwoorden geven. Meer informatie over virtuele ruimtes vind je hier.

Een aantal voorbeeld-verdiepende vragen die je dan kan stellen.

  • Pas (dit) aan in (dat)
  • Toon mij/leg uit hoe je tot (dit) gekomen bent
  • Kan je (dit) nog eens opnieuw doen? 
  • Welke formule/… zit er achter (die cel)? 
  • Welke principes heb je gebruikt om (dit) te ontwerpen? 
  • Op welke ander manier had je (dit) nog kunnen doen/ tot hetzelfde resultaat kunnen komen?
  • Hoe interpreteer je/leg je de uitkomst van (die actie) uit? 
  • Als je (dit) wijzigt, wat zijn dan de mogelijke gevolgen? 
  • Welk theoretisch kader kan je met (deze actie/dit resultaat/…) verbinden? Licht eens toe? 

Belangrijk

Zoals met alles in afstandsleren, wees expliciet naar studenten. Licht bovenstaande keuzes toe aan hen. Geef aan dat je zal werken met ad-random versies, verduidelijk dat de toegekende tijd te kort is om alles op te zoeken, wees transparant in hoe de twee evaluatiemomenten (bv. toets zonder LDB en mondeling examen) samen het punt vormen.

Eerste hulp bij digitale examens

Zit jij of je studenten vast? Hieronder alvast een oplijsting van gerapporteerde problemen én hun oplossing.

  1. De student geraakt niet in de browser, hij krijgt de melding “een aantal programma’s lopen op de achtergrond, gelieve deze te sluiten”

Antwoord: De student kan beter zijn taakbeheer openen en kijken welke achterliggende processen nog actief zijn. Hij kan ze beëindigen via de knop ‘beëindigen’.

Onderstaande tutorial toont hoe dit moet.

2. De student werkt met twee schermen en de lock-down browser verschijnt heel klein.

Antwoord: de student moet de browser afsluiten en zijn beeldschermconfiguratie aanpassen van extended view naar duplicated view. Of het tweede scherm uittrekken.

3.. De student kan niet inloggen in Leho omdat de @ toets niet werkt.

Antwoord: Dit wordt opgelost in een volgende update. Een voorlopige oplossing is het ingeven van de ASCII-code voor @ namelijk alt+64

4.. De student kan het examen niet openen in de browser. Hij krijgt de melding ‘toets laden in browser…..’

Antwoord: Vermoedelijk heeft de student de toets open geklikt via het dashboard als shortcut.

De student moet de toets openen via de cursus zelf. Dus gewoon de cursus openklikken, naar de toets navigeren en daar de toets openen.

5. De student vliegt tijdens het examen uit de browser. Wat moet hij doen?

Antwoord: Vermoedelijk heeft de student met drie vingers op haar touchpad gescrolld doorheen de toets. Dit is eigenlijk een shortcut om applicaties in de achtergrond te openen. De eerste keer dat dit gebeurt zal de student een melding krijgen om dit niet meer te doen. De tweede keer zal de browser afsluiten.

De student werkt dus het best met een externe muis of met twee vingers om te scrollen. De student kan de browser wel onmiddellijk opnieuw starten en het examen alsnog beëindigen.

Al deze informatie staat ook op de studentenpagina op Canvas-Commons die je kan importeren naar je eigen cursus. Klinkt dit als chinees? Bekijk dan onderstaande video over het importeren van Commons-objecten naar je eigen cursussen.

Digitaal toetsen op afstand

In tijden van Corona is het ook mogelijk om kennisexamens te organiseren op afstand. Je doet dit via de Leho-functionaliteit ‘toetsen’ in combinatie met lock-down browser & respondus monitor. In deze blogpost zetten we de belangrijkste tips op een rij.

Leho-toetsen

Bij het aanmaken van een toets heb je de keuze ‘klassieke toetsen’ of ‘nieuwe toetsen’. Kies voor de ‘klassieke toetsen’ indien je ze op afstand wil laten afnemen.

Begeleidingsfiche bij feedbackgesprek

Wat?

Een begeleidingsfiche (zie bijlage onderaan deze blogpost) die de lector kan aanbieden aan de student ter voorbereiding van een feedbackgesprek. Het gaat hier wel degelijk om een feedbackmoment na evaluatie, en niet zo zeer een inzagemoment.

De lector kan de vragen die specifiek zijn voor een module aanpassen volgens relevantie (vanaf punt 6).

Dit is tevens een concrete aanvulling op de blog ‘Activerend feedbackgesprek na een evaluatie’

Waarom deze begeleidingsfiche?

Bedoeling is dat de feedback die gegeven wordt blijft plakken bij de student, hem aanzet tot reflecteren en tot actie. Vandaar het belang bij de student om zich op een feedbackgesprek voor te bereiden en tijdens het gesprek ook belangrijke informatie te noteren.

Hoe?

Spendeer een kort klassikaal moment net voor de examenperiode waarbij je onderstaande duidelijk toelicht:

  • Verwachtingen voor jouw module
  • Illustreer waar de voorbeeldexamenvragen te vinden zijn en overloop het verwachte antwoord (doorgaans kunnen studenten moeilijk inschatten hoe diepgaand het antwoord moet zijn)
  • Verloop van het examen
  • Belang van aanwezigheid op feedbackmoment en voorbereiden ervan via invullen begeleidingsfiche

Enkele tips gelinkt aan het feedbackgesprek op basis van de fiche:

  • Je plaatst bij voorkeur een week voor feedbackmoment een aankondiging op Leho  (belang van aanwezigheid en voorbereiding aan de hand van de fiche)
  • Tijdens het gesprek heb je ook aandacht voor de punten 6, 7 en 8 van de begeleidingsfiche waarbij je vooral de student aan het woord laat
  • Suggereer zelf zo min mogelijk oplossingen, maar lok de student via vraagstellingen uit om zelf de actiepunten te formuleren en te noteren bij de punten 9, 10 en 11

Bijlage

Relevante blogtips

‘Activerend feedbackgesprek na een evaluatie’

Rubrics: vraag & antwoord, tips en stappenplan

by stefanie.sercu@howest.be

Wat is het?

Een rubric is een instrument om mee te evalueren. Je kan het zien als een uitgeschreven voorschrift om een prestatie of een product mee te waarderen. Kenmerkend voor een rubric is dat je de evaluatiecriteria overzichtelijk weergeeft. Daardoor weten leerlingen of studenten goed wat hen te doen staat, en waarop ze geëvalueerd worden.

Rubrics zijn zowel geschikt om te beoordelen op het einde van de rit (summatief evalueren) als om onderweg feedback te geven en zo het leerproces bij te sturen (formatief evalueren).

Waarom belangrijk?

Rubrics zijn een zeer waardevol en kwaliteitsvol instrument voor evaluatie. Een goede rubric is echter niet eenvoudig op te maken. Vanuit de opleidingen krijgen we dan ook regelmatig vragen rond het opmaken van rubrics. Wat is een rubric nu eigenlijk? Wanneer zijn ze nuttig? Hoe begin je er aan? Waar houd je best rekening mee?

Hoe doen?

Deze inspirerende blogpost van Saskia Vandeputte van Schoolmakers vat het wat, waarom en hoe van rubrics heel mooi samen. Er wordt daarnaast een stappenplan beschreven, interessante tips meegegeven, etc.

https://www.schoolmakers.be/differentieren/rubrics/

Relevante blogtips

Volgende blogtips kunnen je ook interesseren:

Bron

https://www.schoolmakers.be/differentieren/rubrics/

Maak je evaluatie concreter in Leho

Wist je dat…..je criteria en leerdoelen kan koppelen aan je opdrachten? En dat je deze kan recycleren naar andere cursussen? Bovendien betekent het ook een tijdswinst voor jou bij het verbeteren én het is één van de kenmerken van effectieve feedback?

Dat zijn drie vliegen in één klap, ontdek HIERONDER  hoe je dit kan doen.

Wat is het? 

Bij opdrachten, toetsen & discussies kan je een rubric toevoegen. Een rubric is een oplijsting van ofwel criteria, een combinatie van leerdoelen die je verfijnt in criteria of een verduidelijking van alle beoordelingsschalen per criterium.

Hoe doe je dit? 

Onderstaande video toont je hoe je dit kan aanmaken.

Bij het aanmaken van een rubric heb je diverse instellingen.

(1)    De tussenvakjes verdwijnen in de speedgrader (en dus ook voor studenten), je kan per criterium open feedback intikken.

(2)    De punten worden verwijderd van de rubric, handig wanneer je bijvoorbeeld puur feedback wil geven zonder dat hieruit een punt vloeit.

(3)    Wanneer je ook leerdoelen integreert in je rubric dan kan je ervoor kiezen om de score op dit leerdoel niet mee te nemen in het cijferboek. Eigenlijk zal je dit alleen aanklikken wanneer het gaat om een oefenmoment dat niet meetelt voor de eindscore.

(4)    Gebruik deze rubric voor het scoren van de opdracht

(5)    Gebruik deze rubric voor het scoren maar verberg de totaalscore voor studenten.

 

Een rubric kan je eigenlijk op diverse manieren gebruiken. Onderstaand vind je een aantal voorbeelden die nu al worden gebruikt in Howest.

Voorbeeld 1: een lijst van criteria werd gedefinieerd (Persoonlijk Ontwikkelingsplan VKT VPL)


 

Voorbeeld 2: de leerdoelen werden geconcretiseerd in criteria (Technologie 1, IPO)

 

Voorbeeld 3: de leerdoelen werden geconcretiseerd in criteria die bovendien per week aanduiden waar een student moet staan. Volgens deze rubric zou de student zijn score moeten naar boven gaan (Ontwerp & Prototyping III, IPO)

 

Relevante blogtips

Rubrics: vraag & antwoord, tips en stappenplan

Referenties

How do I manage rubrics in a course? | Canvas LMS Community. (z.d.). Geraadpleegd 13 januari 2020, van https://community.canvaslms.com/docs/DOC-12891-4152724105