Grassroot project “interactieve examinering voor de UvA matching”

Bijdrage van Arnoud Visser over zijn Grassroot project “interactieve examinering voor de UvA matching”.

De kern van dit Grassroot project is om ervaring op te doen met digitale examinering en de mogelijkheden om deze digitale examens adaptief te maken. De urgentie van dit project is de komst in juni van een grote groep scholieren die zich ingeschreven hebben voor de studie “Kunstmatige Intelligentie”. Deze groep moet in een paar dagen echt onderwijs krijgen en realistisch geëxamineerd worden. Het verschil is met het reguliere onderwijs is dat we nu geen twee weken hebben om na te kijken, maar een half uur. Vandaar dat we ervaring nodig hebben met digitale examinering.

Het project is gestart met een met een rondgang langs de andere docenten met een Grassroot project. Al gauw bleek dat alles relatief is, voor sommigen studies is een groep van 200 studenten nog aangenaam klein. De luxe van open vragen, de standaard bij de studie “Kunstmatige Intelligentie”, is bij veel studies alleen mogelijk met de inzet van veel werkgroep- / studentassistenten. Daar staat tegenover dat er bij andere studies al wel veel expertise is met digitale examens; ervaring waar we van kunnen leren.

Na de startbijeenkomst ben ik op bezoek geweest bij de facultaire ICTO expert. Daar hebben we de ambities en mogelijkheden naast elkaar gelegd. Mijn ambities bleken groter dan de mogelijkheden: er zijn nog geen producten die een adaptief digitaal examen met meerdere verhaallijnen ondersteunen. Wel zijn er producten die een verscheidenheid aan vragen en feedback ondersteunen.

Uiteindelijk hebben we er voor gekozen om deze mogelijkheden te verkennen door eerst een standard digitaal examen te maken met de simpelste tool, in dit geval Blackboard. Daarna gaan we kijken wanneer we tegen de beperkingen van Blackboard oplopen als we proberen om het digitaal examen ‘intelligenter’ te maken. Afhankelijk van die ervaring gaan we kijken of wat we willen wel mogelijk is met een andere tool, zoals bijvoorbeeld Sowizo. In het uiterste geval vragen we de ontwikkelaars van Sowizo om uitbreidingen van hun tool.

Deze eerste stap in het plan heb ik in een paar dagen uitgewerkt. Eerst heb ik een opsomming gemaakt van de concepten die de scholieren zich eigen gemaakt zouden moeten hebben uit het hoofdstuk dat zij mee naar huis krijgen. Daarna heb ik bij elk van de concepten een multiple-choice vraag bedacht. De moeilijkheid hierbij is om een aantal antwoorden te bedenken die op het eerste gezicht allemaal relevant lijken, maar waarvan bij nadere bestudering er toch maar één waar / onwaar is. Typisch had ik per vraag tussen een kwartier en een half uur nodig.

Ik heb nu een standaard digitaal examen met 30 vragen (zou genoeg moeten zijn voor een tentamen van een uur). Dit standaard examen kan ik nu gaan gebruiken voor een meer geavanceerd digitaal tentamen, dat minder feitjes en meer op inzicht test. Als goed wetenschapper zou ik de scholieren zelfs op verschillende manieren kunnen examineren en kijken welke methode de beste voorspellende waarde heeft (welke scholier de juiste studiekeuze heeft gemaakt, aan de hand van het studieadvies aan het eind van het 1e jaar). Alleen weet ik niet of ik blinde pedagogische experimenten op aanstaande studenten langs de ethische commissie en mijn onderwijsdirecteur krijg.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s