Impressie van de E-ATP conferentie rondom Assessments in Budapest

Bijdrage van Nils Siemens over zijn bezoek aan de E-TAP conferentie

De EATP-conferentie (georganiseerd door de Europe-Association of Test Publishers) geeft een overzicht van ontwikkelingen in het digital-assessment-veld. Dit jaar ligt de nadruk op het meten van competenties van de werkende mens. Die werkende mens wordt op de openings-keynote op 24 september (Thomas Chamoro-Premusic) in verband gebracht met een aantal problemen die het Europese treffen: Economisch tij dat tegenzit, een vergrijzende populatie, medewerkers die zonder veel ‘engagement’ hun werk doen. Toch is er ook veel positiefs te melden over die European workforce: We scoren hoog op IQ, wij en onze mede-Europeanen hebben veel ‘human capital’ te bieden en, dat mag ook wel eens gezegd, Nederland staat op een hoge plaats op de lijst van fijne plekken om te wonen.

En wat heeft dat alles van doen met Assessment? Best heel wat. Want digitaal toetsen, testen van medewerkers en studenten biedt veel mogelijkheden om medewerkers door te lichten op competenties, hun engagement te meten, de invloed van ‘the boss’ daarop te analyseren en om de juiste medewerker op de meest passende werkplek te krijgen.

Dat alles kan natuurlijk niet zonder de nodige techniek, waar dan ook wel weer wat ‘concerns’ bij leven, zonder de mogelijkheden weg te wuiven.

  • Big data: Een groot Amerikaans bedrijf doorzoekt al vele jaren vacatureteksten op internet, en kan daardoor aangeven hoe schaars bepaalde compenties (of banen!) zijn in het Amerikaanse. Een terechte opmerking: hoe to-the-point en realistisch zijn die teksten eigenlijk. Vanzelfsprekend komen de ‘ethics’ om de hoek. Met bijvoorbeeld de vraag of de overheid of de (test)sector de beperkingen moet bepalen. Volgens mij is het ook vooral goed uitleg geven (en toestemming vragen!) voor/over je doelen. Niet alles wat kan moet je willen. Niet alles wat je wil kan. En voorkom als aanbieder dat resultaten van analyse een eigen leven gaan leiden of worden versimpeld. Er zijn voorbeelden van bedrijven die, door slechte uitleg of geruchten, de bietenbrug op gingen.
  • Online Proctoring (het bewaken van een toetsafname op afstand): Een flink aantal bedrijven bieden online proctoring. Na het bijwonen van een presentatie over dit onderwerp blijf ik vooral met vraagtekens zitten, die ook door de presentator niet afdoende kunnen worden beantwoord. Ik geloof in de technische mogelijkheden om een multiple-choice-toets via toetsaanslagen, camera, gezichtsbewegingen in de smiezen te houden. Ik snap heel goed dat een leverancier niet alle ins en outs kan tonen. En als instrument vind ik het een aanbeveling dat je voor een toets niet langer 3 uur in de trein of in het vliegtuig hoeft te zitten. Toch blijft bij mij een beetje hangen ‘als wij geen fraude zien, is het het er niet’. Maar misschien is het vooral goed uitleggen wat de beperkingen zijn; en daar blinken niet veel leveranciers in uit.
  • Testcenter: Aan de andere kant: als je beroepshandelingen wil testen, zoals de Australian Medical Counsil doet (ja, de afkorting leidt tot verwarring, dus die zal ik niet gebruiken), is online proctoring dan de oplossing? De Australiërs hebben een testcenter ingericht waarin artsen hun medische handelingen toetsen met een tocht langs 16 stations. (para)medici zullen hierin de OSCE-toetsmethodiek herkennen: Objective Structured Clinical Examination. Doel hiervan is het verminderen van beoordelingsfouten. Daar gaan ze in deze case vrij ver in: de toetsen hebben te maken met de arts-licentie, dus navolgbaarheid van het oordeel is erg belangrijk. Daarom worden de toetsstations (waar een examinator, een ‘patient’ en de kandidaat aanwezig zijn) vanuit een controlroom gefilmd en gevolgd door experts. Papieren formulieren zorgen bij mij vaak voor chaos. Ik was blij dat te herkennen bij de deze casus: tijdens de examens wordt de grading op rubrics digitaal verzorgd. Al met al een heel andere kijk op high stake assessment dan online proctoring.
  • Test Cheating: de oude Grieken deden het al tijdens de Olympische spelen: Frauduleus handelen, stimulerende middelen gebruiken. Ouder dan de weg naar Rome dus. De vraag die blijft staan is hoe ver je gaat met voorkomen. Want iedereen is een sjoemelaar. En als je maatregelen neemt, doe dat dan volgens de cyclus ‘Protect, detect, respond, improve’. Een veiligheidscyclus naast de toetscyclus dus. Sommige toetsen (toegangsexamen universiteit in China) worden door het leger bewaakt. De vraag die ik dan heb is of je van een toets wel zoveel moet laten afhangen dat het leger nodig is. Ik ben blij dat ons Nederlandse systeem wat meer meetmomenten heeft om passendheid voor hbo- of universitaire studie aan te tonen, inclusief studiekeuze/matchinggesprekken.

En als we dan fraude vermoeden, welke tolerantie houden we dan aan? Net als bij gewone toetsstatistiek en plagiaatdetectie gaat het over percentages, proporties, aanwijzingen. De mens moet de aanwijzingen analyseren en beslissen wat door de beugel kan.

Overigens zijn procedures noodzakelijk, zowel aan de afname-kant als de productiekant. Het lijkt zo logisch, maar non-disclosure, copyright-, en andere afspraken over toetsitems zorgen voor bewustwording en als het nodig is sanctioneren. Mijn vraag is wel of we meer blauw in de toetszaal moeten stationeren. Misschien is het veranderen van toetsen, zodat cheating minder makkelijk is, een meer begaanbare weg. Tot die tijd ontkomen we er niet aan om rekening te houden met de menselijke neiging tot sjoemelen. Wist u overigens dat er aan de andere kant van de oceaan vaker over fraud in plaats van cheating wordt gesproken? Een subtiel verschil.

  • Technology and science in test technology: Drie belangrijke componenten; de techniek, inhoudelijk experts en toetsdevelopers. De inhoud moet natuurlijk valide en betrouwbaar zijn. techniek kan faciliteren. Het moet goed integreren in de workflow/administratieve processen. Inhoudelijke kennis en toetsvragen voorop, dus ook de meest makkelijke manier om het toetsmaakproces mogelijk te maken. Een onderschat punt. Want alleen instrument dat minstens zo simpel is te gebruiken als een Word-document, wint het van dat Word-document. Uit de presentatie wordt duidelijk dat samenwerken voor toetsconstructie kan met hulp van digitale middelen. Rekening houden met veiligheid is een open deur. Hoe doen we dat eigenlijk in het hoger onderwijs? wisselen we onze items altijd veilig uit? En hoe voorkomen we (ongewuste) verspreiding? Verbazing: Multiple choice met multimedia wordt als iets nieuws gepresenteerd. Ik zal niet beweren dat het altijd simpel is, maar geheel nieuw lijkt het mij niet.
  • Data visualization: Brian Bontempo Ph.d. Het visualiseren van toetsuitkomsten kan veel inzicht geven aan kandidaten en de toetsorganisatie. Eerste vraag is of de data nuttig is, en wat wil je je publiek vertellen? Ga je antwoorden geven, of vragen stellen? Je wil trends weten en die trends presenteren.
    Toetsdata/statistiek roept vaak vragen op. Docenten en beslissers zijn vast gebaat bij visualisatie. Maar: begin er niet lichtvaardig aan. Een begrijpelijk basaal verschil: Grafiek vs tabel. Waarbij de eerste een ruw beeld en trends inzichtelijk maakt. Voor het opzoeken van een bepaalde score zijn grafieken veel minder geschikt.
    Taartgrafieken zijn niet spreker’s favoriet. Een aantal andere, niet heel makkelijk te begrijpen visualisaties komen aan bod. Wordclouds brengen tekst-items helderder in beeld. Dat is een interessante manier, maar hoogstens een aanwijzing voor de opbouw van de toetsvragen. En: haal al die rommel weg uit je Excel-grafieken.
    Als voorbeeld van een vrij heldere grafiek wordt een spinnenweb-grafiek gepresenteerd, met de vraag wat er weggelaten of veranderd had kunnen worden. Veel helderheid hangt af van de nadruk die op elementen van een grafiek wordt gelegd. Hoe doen we dat eigenlijk met tentamens en toetsen in het HO? Is er vraag naar het visualiseren van toetsdata, toetsitembanken en welke doelen willen we daar mee bereiken? Kunnen we studenten meer houvast geven door toetsresultaten te visualiseren?
  • Open badges and public education. De Scotish Qualification Authority. Joe Wilson.
    De Scotish Qualification Authority stimuleert het gebruik van open onderwijs, en open badges. Voor wie open badges niet kent: Het zijn digitale varianten van de insignes die padvinders dragen. Verschil is dat er achter de badge een nauwkeurige omschrijving van de getoonde vaardigheid is te vinden. Aan badges zijn allerlei eigenschappen te koppelen, zoals een verloopdatum. Handig voor vaardigheden waar re-certificering noodzakelijk is.
    Zijn open badges een bedreiging voor helderheid over wat je kan? Volgens mij niet. Je kunt kleinere delen kennis of vaardigheden aantonen. Dat is flexibilisering van assessment. Ook al zitten er vast wat moeilijkheden aan vast: ik zie wel mogelijkheden om het in te zetten voor bijvoorbeeld studiekeuze (vooraf met een badge tonen dat je je hebt verdiept in de studie?). Het staat of valt natuurlijk wel met de erkenning door anderen. Die erkenning bereik je door er een serieuze toetsing aan te koppelen. Badges kan je ook inzetten om een leercultuur te bevorderen, ook bij jongeren. Het digitale is de faciliteit, meer communiceren over wat we al kennen of nog willen leren lijkt me een goed voornemen. Dat badges ook een plaats krijgen in Human Resource Development vind ik dan ook een interessante ontwikkeling.
  • CITO Innovative items and system: Een hele zaal vol Nederlanders. Veel testen, summatief en formatief, aan het eind van de bijna alle diploma’s (Primair, HAVO, VWO, MBO). Digitaal toetsen gaat groeien. De nieuwe applicatie gaat meer uit van open standaarden.
    Men bouwt een compleet nieuw systeem, uitgaande van brede functionele eisen. Met stevige beveiligings- en snelheidseisen. De cloud komt aan de orde, en gaat worden gebruikt. De QTI standaard wordt aangehouden. Maar QTI voldoet niet overal aan. Aanvullend profiel op QTI is mogelijk. En als richting gekozen.
    Met adaptief testen is het de bedoeling om meer info uit zelfde aantal items te halen. Ik dacht dat ze ook iets over essayscoring gingen zeggen. Maar dat is ‘beyond’. Illustrerende presentatie van test-items die automatisch worden gescoord, waar de Hollandse nuchterheid een technisch verhaal mooi lardeert.

Reflectie

Zoals gezegd: de conferentie heeft een stevige oriëntatie op beroepsvaardigheden en assessment daarvan. De wijze waarop ‘test centers’ en andere toets-instanties hun toetsen doen, geeft mij in ieder geval een aantal punten om over na te denken:

  • Kiezen voor een zeer gecontroleerde toetsfaciliteit in de instelling: Voor high stake testen een misschien wel noodzakelijke investering. Ik zie het HO voor High stake testing nog niet zo snel overstappen naar Online Proctoring. Misschien is proctoring (maar dan wel in de instelling) een oplossing voor mondelinge tentamens en andere tentamens waar meer controle op proces en uitkomst gewenst is.
  • Ik ben benieuwd of het aangehaalde OSCE-model ook buiten de medische wereld opgang doet. En vraag me af of we in het hoger onderwijs, waar de belangen voor student en instelling groot zijn, meer gecontroleerde settings zouden moeten creëren voor assessments. Eerlijk gezegd: Ik weet niet hoeveel universiteiten en hogescholen station-rotation als toetsvorm toepassen. Ben benieuwd!
  • De artsen-certificering (Australian Medical Council) heeft te maken met assessment waarvan de uitkomst voor kandidaten het wel of niet uitoefenen van een beroep betekent. Zij stellen vanzelfsprekend stevige eisen aan de psychometrische kwaliteit van toetsen, de beoordelaarsbetrouwbaarheid en bijvoorbeeld en gelijkheid van de toetsen tussen groepen. In het HO toetsen we met bewustzijn. Maar voeren we elke summatieve toets uit met dezelfde randvoorwaarden, kwaliteitscontrole en verantwoording? De gevolgen van fouten in toetsen en toetsuitvoering kunnen minstens zo verstrekkend zijn voor de student. Zijn we ons daar altijd van bewust?
  • Op de conferentie speelden leveranciers een belangrijke rol. De focus lag op beroepsvaardigheden. Een gedachte die bij mij naar voren kwam: kunnen we als HO iets leren van hoe in assessmentcenters assessment wordt uitgevoerd? Is het zo vreemd dat ik tien jaar geleden bij het Exin al een moment kon prikken om een losse toets te doen achter een pc, terwijl me dat in het HO niet lukt? Is onderwijs daarvoor een te bijzonder proces?

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s