Digitaal Peer Evalutie-formulier



Blog van dr. Jakko van der Pol, juli 2016 over de Grassroot “Digitaal Peer Evalutie-formulier”


Project

Per 1 september 2016 gaat de bacheloropleiding geneeskunde integraal Team-Based-Learning (TBL) inzetten in het nieuwe bachelorcurriculum Epicurus. TBL (Michaelsen, Parmelee, McMahon & Levine, 2008) is een gestructureerde methode voor samenwerkend leren waarbij het geven van Peer Evaluation (PE) een vast onderdeel is. Hierbij geven de studenten elkaar kwalitatieve en kwantitatieve feedback op de samenwerking in de TBL-groep. De verzamelde anonieme kwantitatieve PE-scores zullen in Epicurus zowel formatief als summatief worden ingezet.

Dit Grassrootsproject heeft een een online PE-formulier gerealiseerd (in het Scorion portfolio-systeem). Daarmee is het verwerken van de PE niet alleen een stuk efficiënter dan op papier, maar het maakt het ook mogelijk om:
1- de ontvangen PE- scores automatisch te corrigeren voor uitschieters
2- de ontvangen PE-scores automatisch op te nemen in het digitaal portfolio van de studenten en op geaggregeerd niveau weer te geven
3- de ontvangen PE-scores op groepsniveau weer te geven, als input ter reflectie in gezamenlijke mentorbijeenkomsten.

In de uitgevoerde pilot is het gerealiseerde PE-formulier getest in een eerstejaarsmodule van Medische Informatiekunde met 35 studenten.
Ervaringen

De studentevaluaties van de pilot zijn op dit moment nog niet binnen, maar we hebben tijdens de uitvoering van de pilot wel al een tweetal belangrijke ervaringen opgedaan:

1- Onze belangrijkste ervaring met het gebruiken van het Scorion PE-formulier is dat niet alleen iemand de formulieren moet uitzetten, maar dat er ook iemand moet zijn om te monitoren of alle studenten het formulier al hebben ingeleverd om daarna het formulier af te sluiten en de ontvangen scores vrij te geven. Omdat de ontvangen peer scores binnen een TBL-groep pas kunnen worden vrijgegeven als iedereen in de groep het formulier heeft ingevuld, is dat in de praktijk een beperkende factor. In de pilot moesten we behoorlijk achter de studenten aanzitten met herinneringen om het formulier in te vullen en moesten we ook herhaaldelijk de deadline wijzigen om het formulier langer ‘open’ te houden. Dit betekent voor de bachelor geneeskunde dat we deze taken ergens moeten beleggen.

Daarnaast is er ook de vraag wat je doet als een student het formulier, ondanks herinneringen, helemaal niet invult. In dat geval moeten de ontvangen scores alsnog verwerkt kunnen worden en ook vergelijkbaar zijn met de scores van een wel volledig ingevulde groep. Het laatste is lastig bij de in eerste instantie gekozen Fink-methode (Michaelsen, Knight & Fink, 2004) om studenten 100 punten te laten verdelen over al hun teamgenoten. Hoewel deze methode elegant is en ervoor zorgt dat studenten elkaar gemiddeld altijd even hoog scoren (dus zonder systematische afwijkingen), is hij minder robuust voor ontbrekende formulieren. We zullen deze methode nav de pilot dus aanpassen naar de Koles-methode (Michaelsen et al, 2008). In die methode geven studenten elkaar een score op een schaal van 1-4, waardoor de gemiddeld ontvangen scores nog steeds vergelijkbaar zijn tussen groepen in het geval van missende formulieren.

2- De voorgenomen correctie van de PE-scores (om de invloed van uitschieters te verminderen) hebben we in de pilot nog niet kunnen realiseren, maar gebaseerd op onze ervaring bij het voorbereiden daarvan hebben we de voorgenomen correctiemethode ook bijgesteld. Ook hier hebben we gekozen voor een simpelere en meer ‘robuuste’ oplossing. In plaats van het berekenen van een persoonlijke wegingsfactor die bijgesteld wordt over de tijd (volgens Hamer, Ma & Kwong, 2005), hebben we gekozen om het zogenaamde Winsorgemiddelde te hanteren. Deze correctiemethode is net als het vorige punt beter bestand tegen groepen met ontbrekende formulieren en is daarnaast ook beter navolgbaar en transparant in de praktijk.

Naast deze twee ervaringen hebben we ook gekeken naar de door de studenten gegeven scores.


Data: gegeven PE-scores

Uit een eerste analyse van de in de pilot gegeven PE-scores blijkt dat studenten in het begin nog vrij ‘voorzichtig’ zijn bij het evalueren van de inzet van het TBL-groepsgenoten (ze geven al hun teamgenoten ongeveer dezelfde score), maar dat ze naarmate de tijd vordert steeds uitgesprokener worden in hun peer scores. Deze bevinding komt overeen met onze ervaring in een eerdere pilot met een eerste online versie van het PE-formulier.

Onderstaande grafiek laat de spreiding van de scores (hoogste – laagste gegeven score) zien over de tijd. In de pilot waren er 5 momenten van Peer Evaluatie over de in totaal 9 TBL-taken, waarbij de studenten werd gevraagd 100 punten onder hun teamgenoten te verdelen. Bij het eerste evaluatiemoment heeft geen van de studenten hun teamgenoten een score lager dan 20 of hoger dan 40 gegeven, terwijl bij de laatste evaluatie de scores uiteen liepen van 0 tot 75.

Jakko Pol Illustratie

Literatuur

Hamer, J., Ma, K.T.K. and Kwong, H.H.F. (2005). A method of automatic grade calibration in peer assessment. In: Proceeding ACE ’05 Proceedings of the 7th Australasian conference on Computing education – Volume 42, pp. 67–72.

Michaelsen, L.K., Knight, A.B., and Fink, L.D. (2004). Team-Based Learning: A Transformative Use of Small Groups in College Teaching. Stylus Publishing; Sterling, VA.

Michaelsen, L.K., Parmelee, D.X., McMahon, K.K. and Levine, R.E. (2008). Team-based learning for health professions education: A guide to using small groups for improving learning. Stylus Publishing; Sterling, VA.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s