Stavaza Grassrootproject toets- en itemanalyse bij grading rubrics

Bijdrage van Susan Voogd en Ellen Algera

Of je het nu grading rubrics, beoordelingsmodellen, beoordelingformulieren, beoordelingslijsten of scorelijsten noemt. Haast in elke opleiding worden ze wel gebruikt. Van die lijsten waarmee je bijvoorbeeld een presentatie of een essay beoordeelt. De ene lijst heeft veel meer items, dan de andere. En de ene lijst heeft wat eenduidigere items dan de andere. En niet elke lijst wordt met eenzelfde scoringswijze ingevuld (bijv: 1-5 scores per item of categorie onvoldoende/voldoende/goed per item, enz.). Deze factoren hebben invloed op de betrouwbaarheid van de eindscores die met behulp van een dergelijke lijst tot stand komen. Maar hoe bepaalt een docent of de betrouwbaarheid van de lijst voldoende is? En welke items uit de lijst hebben een goed discriminerend effect?

Om antwoord op die vragen te krijgen zou je een toets- en itemanalyse moeten doen. Wij hebben een Excell format (zie http://starfish.innovatievooronderwijs.nl/glossary/283/) waarin alle deelscores in te voeren zijn om antwoord te kunnen geven op deze vragen en te kunnen tonen hoe het zit met de kwaliteit van de lijst. Nog mooier zou zijn als docenten een standaard format kunnen gebruiken voor het ontwerpen van een dergelijke lijst, waarbij de analyse automatisch gebeurt.

We hebben ondertussen uitgevonden, dat dit laatste theoretisch mogelijk is. De losse puzzelstukken liggen klaar. Het enige wat er nog moet gebeuren is de verschillende puzzelstukken aan elkaar schrijven door middel van wat programmeertaal. Ondertussen zijn we erachter dat de meest ideale manier om de puzzelstukken aan elkaar te koppelen “DataNose” heet. Er rest nog een laatste praktisch probleem. In plaats van een budget van 1000 euro zouden we op zoek moeten naar een veel groter budget…

Zijn er faculteiten die ook de wens hebben om automatisch informatie over de kwaliteit van de gebruikte beoordelingslijst te krijgen? Of weet iemand mogelijkheden hoe we een investeerder kunnen vinden voor financiële ondersteuning om ons doel te bereiken? Graag horen we of we gezamenlijk tot een voldoende groot budget kunnen komen. 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s