Stavaza Grassrootproject toets- en itemanalyse bij grading rubrics

Bijdrage van Susan Voogd en Ellen Algera

Of je het nu grading rubrics, beoordelingsmodellen, beoordelingformulieren, beoordelingslijsten of scorelijsten noemt. Haast in elke opleiding worden ze wel gebruikt. Van die lijsten waarmee je bijvoorbeeld een presentatie of een essay beoordeelt. De ene lijst heeft veel meer items, dan de andere. En de ene lijst heeft wat eenduidigere items dan de andere. En niet elke lijst wordt met eenzelfde scoringswijze ingevuld (bijv: 1-5 scores per item of categorie onvoldoende/voldoende/goed per item, enz.). Deze factoren hebben invloed op de betrouwbaarheid van de eindscores die met behulp van een dergelijke lijst tot stand komen. Maar hoe bepaalt een docent of de betrouwbaarheid van de lijst voldoende is? En welke items uit de lijst hebben een goed discriminerend effect?

Om antwoord op die vragen te krijgen zou je een toets- en itemanalyse moeten doen. Wij hebben een Excell format (zie http://starfish.innovatievooronderwijs.nl/glossary/283/) waarin alle deelscores in te voeren zijn om antwoord te kunnen geven op deze vragen en te kunnen tonen hoe het zit met de kwaliteit van de lijst. Nog mooier zou zijn als docenten een standaard format kunnen gebruiken voor het ontwerpen van een dergelijke lijst, waarbij de analyse automatisch gebeurt.

We hebben ondertussen uitgevonden, dat dit laatste theoretisch mogelijk is. De losse puzzelstukken liggen klaar. Het enige wat er nog moet gebeuren is de verschillende puzzelstukken aan elkaar schrijven door middel van wat programmeertaal. Ondertussen zijn we erachter dat de meest ideale manier om de puzzelstukken aan elkaar te koppelen “DataNose” heet. Er rest nog een laatste praktisch probleem. In plaats van een budget van 1000 euro zouden we op zoek moeten naar een veel groter budget…

Zijn er faculteiten die ook de wens hebben om automatisch informatie over de kwaliteit van de gebruikte beoordelingslijst te krijgen? Of weet iemand mogelijkheden hoe we een investeerder kunnen vinden voor financiële ondersteuning om ons doel te bereiken? Graag horen we of we gezamenlijk tot een voldoende groot budget kunnen komen. 

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s