Blog van Andries van der Ark en Niels Smits over hun Grassroot: Realistische data, perfecte feedback

Situatie in het kort

Bij het vak ontwerpmethoden leren studenten van de Interfacultaire Lerarenopleiding hoe ze een door hen zelf ontworpen lessenserie sociaal-wetenschappelijk moeten evalueren. Oefenen met het invoeren van data en het vervolgens doen van statistische analyses hoort bij de einddoelen. Vanwege het speciale karakter van een lerarenopleiding (heterogene groep studenten, veel stage, weinig onderwijs) moet de opdracht aan een aantal randvoorwaarden voldoen:

1. De in te voeren data moeten realistisch ogen. Vanwege het drukke programma en de beslommeringen bij de Ethische Commissie kunnen de data echter niet zelf verzameld worden (dat gebeurt al bij een andere cursus). Er is daarom gekozen om studenten met de hand ingevulde vragenlijstdata te sturen die ze zelf moeten invoeren en vervolgens analyseren.

2. De data-invoer en statistische analyse moet gebeuren in met algemeen toegankelijke software. Het geleerde moet later, als de studenten werkzaam zijn op een middelbare school, toegepast worden. In deze omgeving is vaak niet de statistische software aanwezig die standaard gebruikt wordt bij FMG, zoals SPSS. Er is daarom voor gekozen dat de studenten de opdracht in Excel uitvoeren.

3. Iedere student moet een andere opdracht krijgen. Omdat de studenten slechts één dag per week op de universiteit zijn, moet het een opdracht worden waar de student thuis aan kan werken. Om plagiaat te voorkomen is het wenselijk dat iedere student een andere opdracht krijgt.

4. De student moet automatische feedback krijgen op zijn of haar opdracht. Handmatig feedback geven kost bij 200 studenten per jaar vele docenturen. Er is daarom gekozen voor geautomatiseerde feedback.

Voorgestelde aanpak

Bij de opdrachten wordt uitgegaan realistische onderzoekssituatie in een middelbare schoolklas. Er is sprake van pre-test post-test onderzoek, waarbij motivatie en leerprestatie zowel voor als na een door de docent ontworpen lessenserie worden gemeten. We gaan ervan uit dat de lessenserie een positief effect heeft op zowel de motivatie als de leerprestatie. Om zulke data te verkrijgen simuleren we data. Iedere student krijgt zo een unieke dataset en daarmee een net wat andere opdracht. We berekenen voor elke dataset de goede antwoorden op de statistische analyses. Deze antwoorden kunnen gebruikt worden om de door de student gegeven antwoorden na te kijken. De dataset wordt omgezet in een serie pdf-bestanden die eruit zien als met pen-en-papier ingevulde vragenlijsten. Hiermee oogt de dataset realistisch. Immers bij het verzamelen van test en vragenlijstgegevens zit de onderzoeker ook met een stapel ingevulde papieren. De pdf-bestanden worden naar de studenten gestuurd. Iedere student heeft dan een unieke stapel met ingevulde formulieren. De studenten voeren hun data in en krijgen automatisch feedback over de mate waarin de door hun ingevoerde data overeenkomen met de oorspronkelijke gesimuleerde data. Vervolgens doen de studenten de statistische analyses en krijgen feedback op de antwoorden.

Voor het simuleren van de data gebruiken we eigen R code. Voor het omzetten van een dataset naar een serie ‘met de hand-ingevulde vragenlijsten’ gebruiken we het R-packages gplots en png. Voor het creëren van Excel-databestanden gebruiken we het R-package xlsx. Voor het versturen van de zowel de ingevulde testformulieren als de feedback aan studenten gebruiken we het R-package RDCOMClient. Studenten leveren de resultaten van de statistische analyse en Excel dataset in via Blackboard. Voor het inlezen van de datasets van de studenten gebruiken we wederom het R-package xlsx.

Waaraan momenteel wordt gewerkt

De bovenstaande stappen zijn reeds alle geprogrammeerd. Momenteel zijn we bezig met de laatste stap waarbij de analyseresultaten moeten worden nagekeken. De output van sommige Excelanalyses kan nogal bewerkelijk zijn omdat het op heel veel verschillende manieren kan worden opgeslagen; bovendien is het voor studenten vaak lastig een heel precieze format te hanteren. We denken erover om voor sommige onderdelen de studenten tevens een antwoordformulier in Blackboard in te laten vullen met vragen over de analyse. De antwoorden worden vervolgens gedownload en in R geanalyseerd.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s