Verslag Feedbackfruits bijeenkomst

Op woensdag 7 juni organiseerde het Center for Innovation for Learning en Teaching (CILT) en de expertisegroep onderwijs UvA (IRS, EGOW) een informatiebijeenkomst over Feedbackfruits. Een nieuwe online onderwijs omgeving die onlangs door de UvA is aangeschaft.

Etienne Verheijck stond in het openingswoord stil bij de recente ontwikkelingen van CILT. De plannen voor een structurele inbedding van Blended Learning bij de faculteiten krijgen duidelijk meer vorm.  Strategische keuzes voor onderwijsinnovatie moeten nu worden gemaakt om de uitdagingen waar de UvA voor staat in het onderwijs op te pakken. Technologie an sich is geen oplossing, het is de samenwerking waar technologie en onderwijs elkaar ontmoeten die noodzakelijk is om duurzame innovaties te realiseren.

Jan Hein Gooszens nam de aanwezigen mee in de mogelijkheden van Feedbackfruits. Na een korte introductie over Feedbackfruits nam hij het publiek hands on mee in de mogelijkheden van enkele tools in de Feedbackfruits omgeving.

Feedbackfruits is een jonge Nederlandse onderneming (2013) die in korte tijd een behoorlijke naam heeft gemaakt als ontwikkelaar van innovatieve ICT-oplossingen in het onderwijs. Het biedt een innovatie e-learning omgeving die in gebruik is bij de FEB en de FdR. Ook andere faculteiten hebben interesse om experimenten en pilots te starten. Feedbackfruits is een goede aanvulling op de bestaande onderwijsomgevingen en biedt mogelijkheden om te integreren met de huidige leeromgeving Blackboard en de nieuwe leeromgeving Canvas Instructure.

Hun product is geen alternatief voor de grote campusbrede leeromgevingen maar biedt zinvolle uitbreidingen op het bestaande pakket aan functionaliteiten. Het is een exemplarisch voorbeeld van een schil tool in de opzet zoals beschreven in de nieuwe DLO visie van de UvA. Zij spreken over onderwijsplug-ins die elk afzonderlijk naar behoefte kunnen worden ingezet in het onderwijs via de bestaande leeromgeving. De Onderwijsplug-ins die kunnen worden toegepast zijn ( de links geven toegang tot korte instructiefilmpjes):

Corneel den Hartogh (FNWI) en Rik Jager (FdR) gingen in hun presentaties expliciet in op de ervaringen met Feedbackbackfruits in de onderwijspraktijk bij de UvA. Bij de FNWI heeft men ervaring opgedaan met oudere versie van Feedbackfruits. Corneel heeft hierover een aardige blogpost geschreven: Blog Fruitfull Learning Rik (FdR) stond in zijn verhaal stil bij de (on-)mogelijkheden om studenten te verleiden om actief deel te nemen aan het onderwijs door gebruik te maken van de peer feedback mogelijkheden. Daarnaast gaf Rik een inzicht in de samenwerking met Feedbackfruits en gaf het publiek mee dat Feedbackfruits snel inspeelt op wensen en ervaringen uit het veld. Tot slot van de bijeenkomst liet Frank Benneker zien hoe je in de UvA Blackboard omgeving gebruik kan maken van de Feedbackfruits integratie.

Bronnen:

 

 

Studeren in de toekomst

Educause heeft een leuke animatie gepubliceerd over studeren in de toekomst. In dit filmpje zijn curriculum vernieuwing, leren op maat en nieuw technologieën ontwikkelingen in het onderwijs die samen optrekken. Deze visie op de toekomst staat ook stil bij de uitdagingen van privacy en security. Wat het beeld in mijn ogen sterk maakt is dat de menselijke maat en het menselijke oordeelsvermogen een integraal onderdeel dienen te zijn van de nieuwe ontwikkelingen.

Het NMC Horizon 2017 HO trendrapport

Het NMC Horizon 2017 trendrapport voor het Hoger Onderwijs is verschenen.NMC publiceert ism Educause elk jaar verschillende trend rapportages, ook elk jaar één over de ontwikkelingen in het hoger onderwijs.Via deze link: http://cdn.nmc.org/media/2017-nmc-horizon-report-he-EN.pdf  is het rapport van dit jaar in te zien.

Het rapport is opgebouwd rond drie centrale thema’s:

  • Ontwikkelingen die het gebruik en adoptie van technologie in het hoger onderwijs versnellen
  • Uitdagingen die het HO oppakken voor een succesvolle implementatie ICT oplossingen in het HO
  • Technologische trends die komende jaren in het onderwijs een rol gaan spelen.

Elk van de thema’s is opgebouwd uit een drietal perspectieven die de basis thema’s verder in onderwerp en tijd uitwerken.

Op pagina 3 van het rapport worden in een infogram de essentie van de gesignaleerde trends weergegeven. Op pagina 4 en 5 wordt teruggekeken naar de trendrapport vanaf 2012. In de grafiek op deze pagina’s wordt inzichtelijk welke trends over meerdere jaren een rol hebben gespeeld in het HO en welke trends snel kwamen en weer van radar verdwenen.

Voor diegene die wat dieper in de materie willen duiken en lezen hoe het onderzoek en beoordelingen die ten grondslag liggen aan dit rapport is de bijbehorende wiki interessant: http://horizon.wiki.nmc.org/

De Digitale Testkast

bijdrage van Brenda Jansen

Laat studenten oefenen met hetgeen ze later in de praktijk gaan doen! De diagnostiekdocenten bij Klinische Ontwikkelingspsychologie onderschrijven deze overtuiging van constructive alignment van harte.

digitale testkastWat doen klinische ontwikkelingspsychologen dan “later in de praktijk”? Ze kijken o.a. goed naar kinderen en jongeren met leer- en/of gedragsproblemen. Als ze niet direct zien waar de oplossing ligt, wordt er vaak een psychodiagnostisch onderzoek gedaan. Het kind of de jongere maakt testjes, beantwoordt vragen en ook ouders en leerkrachten vullen allerlei vragenlijsten in. Eén van de belangrijkste beslissingen in dit proces is de selectie van die testjes en vragenlijsten. Op een instelling staat vaak een testkast vol tests en vragenlijsten, maar welke test pak je er nu uit? Waar de ene test misschien betrouwbaarder is, sluit de andere bijvoorbeeld beter aan bij wat je wil meten.

Studenten oefenen met deze beslissing door een casus te bestuderen en in een voorstel hun selectie te verantwoorden. Door de Grassroots-subsidie kon ik oud-studente Josanne van den Hoek inhuren. Zij maakte in WordPress een digitale testkast: een website waarop studenten beschrijvingen van tests vinden voor een grote variëteit aan domeinen, met links naar de uitgever van het materiaal. Dit is echter niet het vernieuwende van het project.

Nadat studenten hun voorstel hebben ingeleverd, beoordeelt de docent de selectie. Sommige instrumenten zijn goed gekozen, andere niet. Van de goed gekozen instrumenten vindt de student de testresultaten in de testkast. En hier zit de verbetering van de digitale testkast: voor elke (goede) keuze van de student, zijn testresultaten beschikbaar. Voorheen kreeg de student alleen de testresultaten van een vooraf bepaalde selectie door de docent. Studenten vonden dat frustrerend: ze hadden bewust een keuze gemaakt, maar hun denkproces werd vaak niet beloond omdat de docenten een andere selectie hadden gemaakt.

Met de Grassroots was er geld beschikbaar om een grotere set van testresultaten te maken. Op dit moment wordt dit gedeelte afgerond. Door opnieuw alle testinstrumenten te bekijken, hebben ook de docenten weer een frisse blik op wat er allemaal beschikbaar is: nieuwe instrumenten verschijnen, vertrouwde instrumenten verouderen.

De website “staat” nu, maar het heeft een tijd geduurd voor we konden starten. Het was belangrijk dat de website betaalbaar was, makkelijk bij te houden en beveiligd kon worden zodat alleen studenten van de cursus erbij konden. Het kostte tijd om erachter te komen hoe we dit het beste konden realiseren. Uiteindelijk ben ik uitgekomen bij de afdeling Technische Onderzoeksondersteuning FMG. Het was een omweg, waarbij ik uiteindelijk gewoon in mijn eigen gebouw bij de juiste persoon terecht kwam. Marco Teunisse begreep goed wat ik wilde en regelde de technische voorwaarden snel.

Op dit moment vullen we de digitale testkast met de testresultaten. De kast kan gemakkelijk uitgebreid worden met nieuwe instrumenten. De digitale testkast zal in het eerste semester van jaar 2016-2017 in gebruik worden genomen. Ik ben erg benieuwd naar de ervaringen van de studenten en docenten. Ik hoop dat de digitale testkast inderdaad bijdraagt aan het doel om studenten een meer waarheidsgetrouwe oefening te bieden in testselectie en testverwerking.

Massive Adaptive Interactive Text (MAIT)

bijdrage van: Arnoud Visser (FNWI)

 De belangrijkste tip die we als Grassroot deelnemers krijgen is ‘hou het project klein’. Ik voelde me inderdaad klein toen ik het opiniestuk ‘Life After MOOCs – Online science education needs a new revolution’ las.

mait_pic1Dit opiniestuk heeft namelijk gedeeltelijk dezelfde filosofie als ons project ‘Random Question Generation’. Het online beschikbaar maken van het hoorcollege in een Massive Open Online Course (MOOC) is waardevol, maar voor geavanceerde vakken is de theorie in het boek en de bijbehorende oefeningen minstens zo belangrijk. Bij de exacte vakken is de kennis vaak een labyrint, waarbij kennis voortdurend voortgebouwd wordt op eerdere kennis en één misbegrip aan het begin van de cursus de student volledig de verkeerde kant op kan sturen. Door de theorie en oefeningen online beschikbaar te maken op individuele basis, waarbij de inhoud zich aanpast aan de student, kan men er voor zorg dragen dat een verkeerd begrip gerepareerd kan worden voordat het schade heeft gedaan. De gesuggereerde oplossing heet een Massive Adaptive Interactive Text (MAIT); een online leerboek dat bestaat uit meerdere modulen, waarbij de studenten interactief door de module heen gaan. De modules passen zich hierbij aan aan de student, versnellend of verdiepend aan de hand van de voortgang. De voortgang wordt onder andere gemeten met behulp van gegenereerde, individuele opdrachten, zodat geen student dezelfde opgave krijgt (en dus zelf de oplossing moet vinden, in plaats van de juiste vraag te stellen op internet). Dit laatste is wat wij ook willen doen in ons Grassroot project ‘Random Question Generation’, voor het leerboek Computer Systems – A Programmer Perspective’.

Waarom voelen we ons dan klein? Omdat de auteurs van het opiniestuk, Phillip Compeau en Pavel A. Pevzner, aangeven dat de benodigde inspanning voor een MAIT een factor 50 hoger ligt dan de inspanning nodig voor een MOOC. Om een heel leerboek om te zetten in een MAIT is volgens de auteurs minimaal $1 milloen nodig. Nu hebben we ons Grassroot project klein gehouden en doen we slechts een proefproject om de automatisch gegenereerde, individuele vragen bij één hoofdstuk te maken, toch zet dat onze inspanning in perspectief. Het mooie is natuurlijk wel dat de ervaringen met de MAIT positief zijn; dit soort initiatieven geeft het individuele onderwijs dat een student verwacht van de academische wereld.

Coursera & Qualtrics, een LTI integratie uit de frontlinie

bijdrage van Alexander Savi

De UvA biedt in samenwerking met Coursera een aantal Massive Open Online Courses aan: cursussen die massaal gratis en online gevolgd kunnen worden. Zulk onderwijs heeft een aantal belangrijke beloften. Ten eerste kan er, door de grote aantallen studenten die er gebruik van maken, goed worden onderzocht wat factoren zijn die de leerervaring optimaliseren. Bovendien biedt een digitale leeromgeving de mogelijkheid tot vergaande personalisatie van die leerervaring. Het inlossen van deze beloften blijkt echter verre van triviaal, en met het huidige Grassrootsproject proberen Annemarie Zand Scholten en ik daar dan ook een belangrijke eerste stap in te zetten.

 De eerste fase van die stap is inmiddels voltooid. Deze fase bestond uit het leggen van een formele verbinding tussen de MOOC-leverancier Coursera en de vragenlijst-software van Qualtrics. Deze verbinding is gelegd met behulp van het LTI protocol (Learning Tools Interoperability), waardoor er informatie vanuit Coursera naar Qualtrics gestuurd kan worden. De mogelijkheid om informatie vanuit Qualtrics weer terug te sturen naar Coursera wordt op een later moment misschien nog toegevoegd. De tool die de verbinding mogelijk maakt, inclusief een gebruikersaanwijzing, is vrij beschikbaar op https://github.com/renspoesse/qualtrics_lti_bridge.

 De koppeling tussen Coursera en Qualtrics is een eerste stap richting beide beloften. De Qualtrics omgeving biedt rijke mogelijkheden om extra leermateriaal aan te bieden, zoals tekst, video, en vragen, maar bovenal de mogelijkheid om studenten willekeurig toe te wijzen aan verschillend leermateriaal. De experimentele situatie die hierdoor ontstaat maakt het mogelijk om vast te stellen welk materiaal tot de meeste leerwinst leidt. Doordat er informatie vanuit Coursera kan worden meegestuurd wordt het in principe ook mogelijk om studenten op basis van persoonlijke kenmerken gepersonaliseerd materiaal in Qualtrics aan te bieden. Helaas bieden Coursera en het LTI protocol op dit moment enkel de mogelijkheid om het user-id te versturen, waardoor dit nog niet mogelijk is. Mocht dat in de toekomst veranderen, dan kan de tool eenvoudig worden aangepast zodat personalisatie van het leermateriaal alsnog mogelijk wordt.

In de tweede fase van het project zal de gebruiksaanwijzing verder worden uitgebreid en verspreid, zodat wereldwijd docenten gebruik kunnen maken van de tool. Verder zullen we het terugsturen van informatie van Qualtrics naar Coursera in overweging nemen, en de tool zelf toepassen in een van de MOOCs van Annemarie Zand Scholten. Tot slot bedanken we graag Simon Wiles aan Stanford University, die het fundament van de tool bouwde en vrij beschikbaar stelde, en Rens Poesse aan de Universiteit van Amsterdam die de tool geschikt maakte voor de koppeling met Coursera.

Review de innovation challange bijdragen van SURF

Een leuk en inspirerend initiatief om ideeën van docenten en studenten te realiseren is de innovation challenge van SURF, https://innovationchallenge2015.surf.nl/ , Tot een week geleden konden ideeën worden ingestuurd ondersteund door een leuk filmpje. Het is nu aan SURF community (wij dus) om een oordeel te vormen en reviews te schrijven.
zie:  https://innovationchallenge2015.surf.nl/#/voorstellen.

Een mooi concept en wellicht ook een idee en concept voor de grassroot projecten bij de UvA en HVA om tot een innovatief model van beoordelen en selecteren te komen. Een klein kritiekpuntje, ik heb aardig wat voorstellen en reviews bekeken en de reviews zijn vaak erg juichend. Een iets kritische houding is noodzakelijk om het model te laten werken. Nu zijn er heel veel 5 sterren uitgedeeld.

Tot slot, de serie voorstellen en filmpjes geven weer een mooi overzicht van de ideeënkracht van docenten en studenten en wat er allemaal mogelijk is in het onderwijs. Een nieuwe vorm van blended learning.
Ga dus kijken en schrijf hier en daar een review !!

Oefenmodule Argumentatie-analyse

bijdrage van José Plug & Jean Wagemans

Doel
Deze Grassrootsprojecten zijn gericht op het ontwikkelen van een digitale oefenmodule in het NL voor het eerstejaars vak Argumentatie-analyse, dat onderdeel uitmaakt van de BA Nederlandse Taal en cultuur (NTC) en de BA Taal en communicatie (T&C), en een module in het EN voor het vak Argumentation and Discourse in Science , dat onderdeel uitmaakt van de DUMA Discourse and Argumentation Studies Amsterdam (DASA), de DUMA Tekst en communicatie (T&C) en de MA Nederlandse Taal en cultuur (NTC).
De modules worden ontwikkeld door studenten in het kader van het vak Argumentative practices 2, dat onderdeel uitmaakt van de duale MA Discourse and Argumentation Studies Amsterdam (DASA). De leeropbrengsten voor de BA studenten die met de module gaan oefenen zijn onder andere:

  • er komt extra oefenmateriaal beschikbaar voor het vak
  • de oefenmodule werkt met andersoortig materiaal: zowel geschreven als gesproken oefenmateriaal (webteksten en videofragmenten)
  • het oefenmateriaal ligt dichter bij de argumentatieve praktijk, is zowel realistischer als actueler

De leeropbrengsten voor de MA studenten die de module ontwerpen zijn onder andere:

  • het vertalen van theoretische inzichten naar de praktijk
  • het leren didactiseren van kennis die ze zelf al bezitten
  • het aanpassen van gevonden materiaal aan een digitale module
  • het afstemmen van oefenmateriaal op een specifieke doelgroep

Stappen
Gedurende studiejaar 2014-2015, blok 2, semester 2 hebben studenten van het vak Argumentative practices 2 het digitale oefenmateriaal ontwikkeld.

(1) Ontwikkelfase
Na een startbijeenkomst met een PP presentatie van de opdrachtgevers (José Plug en Jean Wagemans) hebben de studenten in groepjes onder begeleiding van de vakdocent (Ingeborg van der Geest) een eerste versie van de oefenmodule ontworpen. Deze module is vervolgens –  na instructie over de eigenschappen van het gekozen format – in Adapt Learning geplaatst door de externe begeleider ICT van deze Grassrootsprojecten (Myrthe Bil).

(2) Testfase
De Adapt Learning modules zijn getest door een team van docenten op bruikbaarheid en correctheid. In de beoordeling zijn zaken meegenomen als de kwaliteit van de vraagstelling en de antwoorden, het niveau, en de consistentie van de layout.

(3) Gebruiksfase
De modules worden op dit moment aangeboden aan studenten van het BA vak Argumentatie-analyse onder begeleiding van docent Eugen Popa en het MA vak Argumentation and Discourse in Science onder begeleiding van docent Jean Wagemans. Door studenten van beide groepen zullen evaluatieformulieren worden ingevuld die in het vervolgtraject van deze projecten gebruikt zullen worden om het materiaal in de nu uitgevoerde pilot door te ontwikkelen tot een volwaardige digitale oefenmodule.

Resultaat
Het voorlopige resultaat van deze gekoppelde Grassrootsprojecten is een NL en EN digitale oefenmodule Argumentatie-analyse die is onderverdeeld in vier thema’s die behandeld worden bij de colleges. Elk thema heeft een aantal items, bestaande uit een tekstfragment of een videofragment, waarover een aantal vragen worden gesteld. De feedback aan de student is of het antwoord goed of fout is.item4

 

 

 

Reacties
De MA studenten die de module hebben ontwikkeld hebben reflectiedocumenten geschreven waarin zij hun ervaringen hebben weergegeven. Een aantal voorbeelden hieruit:

Student A
“The project was set up to offer students of argumentation and Dutch an opportunity to test and further their knowledge of argumentation. Considering the fact that the comprehension of argumentation requires practice, we all considered the Grassroots Project to be an initiative that is very much welcome.

The project itself was well-managed. Dr. H.J. Plug and dr. J.H.M. Wagemans, the clients, together with Myrthe Bil, the digital developer, regularly chaired meetings in which we could ask them questions. The clients were very helpful in answering any questions regarding hard and soft requirements. In addition, Myrthe Bil was available for important questions regarding practical issues, such as formatting. Because of the openness and overall enthusiasm, expressed by both the students and the clients, we were able to create the best possible content for the development of the adapt learning tool.

The assignments given as mandatory course requirements by drs. I.M. van der Geest for the course ‘Argumentative Practices 2’, not only allowed us to create content for a tool that we knew would be valuable for upcoming students who will get the opportunity to learn about argumentation, it also allowed us, argumentation students, to exercise the knowledge we have acquired during our studies. Finding the most suitable examples of argumentative practices, creating questions based on these examples, and making sure the questions met the requirements proposed by the clients, proved to be a serviceable task for us as well. Each group of students got the opportunity to deepen their knowledge on a particular strand within argumentation. Moreover, by creating content that had to meet the wishes of clients gave us a taste of what it is like to work with argumentation, as well as with clients.

Since, we all think that the Grassroots Project is very valuable, and we appreciate everything that the assignments have taught us, I think most students would even be willing to contribute to further projects or the further the development of this particular adapt learning tool, if needed. Personally, I wish more projects like existed, since I truly consider adapt learning to be of vital importance, especially for those academic fields where, besides theoretical knowledge, functional knowledge is of key importance.”

Student B
“Het maken van een digitale leeromgeving was een hoop werk en gaandeweg werd me steeds duidelijker wat het doel was van dit project. Ik merkte dat ik er zelf veel van leerde als ik de stof toegankelijk probeerde te maken voor anderen. Tijdens de rechtvaardiging van de analyse werd je gedwongen om de stof in detail uit te leggen en je in te leven in hoe de stof overkomt op een nieuwe student. Zo werd bij het maken van de vragen ook duidelijk welke denkstappen nodig zijn om tot een juist antwoord te komen op de vraag. Op die manier krijg je zelf een vollediger beeld van hoe inzicht over argumentatie tot stand komt. Ook vond ik het leuk om verschillende soorten fragmenten uit te zoeken die passen bij de interesses van de student en die afwisselend inspirerend en entertainend zijn. Ik hoop dat onze inzet zal leiden tot een beter begrip van de stof en een prikkelende leeromgeving.”

Student C
“Het creëren van de vragen leek een makkelijke opgave –los van het feit dat er veel werk bij zou komen kijken- aangezien wij allemaal masterstudenten zijn met de nodige voorkennis. Het was absoluut niet makkelijk, maar het was in ieder geval een uitdaging. Aan de hand van het motto ‘keep it simple’ hebben wij getracht als groep een zo representatief en relevant mogelijke corpus te maken aan opdrachten die toekomstige argumentatie studenten zullen gaan testen met behulp van de Adapt Learning Module. Ik ben zeer benieuwd hoe het er uit gaat zien in de module.
       Al met al is het een uitdagend project geweest, en een interessante manier om alle theoretische kennis in de praktijk toe te passen. Vanuit dit perspectief is het vak een geweldige opstap geweest naar de stage die vanaf september dit jaar zal gaan beginnen. Behalve de indeling van het programma binnen de master, heb ik genoten van de samenwerking en het maken van de opdrachten. Mijn belangstelling is enigszins gewekt om eventueel later iets soortgelijks te gaan doen; maar dat kan ik uiteraard niet bevestigen.”

Student D
“Betrokken zijn bij de ontwikkeling van het Grassroost Project was een zeer leerzame ervaring, met name door de koppeling van theorie en praktijk. Als argumentatie-experts kregen we de opdracht om digitaal lesmateriaal te ontwikkelen op het gebied van argumentatie-analyse en -evaluatie. Daarvoor gingen we op zoek naar recente geschreven en gesproken teksten, waarbij we vragen opstelden. Hiervoor was een grondige analyse van de fragmenten nodig, met daarbij oog voor didactiek. Dit leek makkelijk, maar bleek een flinke kluif te zijn. Door elkaar fragmenten, analyses en vragen kritisch te bestuderen, werd het lesmateriaal steeds beter. Het leuke aan dit project was dat we echt aan een opdracht werkten voor een klant, die we dus ook geregeld spraken om de doelen en vorderingen te bespreken. En nu wordt het eindproduct daadwerkelijk gebruikt bij eerstejaarsvakken argumentatie-analyse!”

Toekomst
Het voorlopige resultaat van deze gekoppelde Grassrootsprojecten is een NL en EN digitale oefenmodule Argumentatie-analyse met een aantal vragen onderverdeeld in vier thema’s. Er komen nog eindevaluaties van de BA studenten, de aanvragers, de ICT medewerker en de begeleidende docenten. Als deze eindevaluaties net zo positief zijn als de voorlopige evaluaties tot nu toe, zal een nieuwe Grassroots aanvraag worden gedaan om, samen met MA studenten, te komen tot een volwaardige digitale oefenmodule.

Test jezelf

bijdrage van: Jacobijn Sandberg

De eerstejaarsstudenten van de bachelor Informatiekunde bestuderen Informatietheorie aan de hand van een videoreeks van de Khan Academy. De video’s zijn ingebed in de Blackboard site van het introductievak Informatiekunde in Vogelvlucht.

testjezelf afb1
Figuur 1: Screenshot Blackboard

De eerstejaars bekijken de filmpjes en beantwoorden na het bekijken van elk filmpje de “test jezelf” vragen. De stof die behandeld wordt in de filmpjes is tentamenstof en maakt deel uit van het eerste deeltentamen in week 4.

Er worden in het deeltentamen 10 vragen gesteld over de stof uit de filmpjes, net als vorig jaar. Alleen werkten de studenten vorig jaar niet met de “test jezelf” vragen. Onze veronderstelling is dat de “test jezelf” vragen een bijdrage leveren aan het actief bestuderen van de stof en zullen leiden tot een beter tentamenresultaat. Of dat zo is, weten we na het afnemen van de deeltoets. Dan kom ik bij u terug.

testjezelf afb2

Figuur 2: Screenshot “test jezelf” vragen

Reporting back on OWD 2014

This is a report back about at the Onderwijsdagen in specific about Learning Analytics.

I should introduce myself. Alan Berg Co-Chair of the Special Interest Group at SURF for Learning Analytics and member of the Innovation Work Group.

OWD are three days of events organized with the support of SURF (http://www.deonderwijsdagen.nl/), reaching a wide national audience. SURF actively busy in a number of themes and their intersections. Learning Analytics being one theme. The example intersection being the relationship between LA and Open Online Education.

Before discussing one of my domains of interest, let’s point at a few excellent presentations captured on video. In no particular order, these are:


Jason Ohler, has a clear perspective that you almost plan innovative new services around. Sharon Klinkenberg works at UvA and is an expert in his Field. His knowledge and evangelism radiate outwards. Pero de Bruyckere is well researched, humorous and a sanity check on our own perspectives.


With my SIG LA hat and SURF supplied T-shirt on I presented twice:

The first subject was ‘Grand challenges’ voor learning analytics en open en online onderwijs. The presentation description was: In deze sessie vertellen Alan Berg en Robert Schuwer over (een inventarisatie van) de ‘grand challenges’ die er zijn op het snijvlak van learning analytics en open en online onderwijs. In het kader van het door OCW ondersteunde programma Open en online onderwijs gaat SURF de komende maanden een aantal nieuwe activiteiten op dit gebied oppakken. Een van de eerste onderwerpen is de verbinding tussen learning analytics en open en online onderwijs. 

De eerste stap is het in kaart brengen van uitdagingen voor open en online onderwijs waarvoor learning analytics mogelijk oplossingen kan bieden, en van uitdagingen voor learning analytics waarbij vormen van open en online onderwijs voor antwoorden kunnen zorgen. In deze sessie presenteren Alan Berg en Robert Schuwer de eerste resultaten van een brede inventarisatie van deze ‘grand challenges’. Er is gelegenheid voor eerste reacties en aanvullende ideeën. 

I enjoyed the interaction with Robert Schuwer, it is relaxing to share a podium with someone who can pick up questions outside my main area’s of expertise. The room was filled and the audience was active. From the presentation, it was clear that the LA community is more research orientated than the OOO community. Within the LA community the trend is towards operationalization through services, but clearly we are in general behind in the service lifecycle race. It is also clear that the LA community has clearer short term challenges. For example, sorting out the ethics and privacy policies at the national level and how do we benchmark and validate services so that we can be sure of the products relative value to the Educational market.


A plug here for the need for a national decision tree (as suggested by Stefan Mol from UvA), where we can consistently find replies for any ethical, privacy and legal issues as we explore LA services.


The second presentation was Ethics & Privacy issues in the context of Learning Analytics with Maren Scheffel. The presentation description was:

During this session, participants will gain awareness of legal and ethical requirements for Learning Analytics tools and potential solutions. Participants will learn to properly address those requirements when implementing Learning Analytics in education.

The massive production, collection and processing of information from various learning platforms and online environments used have led to ethical and privacy concerns regarding individual and societal harms. Previously these types of concerns have impacted on areas as diverse as computer science, legal studies and surveillance studies. Within the SURF SIG Learning Analytics and the FP7 EU LACE project we conducted a series of workshops about issues and research challenges on ethical and privacy aspects in the emerging field of Learning Analytics. We  had asked for short descriptions of issues faced by Learning Analytics stakehoders. We organized an Ethics & Privacy Expert session with international experts in the field to find proper answers. 

Within this session we will present the initial insights gained and open the floor to the audience to contribute additional aspects from their organisations. For more details on the LACE community visit: http://www.laceproject.eu/lace/. For a report back from one of the workshops review: http://www.laceproject.eu/blog/learning-analytics-dilemmas-ethics-trusting-google-apps-teaching.

Maren, took the main load of presenting and fearlessly stepped into the philosophical shadows and grey area’s of ethics and privacy. +1 for the success of her mission.

The first and foremost lesson from the presentation was that the audience/ crowd (http://en.wikipedia.org/wiki/The_Wisdom_of_Crowds) is wise and should contribute to forming policy. The question therefore is how to make contact and pull further into the feedback process. For the ethics and privacy workshop the results were stored in an Open Book. We should moderate the modification of the open book by the crowd. The book acting as an oracle for policy debate.

The second interrelated theme was the bugger is in the detail. Lot’s of gaps and complexity. No one person can cover all the potential for inconsistency or incorrectness. We need to shine a light in this area with all the stakeholders and balance their needs.


The third theme was that Privacy by design should be a driving principle for any large scale deployments of LA (http://www.privacybydesign.ca/index.php/privacy-policies-enough-need-software-transparency/). One can even argue that this is a conversation that we should widen to our cloud services and the moral responsibilities we have as suggested by the themes behind Privacy laws.


Sadly, I did not have time to view other LA presentations, such as:

  • Blended learning als manier om studiesucces en studierendement te verhogen
  • Aspecten van learning analytics bij een digitale leeromgeving

If you read this and were in the presentation I hope I can motivate you to blog here…

Looking forward to OWD 2015 and seeing how far we LA progressed.