Waarom portfolio's voor beoordelingen niet volstaan
Er was en is nog steeds veel discussie over onderwijsvernieuwing. Maar over het gebruik van portfolio's, al wat langer in gebruik en kennelijk weinig omstreden, hoor je weinig. Waarom eigenlijk niet? Fontysdocent Marc Mussaeus vindt dat daar ook wel eens over nagedacht mag worden en schreef er onderstaande opinie over.
Stel je voor: je stapt in de auto voor je rijexamen. De examinator stapt in, glimlacht vriendelijk en zegt: "Geen zorgen, vandaag hoef je niet te rijden. Ik hoef alleen je portfolio te zien." Bizar? Zeker! Maar waarom eigenlijk? Waarom zouden we een portfolio – volgens Van Berkel* een verzameling van onderwijsproducten waarmee een student kan aantonen de competenties van een opleiding te beheersen – niet accepteren als een onderdeel voor het behalen van een rijbewijs, of ingenieursdiploma?
Veel onderzoeken plaatsen portfolio's tegenover schriftelijke toetsen, en tonen wisselende resultaten. In dit opinieartikel ga ik in op de valkuilen van portfoliobeoordeling in de context van ingenieursdiploma’s. We bekijken waarom dit beoordelingsinstrument geen recht doet aan de volledige set van vaardigheden die ingenieurs nodig hebben. We illustreren dit met het rijexamen, waar een completere beoordeling cruciaal is voor de veiligheid in het verkeer.
De ‘Cherry Picking’-Valkuil
Als we het rijexamen willen afnemen aan de hand van een portfolio, dan beoordelen we vooral de video's van geslaagde pogingen. Kan de kandidaat fileparkeren? Gaat het goed op de rotonde? Beelden van gemiste afslagen of onverwachte manoeuvres in de spits komen we doorgaans niet tegen. Is die kandidaat dan echt een veilige chauffeur, of is hij gewoon een kei in het filteren van de perfecte momenten?
Het Eerlijkheidsdilemma
In een poging voorgaande punt te ondervangen wordt ook vaak voorgeschreven om in portfolio’s variatie op te nemen (de ‘V’ in de zogenaamde VRAAK-criteria), inclusief eventuele mislukkingen, en ook feedback en reflecties. Toch blijven écht kritieke punten, zoals bijna-ongelukken, uiteraard verborgen. Het is begrijpelijk dat kandidaten deze punten niet benoemen, als hun rijbewijs of diploma erdoor in gevaar kan komen.
Het Blinde Vlekken Probleem
We beoordelen kunstenaars op hun piekprestaties, zoals Rembrandts "Nachtwacht". Voor chauffeurs en ingenieurs is vanwege de inherente veiligheidsrisico's een beoordeling van hun volledige competentiesprectrum vereist, met speciale aandacht voor de zwakke punten. De problemen van Philips' slaapapneu-apparaten en de Boeing 737 Max-toestellen illustreren dit, maar hetzelfde principe is ook op kleinere schaal van toepassing: de werking van een systeem wordt immers altijd bepaald door zijn zwakste schakel. Blinde vlekken zijn daarbij inherent aan menselijke competenties, en dus is het onmogelijk te verwachten dat kandidaten deze in hun portfolio’s en reflecties kunnen verwerken.
Proeve
Hoewel is onderzocht en aangetoond dat portfolio’s in vergelijking met schriftelijke toetsen de creativiteit, motivatie en reflectie kunnen stimuleren, missen ze voor rijbewijzen en ingenieursdiploma’s dus betrouwbaarheid omdat ze afhangen van de selectieve keuzes van de kandidaten. En portfolio's schieten tekort in validiteit doordat ze niet in staat zijn om blinde vlekken in kaart te brengen.
In tegenstelling hiermee leggen Fontys Engineering studenten een grondige proeve van bekwaamheid af via een volledig afstudeerproject in het werkveld, inclusief verslag en zitting, gericht op het leveren van een concrete bijdrage aan de oplossing van een echt technisch probleem in de samenleving.
Een belangrijke kanttekening daarbij is dat verslaglegging een cruciaal onderdeel is van het werk van een ingenieur. Daarom leren studenten bij Fontys Engineering hoe ze hun denkprocessen transparant kunnen maken in hun verslagen om zo hun opgedane kennis te kunnen overdragen. Bedrijven die het belang hiervan niet inzien, blijven steken in herhaalde fouten. Dit fenomeen staat in het Engels bekend als 'Organizational Forgetting'.
Opvolgers
Onze studenten schrijven hun verslagen dus niet voor de opleiding, maar voor hun opvolgers. Het doel is namelijk dat de samenleving gaat profiteren van hun resultaten. Dit gebeurt alleen als de opvolgers genoeg informatie hebben om het werk te kunnen oppakken. Alle eisen die we stellen aan de verslagen zijn hierop gericht. We moedigen zelfs het gebruik van AI aan om dit te bevorderen. In tegenstelling tot bij het samenstellen van portfolio's, worden studenten op deze manier niet extra aan het werk gezet. Het gevolg is een nog positievere impact op motivatie dan portfolio’s.
Ons doel is om ingenieurs op te leiden die constant presteren onder alle omstandigheden, net zoals we verwachten dat een door onze ingenieurs ontwikkeld remsysteem altijd functioneert, niet slechts af en toe. Gelukkig is de afstudeerbeoordeling bij Fontys Engineering betrouwbaar, valide en bevordert deze de motivatie. Zo zijn we zeker dat onze aankomende ingenieurs klaar zijn voor hun verantwoordelijkheden. Laten we daar trots op zijn, en tegelijk het proces steeds blijven verbeteren. Oh ja, en ook het CBR is dus beter af zonder portfoliobeoordelingen.
Marc Mussaeus is docent bij Fontys Automotive Engineering.
*Voor de hier gebruikte definitie van portfolio’s als beoordelingsinstrument zie pagina 247 van: Berkel van, H., Bax, A., & Joosten-ten Brinke, D. (2017). Toetsen in het hoger onderwijs (4e herz. druk). Bohn Stafleu van Loghum. DOI 10.1007/978-90-368-1679-3
De afbeelding bij dit artikel is met AI gegenereerd en heeft als broncode DALL·E 2024-02-21 14.02.21.
Waar we elkaar denk ik in vinden is dat de finale proeve van bekwaamheid moet worden afgelegd. een afstudeeropdracht in een praktijkcontext.
Maar begrijp ik het goed dat je de impliciete aanname maakt dat schriftelijk toetsen een beter instrument is voor het beoordelen van competentieontwikkeling? Dat is wel een verrassend standpunt. Toetsen, mits goed geïmplementeerd, kunnen heel betrouwbaar zijn maar juist op het gebied van validiteit zit een probleem. Om maar eens mee te gaan met je metafoor: een student die slaagt voor de schriftelijke toets schakelen versnellen en remmen, de schriftelijke toets verkeersregels, de schriftelijke toets verkeersvaardigheid enzovoorts durf jij te beoordelen als competent? Een portfolio, mits opgebouwd rond authentieke leersituaties, zal daar toch veel hoger scoren op validiteit.
De crux zit hem in die authentieke leersituaties, die representatief zijn voor de latere beroepspraktijk. Dus ja je kunt het heel slecht implementeren en dan zeggen dat het instrument niet werkt.
Je argument over blinde vlekken snijdt weinig hout. Een student haalt een schriftelijk tentamen met een 5,6. Welke 4,4 uit 10 zijn op het moment van toetsen al een blinde vlek? En een jaar later? dit is echt schijnzekerheid. En juist in een portfolio gebouwd op authentieke opdrachten zullen blinde vlekken eerder zichtbaar worden. Een student met dédain voor zijn eindgebruiker, veiligheid, validiteit van ontwerpkeuzes zal hier juist in een portfolio met longitudinale toetsing mee geconfronteerd worden. Ik weet wel wie ik liever een slaapapneu apparaat laat ontwerpen, bij welke buschauffeur ik liever in de auto stap.
Het is jammer dat iedere keer dat het over onderwijsvernieuwing gaat mensen er eerst een karikatuur van maken (bijv een portfolio wordt gevuld met cherry picking items) en dan vervolgens die 'nieuwlichterij' afserveren.
Wat zou het opleveren als we een open, nieuwsgierige dialoog aan zouden gaan? Wat kan bereikt worden met authentieke opdrachten, war knelt, het, welke kennisbasis kun je beter geprogrammeerd leggen? Wat is echt nodig in de beroepspraktijk? En wat moeten we daar dan voor doen?
Wat mij betreft mag reflecteren en het vullen van portfolio’s beperkt blijven tot de volgende set essentiële vragen aan het einde van een vak:
- Wat durf je nu wat je eerder niet durfde?
- Wat kun je nu dan je eerder nog niet kon?
- Wat is het belangrijkste wat je over jezelf geleerd hebt?
- Waar wil, denk, hoop je dat de inhoud van dit vak later terugkomt in jouw studie- en professionele loopbaan?
En dat het antwoord op deze vragen niet je beoordeling bepaalt.
helemaal eens. En bedankt voor de lijst met reflectievragen! Die kunnen wij meenemen als we het hebben over de verdere integratie van reflectie in ons proces.
Tenzij je, zoals Alexander onderaan al schrijft, zo goed als ALTIJD met de student mee kunt kijken.
Mijn ervaring na 10 jaar als HBO docent is dat werken met portfolio's in de meeste gevallen meer tijd kost en minder oplevert. De uitzondering geldt voor top studenten, omdat je daarbij minder tijd kwijt bent met aanleren van vaardigheden en dus relatief meer tijd hebt om te kijken naar gemaakte keuzes.
Een andere ervaring die ik heb (van mezelf en uit gesprekken met collega's, studenten en oud-studenten): portfolio's zijn documenten die zij niet willen schrijven en ik niet wil lezen. Het is voor beide partijen namelijk nogal saai en het houdt ons beide van het primaire proces af (student: vakman/vrouw worden, docent: knepen van het vak overbrengen).
Bedankt voor de toevoeging! Het belang van leren van fouten en dit professioneel documenteren, zoals in de verslagen voor opvolgers, is duidelijk. Reflecteren op fouten en het integreren van feedback is een essentiële professionele vaardigheid.
Je hebt gelijk dat we bij Fontys Engineering kunnen profiteren van het kijken naar hoe andere opleidingen dit aanpakken. Dit kan ons helpen onze methodes verder te verbeteren. Misschien is het een goed moment om een dialoog te starten met collega's van verschillende instituten en te zien hoe we van elkaar kunnen leren en onze methoden kunnen verrijken. Ik hoor graag jouw gedachten hierover. Ik zal je ook een mail sturen met deze vraag.
Bedankt voor je reactie en het benadrukken van het belang van longitudinale toetsing! Ik ben het met je eens dat een portfolio, mits goed gebruikt, inderdaad een rijke bron van informatie kan bieden over de groei en het leerproces van een student, inclusief uitdagingen en hoe deze zijn overwonnen.
Mijn bedenkingen bij portfolio's liggen eigenlijk minder bij het concept zelf of de inherente waarde ervan; het draait meer om hoe praktisch en betrouwbaar ze zijn, wat sterk afhangt van de context. Kijk bijvoorbeeld naar rijexamens of het beoordelen van essentiële veiligheidsvaardigheden. Hierbij kijken we niet alleen naar iemands groei, maar vooral of iemand nu de juiste competenties heeft om veilig te handelen. We focussen niet alleen op de piekmomenten, zoals je misschien bij kunstenaars zou doen, maar we kijken juist naar de zwakke plekken. Deze kunnen namelijk bepalen of iemand veilig kan rijden of een ongeluk veroorzaakt. Ik maak me zorgen dat een portfolio misschien niet alle noodzakelijke praktische vaardigheden en zwakke plekken laat zien. Tenzij we een enorme hoeveel van eisen gaan stellen aan de portfolio's, die de hele werkwijze dan onpraktisch kunnen maken. Veel klachten van studenten én docenten over portfolio's gaan hierover. Praktijkexamens hebben zich in dit opzicht bewezen: ze testen kandidaten in realistische situaties binnen een kort tijdsbestek, waarbij zowel sterke als zwakke punten direct aan het licht komen. Dat willen wij bij Fontys Engineering ook.
Dus, hoewel we echt het nut inzien van longitudinaal toetsen, denken we dat we meer moeten inzetten op het verbeteren van wat we al doen, namelijk het versterken van de directe praktijkervaring en begeleiding. Om onze begeleiding naar een hoger niveau te tillen, geloof ik dat we nog veel kunnen leren van de aanpak bij andere instituten. Zij hebben methodes die we misschien kunnen integreren in ons systeem, zonder meteen naar portfolio's te hoeven grijpen. Hoe kijk jij hier tegenaan?
Als je echter, zoals bij rijlessen, regelmatig hebt meegekeken met een student (beginnend bestuurder), en de fouten en mislukkingen van dichtbij hebt meegemaakt, daar feedback (ingrepen en uitleg) op hebt gegeven en gezien dat de student zich heeft verbeterd, dan zijn alle valkuilen in een keer weg. Je kunt zelfs aanwijzingen geven over zaken die ontbreken in het portfolio (extra lesje over achteruit inparkeren).
Op basis van zo'n portfolio, dat voorzien is van gevalideerde feedback en waarvan de groei is gevolgd, zou ik best een rijbewijs durven afgeven.
Bedankt voor je gedachten! En fijn dat je mee wilt gaan met de metafoor. Ik snap wat je zegt over de mechanismen om portfolio-beoordelingen meer valide en betrouwbaar te maken door naar het gehele proces te kijken. Maar in het geval van rijexamens, zien we mijns inziens toch problemen. Portfolio's beoordelen kost veel tijd en geld, zowel voor de kandidaat als voor de examinator. Als we extra zouden willen investeren in rijexamens, waarom dan niet kiezen voor extra tests onder verschillende omstandigheden, zoals overdag en ’s avonds bijvoorbeeld? Is dit niet een effectievere manier om rijvaardigheid te testen zonder de extra last en kosten van portfolio's?
Bij Fontys engineering gebruiken we voor het afstudeerproces geen portfolio’s. Alle andere punten die je noemt doen wij echter ook: regelmatig meekijken, fouten en mislukkingen van dichtbij meemaken, daar feedback op geven, zien dat de student zich heeft verbeterd, en aanwijzingen geven over zaken die ontbreken. Daarbij hoeven onze studenten geen portfolio samen te stellen, en hoeven onze docenten deze ook niet na te kijken.
Fontys Engineering laat afstudeerstudenten werken aan vraagstukken van bedrijven en projecten in de Brainport regio. De studenten leggen hun resultaten vast in engineering rapporten, die ze doorgeven aan hun opvolgers. Dat zijn andere studenten of professionals. De opvolgers hebben de rapporten nodig om de resultaten verder om te kunnen zetten in maatschappelijke waarde. Zo dragen onze studenten bij aan de regio en de samenleving. Deze aanpak leert ze veel, verbindt ze met de arbeidsmarkt en laat ze de problematiek begrijpen die daar speelt.
Wij denken dat een beoordeling op basis van portfolio's deze aanpak kan verstoren. Studenten kunnen dan meer bezig zijn met het halen van criteria voor hun portfolio dan met het vinden van innovatieve oplossingen in hun projecten. In het uiterste geval kunnen ze zelfs de verkeerde gereedschappen kiezen – namelijk voor hun portfolio in plaats van voor hun project. En zoals gezegd kost het maken en nakijken van een portfolio vaak veel tijd, die studenten en docenten beter kunnen besteden aan het project zelf of het leerproces. We zijn bang dat die extra tijd de motivatie van studenten én docenten kan verlagen.
Daarom denken wij dus dat Fontys Engineering zijn huidige aanpak moet behouden. Deze aanpak bereidt studenten voor op de arbeidsmarkt door ze direct in de praktijk te laten leren en ze te toetsen. De aanpak kan echter nog verbeterd worden, bijvoorbeeld door meer en betere begeleiding te bieden. In mijn samenwerking met Fontys ICT heb ik gezien dat we op dat punt nog veel van jullie kunnen leren.
Je gaat wat mij betreft in je reactie op het rijbewijs op 2 punten net even wat te kort door de bocht (pun intended).
Portfolio
Er zit wel een belangrijk verschil tussen het "portfolio" van een rijbewijs en het "portfolio" wat in het HBO gebruikt wordt:
Bij het halen van je rijbewijs is het niet zo dat er REGELMATIG meegekeken wordt, maar ALTIJD. Er zit bij ELKE actie van de student een instructeur bij, die ook op ELK moment in kan grijpen en in ZAL grijpen als dit nodig is. Dit gaat zelfs door tot het rijexamen, waar ook een ingreep kan plaatsvinden.
Dus als we in het onderwijs ook met alles wat de student doet meekijken en in kunnen grijpen, ja dan kun je het punt maken dat je op het gebied van het portfolio het papiertje zou kunnen geven. Dit is echter praktisch onbetaalbaar, aangezien je dan een student-docent ratio van 1:1 moet hebben. Als je echter niet altijd meekijkt, dan kan er altijd iets doorheen glippen, meestal is dit niet erg, maar dit kan wel iets fundamenteels zijn. We weten dat niet, domweg omdat we niet alles gezien hebben. En dat brengt me bij punt 2.
Proeve van bekwaamheid
In het rij-examen kun je alle belangrijkste eigenschappen van een rijbewijs-waardig chauffeur nog een keer de revue laten passeren, je weet zeker dat de basis er goed inzit. Daarnaast speelt er bij het rij-examen vaak een extra spanning mee, die bij rijlessen minder is: Je moet NU in dit examen laten zien dat je voldoende wagenbeheersing, regelbeheersing en inzicht hebt om veilig in het verkeer deel te nemen. Juist die extra factor stress, is in dit geval nuttig. Uit eigen ervaring (helaas) kan ik zeggen dat die stress ook optreed als het mis dreigt te gaan of misgaat, dan moet je volledig op automatismen het goede doen, het reptielenbrein grijpt in. Dit simuleren middels een rij-examen waar extra stress op zit vind ik in dit geval juist een pre.