Deze handleiding is deels gebaseerd op het rapport van de Expertgroep protocol (2014) Beoordelen is Mensenwerk. De betrouwbaarheid van de beoordeling van eindwerkstukken kan worden verhoogd door de examinatoren gezamenlijk het beoordelingsmodel te laten verhelderen. Een praktische vorm daarvoor is eindwerkstukken van studenten gezamenlijk te reviewen in een kalibreersessie. Deze handreiking geeft suggesties op welke manier kalibreersessies kunnen worden georganiseerd en geleid. Een kalibreersessie is een gezamenlijke bijeenkomst van examinatoren waarin één of meerdere werkstukken van studenten worden besproken. De sessie wordt geleid door een moderator en de resultaten worden vastgelegd door een notulist. Een sessie duurt meestal 2,5 uur wanneer er één werkstuk wordt besproken, en langer wanneer er meerdere werkstukken aan de orde zijn. Een optimale groepsgrootte is tussen de 6 en 12 deelnemers.
In recent years, disasters are increasing in numbers, location, intensity and impact; they have become more unpredictable due to climate change, raising questions about disaster preparedness and management. Attempts by government entities at limiting the impact of disasters are insufficient, awareness and action are urgently needed at the citizen level to create awareness, develop capacity, facilitate implementation of management plans and to coordinate local action at times of uncertainty. We need a cultural and behavioral change to create resilient citizens, communities, and environments. To develop and maintain new ways of thinking has to start by anticipating long-term bottom-up resilience and collaborations. We propose to develop a serious game on a physical tabletop that allows individuals and communities to work with a moderator and to simulate disasters and individual and collective action in their locality, to mimic real-world scenarios using game mechanics and to train trainers. Two companies–Stratsims, a company specialized in game development, and Society College, an organization that aims to strengthen society, combine their expertise as changemakers. They work with Professor Carola Hein (TU Delft), who has developed knowledge about questions of disaster and rebuilding worldwide and the conditions for meaningful and long-term disaster preparedness. The partners have already reached out to relevant communities in Amsterdam and the Netherlands, including UNUN, a network of Ukrainians in the Netherlands. Jaap de Goede, an experienced strategy simulation expert, will lead outreach activities in diverse communities to train trainers and moderate workshops. This game will be highly relevant for citizens to help grow awareness and capacity for preparing for and coping with disasters in a bottom-up fashion. The toolkit will be available for download and printing open access, and for purchase. The team will offer training and facilitate workshops working with local communities to initiate bottom-up change in policy making and planning.
Het verzamelen, interpreteren en produceren van informatie met multimedia (tekst gecombineerd met afbeeldingen) is een belangrijke vaardigheid die studenten zich eigen moeten maken. Met name in het natuurwetenschappelijk onderwijs, zoals Biologie (de context van dit onderzoek), spelen afbeeldingen en diagrammen een steeds belangrijkere rol. Het gegeven dat studenten meer leren van de combinatie van tekst en afbeeldingen dan van enkel afbeeldingen of enkel tekst, wordt het multimedia-effect genoemd. Waar veel onderzoek zich richt op het multimedia-effect bij leren, is er relatief weinig bekend over de effecten van multimediagebruik in toetsen. Een meta-analyse uit 2019 laat een overall positief effect zien op de nauwkeurigheid van de antwoorden van studenten (response accuracy). Echter, de resultaten van empirische studies lopen onderling sterk uiteen. De invloed van multimedia in toetsitems wordt significant beïnvloed door de functionaliteit van de afbeelding in een toetsitem. Mogelijk dat afbeeldingen in feedback die een student ontvangt na het maken van een item ook invloed hebben op het leereffect van de feedback. Diepgaand onderzoek naar het multimedia-effect in de toetsitems en de feedback kan de validiteit en effectiviteit van toetsen verhogen. Een within-group design waarbij enkel de functionaliteit van de afbeelding wordt onderzocht en andere moderators zo goed mogelijk gelijk worden gehouden ontbreekt tot op heden. Een mogelijk multimedia-effect bij feedback is nog nauwelijks onderzocht. Dit project richt zich op bovenstaande hiaten in de onderzoeksdata om zo te komen tot richtlijnen voor de itemconstructeurs bij multimediagebruik in toetsitems en voor studenten bij het beantwoorden van items. Hiervoor zullen drie experimentele onderzoeken in de context van de lerarenopleiding Biologie opgezet worden. In elke studie zal gevarieerd worden met de functionaliteit van afbeeldingen in de toetsitems en de feedback. De effecten ten aanzien van prestaties en cognitieve belasting worden gemeten met eye-tracking, toetsen en thinking aloud protocollen.
Deliberatie is een krachtige vorm van burgerparticipatie waarin verschillende partijen (bijvoorbeeld overheid en burgers) de dialoog aangaan om tot gezamenlijke inzichten te komen. De afgelopen jaren zijn door de coronapandemie deliberaties naar de online omgeving verplaatst, waardoor verschillende voordelen zichtbaar werden (zoals bredere toegankelijkheid en mogelijkheden tot asynchrone discussies via chat). De beperkt beschikbare online gereedschappen zorgde echter voor een beperking in de diepte die tijdens deze sessies werd gezocht. Het RAAK-Publiek project ‘Publieke Dialogen’ bood de mogelijkheid tot ontwikkeling van een online deliberatieplatform dat deze voordelen benut en de nadelen minimaliseert. Binnen online deliberatie bestaan er echter gebruikersbehoeften waar niet eenvoudig in kan worden voorzien, bijvoorbeeld een beter inzicht in de verdeling van spreektijd tussen participanten, of de emotionele houding van participanten. In de afgelopen jaren heeft de ontwikkeling van kunstmatige intelligentie (AI) grote stappen gezet in zowel kwaliteit als toegankelijkheid. Intelligente taalsystemen bieden gebruikers toegang tot geavanceerde automatische vertaling, stemassistenten ter besturing van telefoon en huis, of systemen die op aanvraag teksten produceren en redigeren. Deze technologie biedt unieke kansen om meer inzicht te krijgen in het deliberatieve proces en deze beter te ondersteunen, maar is nooit eerder op deze manier ingezet. Dit project zal in kaart brengen wat de behoeften zijn van praktijkexperts met betrekking tot kunstmatige intelligentieondersteuning in online deliberatie en op basis van gegenereerde data inzicht bieden in de praktische mogelijkheden. Dit kan enkel in hechte samenwerking tussen de ontwikkelaars van het platform (De Haagse Hogeschool), praktijkexperts (EMMA en gemeenten) en onderzoekers van kunstmatige intelligentie (Technische Universiteit Delft). Dit vindt plaats door het uitvoeren van echte deliberaties middels het platform Publieke Dialogen, de ervaringen van de moderatoren met het platform in kaart te brengen en de verzamelde data te analyseren.
