This research investigates the potential and challenges of using artificial intelligence, specifically the ChatGPT-4 model developed by OpenAI, in grading and providing feedback in an educational setting. By comparing the grading of a human lecturer and ChatGPT-4 in an experiment with 105 students, our study found a strong positive correlation between the scores given by both, despite some mismatches. In addition, we observed that ChatGPT-4's feedback was effectively personalized and understandable for students, contributing to their learning experience. While our findings suggest that AI technologies like ChatGPT-4 can significantly speed up the grading process and enhance feedback provision, the implementation of these systems should be thoughtfully considered. With further research and development, AI can potentially become a valuable tool to support teaching and learning in education. https://saiconference.com/FICC
This exploration with ChatGPT underscores two vital lessons for human rights law education. First, the importance of reflective and critical prompting techniques that challenge it to critique its responses. Second, the potential of customizing AI tools like ChatGPT, incorporating diverse scholarly perspectives to foster a more inclusive and comprehensive understanding of human rights. It also shows the promise of using collaborative approaches to build tools that help create pluriversal approaches to the study of human rights law.
MULTIFILE
Dit onderzoeksproject is ontstaan als reactie op de lancering van AI-tools zoals ChatGPT en DAL-E, die zowel positieve reacties als zorgwekkende vragen oproepen in de samenleving, met name binnen de ontwerpwereld door de ontwerpprofessionals. Het lectoraat Industrial Design, gericht op productontwikkeling, plaatst het ontwerpproces centraal en streeft ernaar te begrijpen hoe AI-tools kunnen worden ingezet om complexe ontwerpvraagstukken aan te pakken. De centrale onderzoeksvraag is drieledig. Eerst wordt exploratief onderzoek gedaan naar bestaande AI-tools, gekoppeld aan lastige, saaie of langdurige taken in het ontwerpproces. Ten tweede wordt het ontwerpproces geanalyseerd om een visie te ontwikkelen op hoe AI-tools een positieve impact kunnen hebben en aan welke eisen ze moeten voldoen. Tot slot wordt een negatieve impact analyse uitgevoerd om potentiële nadelen te identificeren. Het project wordt gedreven door praktijkvragen van ontwerpbureaus (Dynteq, D’Andrea&Evers, 100%FAT) en RenderAI - een AI-toolontwikkelaar. RenderAI wil gerichte feedback op hun producten en inzicht krijgen in de waarde van AI binnen specifieke ontwerpstappen. De overkoepelende onderzoeksvraag luidt: "Hoe kunnen de voordelen van AI-tools gekoppeld worden aan de uitdagingen binnen het ontwerpproces?" De drie werkpakketten zijn gestructureerd rond inventarisatie en identificatie van het ontwerpproces, experimenteren en evaluatie van bestaande AI-tools en het samenvoegen van resultaten in een toolbox met een bijbehorende workshop. Het project sluit af met het formuleren van een toekomstvisie op basis van ervaringen en gesprekken met AI-experts, inclusief een negatieve impact analyse. De onderzoeksvraag draagt bij aan zowel de praktijkvragen van RenderAI als die van de ontwerpbureaus, met als verwacht resultaat concrete verbeteringen van AI-tools en praktische richtlijnen voor effectief gebruik binnen het ontwerpwerkveld.
Overheidsinformatie, zoals teksten op websites en in brieven van de overheid, is moeilijk te begrijpen voor een grote groep mensen. Overheidscommunicatie moet dus eenvoudiger en beter aansluiten bij de leefwereld van mensen, maar verschillende richtlijnen en programma’s met dit doel zijn onvoldoende effectief. Ambtenaren geven aan te worstelen met de vraag hoe dit te realiseren. Het is lastig om eenvoudig te schrijven of te berichten over complexe onderwerpen. Temeer omdat verschillende doelgroepen verschillende taalbehoeften hebben. Dit maakt eenvoudig schrijven een tijds- en arbeidsintensief proces, waarbij externe blikken onontbeerlijk zijn. De opkomst van AI voor taalverwerking zoals ChatGPT lijkt uitkomst te bieden. Deze taalmodellen kunnen teksten automatisch herschrijven en vereenvoudigen. Er zijn echter ook zorgen over de inzet van AI voor overheidscommunicatie, want de werking van taalmodellen is niet transparant, privacy is veelal niet gewaarborgd en behoud van betekenis in een vereenvoudigde tekst is niet gegarandeerd. Doel van dit project is om overheden te ondersteunen bij het verantwoord inzetten van AI, teneinde hun communicatie te vereenvoudigen en beter te laten aansluiten bij de beleving van burgers. Hiertoe ontwikkelen we criteria waaraan AI moet voldoen zodat het verantwoord kan worden gebruikt en maten waarmee kan worden vastgesteld of een AI-oplossing aan deze criteria voldoet. Met behulp van de criteria ontwikkelen we prototypes van AI-toepassingen voor taalvereenvoudiging. Dit gebeurt aan hand van twee praktijkcasussen bij overheden. De ontwikkeling van de criteria en prototypes wordt in co-creatie uitgevoerd met een Research-through-Design aanpak met meerdere iteraties van informatie verzamelen, analyseren, prototypen en evalueren.
Foundation models zijn een nieuw type AI-modellen die leren van grote hoeveelheden data, en die daarna relatief eenvoudig getraind kunnen worden voor het verrichten van een specifieke taak. Organisaties kunnen dit trainen zelf doen met behulp van eigen data. Ook kunnen ze gebruik maken van generieke modellen die zijn gebaseerd op foundation models, zoals het in november 2022 uitgebrachte ChatGPT van OpenAI. De wetenschappelijke wereld, onderzoeksgroepen bij Big Tech-bedrijven en publieke en private organisaties zien grote waarde in foundation models voor tal van domeinen. De mediawereld bijvoorbeeld ziet veel potentie voor het creëren en modereren van content. Mediaorganisaties zien wel grote uitdagingen bij het inzetten van foundation models: van een gebrek aan technische kennis tot het ontbreken van duidelijke kosten-baten analyses en werkende businessmodellen. Ook hebben ze zorgen over de betrouwbaarheid en toekomstige beschikbaarheid van foundation models die door Big Tech-bedrijven zijn getraind. Daarom zijn organisaties nog zoekende naar de waarde die foundation models in de praktijk daadwerkelijk voor ze kunnen hebben. Samen met drie mediaorganisaties (ANP, NOS en Triple8) en ICT-coöperatie SURF onderzoeken we in dit project welke afwegingen organisaties moeten maken bij het inzetten van foundation models. Het in kaart brengen van deze afwegingen is een eerste stap in het vinden van manieren om de kracht van deze modellen effectief in te zetten in organisaties. Welke technologische oplossingen zijn er bijvoorbeeld om het inzetten van foundation models te vergemakkelijken of samenwerking tussen organisaties te bevorderen? En kunnen initiatieven vanuit de maatschappij of overheid een rol spelen bij het democratiseren van deze technologie, zodat de Nederlandse creatieve sector in mindere mate afhankelijk wordt van Amerikaanse Big Tech-bedrijven? Aan de hand van afwegingen die de organisaties maken, ontwikkelen we een handreiking voor organisaties in de creatieve sector en stellen we foundation models voor een breder publiek beschikbaar.
