Service of SURF
© 2025 SURF
In flexible education, recommender systems that support course selection, are considered a viable means to help students in making informed course selections, especially where curricula offer greater flexibility. However, these recommender systems present both potential benefits and looming risks, such as overdependence on technology, biased recommendations, and privacy issues. User control mechanisms in recommender interfaces (or algorithmic affordances) might offer options to address those risks, but they have not been systematically studied yet. This paper presents the outcomes of a design session conducted during the INTERACT23 workshop on Algorithmic Affordances in Recommender Interfaces. This design session yielded insights in how the design of an interface, and specifically the algorithmic affordances in these interfaces, may address the ethical risks and dilemmas of using a recommender in such an impactful context by potentially vulnerable users. Through design and reflection, we discovered a host of design ideas for the interface of a flexible education interface, that can serve as conversation starters for practitioners implementing flexible education. More research is needed to explore these design directions and to gain insights on how they can help to approximate more ethically operating recommender systems.
LINK
This exploratory study investigates the rationale behind categorizing algorithmic controls, or algorithmic affordances, in the graphical user interfaces (GUIs) of recommender systems. Seven professionals from industry and academia took part in an open card sorting activity to analyze 45 cards with examples of algorithmic affordances in recommender systems’ GUIs. Their objective was to identify potential design patterns including features on which to base these patterns. Analyzing the group discussions revealed distinct thought processes and defining factors for design patterns that were shared by academic and industry partners. While the discussions were promising, they also demonstrated a varying degree of alignment between industry and academia when it came to labelling the identified categories. Since this workshop is part of the preparation for creating a design pattern library of algorithmic affordances, and since the library aims to be useful for both industry and research partners, further research into design patterns of algorithmic affordances, particularly in terms of labelling and description, is required in order to establish categories that resonate with all relevant parties
LINK
Algorithmic affordances are defined as user interaction mechanisms that allow users tangible control over AI algorithms, such as recommender systems. Designing such algorithmic affordances, including assessing their impact, is not straightforward and practitioners state that they lack resources to design adequately for interfaces of AI systems. This could be amended by creating a comprehensive pattern library of algorithmic affordances. This library should provide easy access to patterns, supported by live examples and research on their experiential impact and limitations of use. The Algorithmic Affordances in Recommender Interfaces workshop aimed to address key challenges related to building such a pattern library, including pattern identification features, a framework for systematic impact evaluation, and understanding the interaction between algorithmic affordances and their context of use, especially in education or with users with a low algorithmic literacy. Preliminary solutions were proposed for these challenges.
LINK
De maatschappelijke discussies over de invloed van AI op ons leven tieren welig. De terugkerende vraag is of AI-toepassingen – en dan vooral recommendersystemen – een dreiging of een redding zijn. De impact van het kiezen van een film voor vanavond, met behulp van Netflix' recommendersysteem, is nog beperkt. De impact van datingsites, navigatiesystemen en sociale media – allemaal systemen die met algoritmes informatie filteren of keuzes aanraden – is al groter. De impact van recommendersystemen in bijvoorbeeld de zorg, bij werving en selectie, fraudedetectie, en beoordelingen van hypotheekaanvragen is enorm, zowel op individueel als op maatschappelijk niveau. Het is daarom urgent dat juist recommendersystemen volgens de waarden van Responsible AI ontworpen worden: veilig, eerlijk, betrouwbaar, inclusief, transparant en controleerbaar.Om op een goede manier Responsible AI te ontwerpen moeten technische, contextuele én interactievraagstukken worden opgelost. Op het technische en maatschappelijke niveau is al veel vooruitgang geboekt, respectievelijk door onderzoek naar algoritmen die waarden als inclusiviteit in hun berekening meenemen, en door de ontwikkeling van wettelijke kaders. Over implementatie op interactieniveau bestaat daarentegen nog weinig concrete kennis. Bekend is dat gebruikers die interactiemogelijkheden hebben om een algoritme bij te sturen of aan te vullen, meer transparantie en betrouwbaarheid ervaren. Echter, slecht ontworpen interactiemogelijkheden, of een mismatch tussen interactie en context kosten juist tijd, veroorzaken mentale overbelasting, frustratie, en een gevoel van incompetentie. Ze verhullen eerder dan dat ze tot transparantie leiden.Het ontbreekt ontwerpers van interfaces (UX/UI designers) aan systematische concrete kennis over deze interactiemogelijkheden, hun toepasbaarheid, en de ethische grenzen. Dat beperkt hun mogelijkheid om op interactieniveau aan Responsible AI bij te dragen. Ze willen daarom graag een pattern library van interactiemogelijkheden, geannoteerd met onderzoek over de werking en inzetbaarheid. Dit bestaat nu niet en met dit project willen we een substantiële bijdrage leveren aan de ontwikkeling ervan.
Journalisten die veel interactie met hun publiek hebben (zoals consumentenprogramma’s) ontvangen via diverse, vaak besloten, kanalen (Facebook Messenger, WhatsApp, e-mail, fora) een grote stroom tips en/of berichten. Radio Dabanga, bijvoorbeeld, een op Soedan gericht radiostation in Amsterdam en ook een redactie met veel publieksinteractie, krijgt alleen al via WhatsApp 500-3000 berichten per dag. Met een redactie van twee mensen kan niet alles gelezen worden. Maar zelfs als dat kon, dan kan nog niet alles geverifieerd. Het gevolg is dat berichten gemist worden, dat Dabanga-journalisten vooral zoeken naar hun al bekende afzenders, en dat zij permanent het gevoel hebben belangrijke informatie te missen, waardoor zij hun contacten tekort te doen. Dit consortium onderzoekt of data science technieken hierbij kunnen helpen. Natural language processing technieken kunnen helpen de berichtenstroom beter te structureren waardoor tips over laag-frequente onderwerpen niet over het hoofd gezien worden. Recommender systemen kunnen ingezet worden om een betrouwbaarheidsindex te ontwerpen voor tot nog toe onbekende afzenders. Het resultaat is dan minder ondergesneeuwde tips en minder ondergesneeuwde afzenders. De uitkomsten worden getest met journalistenpanels. Bij goede resultaten uit bovenstaande onderzoeken, bouwt het consortium een prototype van de Berichtentemmer: een tool die helpt berichten uit diverse kanalen per onderwerp te structureren. Daardoor kunnen journalisten hun netwerken beter en efficiënter benutten. Bij het bouwen van deze tool hoort ook dat de gebruikte algoritmen transparant moeten zijn voor de journalist en de presentatie van de resultaten niet sturend mag zijn. Het consortium bestaat daarom uit een ‘Data science’-projectgroep voor het ontwerpen en testen van de algoritmen, en uit een ‘Ethiek & design’-projectgroep voor het ontwerpen van richtlijnen over transparantie van de algoritmen en de datavisualisatie. Tenslotte is er een ontwikkelgroep bestaande uit een combinatie van studenten en professional developers. Zij bouwen het prototype.
De maatschappelijke discussies over de invloed van AI op ons leven tieren welig. De terugkerende vraag is of AI-toepassingen – en dan vooral recommendersystemen – een dreiging of een redding zijn. De impact van het kiezen van een film voor vanavond, met behulp van Netflix' recommendersysteem, is nog beperkt. De impact van datingsites, navigatiesystemen en sociale media – allemaal systemen die met algoritmes informatie filteren of keuzes aanraden – is al groter. De impact van recommendersystemen in bijvoorbeeld de zorg, bij werving en selectie, fraudedetectie, en beoordelingen van hypotheekaanvragen is enorm, zowel op individueel als op maatschappelijk niveau. Het is daarom urgent dat juist recommendersystemen volgens de waarden van Responsible AI ontworpen worden: veilig, eerlijk, betrouwbaar, inclusief, transparant en controleerbaar. Om op een goede manier Responsible AI te ontwerpen moeten technische, contextuele én interactievraagstukken worden opgelost. Op het technische en maatschappelijke niveau is al veel vooruitgang geboekt, respectievelijk door onderzoek naar algoritmen die waarden als inclusiviteit in hun berekening meenemen, en door de ontwikkeling van wettelijke kaders. Over implementatie op interactieniveau bestaat daarentegen nog weinig concrete kennis. Bekend is dat gebruikers die interactiemogelijkheden hebben om een algoritme bij te sturen of aan te vullen, meer transparantie en betrouwbaarheid ervaren. Echter, slecht ontworpen interactiemogelijkheden, of een mismatch tussen interactie en context kosten juist tijd, veroorzaken mentale overbelasting, frustratie, en een gevoel van incompetentie. Ze verhullen eerder dan dat ze tot transparantie leiden. Het ontbreekt ontwerpers van interfaces (UX/UI designers) aan systematische concrete kennis over deze interactiemogelijkheden, hun toepasbaarheid, en de ethische grenzen. Dat beperkt hun mogelijkheid om op interactieniveau aan Responsible AI bij te dragen. Ze willen daarom graag een pattern library van interactiemogelijkheden, geannoteerd met onderzoek over de werking en inzetbaarheid. Dit bestaat nu niet en met dit project willen we een substantiële bijdrage leveren aan de ontwikkeling ervan.