Explainable Artificial Intelligence (XAI) aims to provide insights into the inner workings and the outputs of AI systems. Recently, there’s been growing recognition that explainability is inherently human-centric, tied to how people perceive explanations. Despite this, there is no consensus in the research community on whether user evaluation is crucial in XAI, and if so, what exactly needs to be evaluated and how. This systematic literature review addresses this gap by providing a detailed overview of the current state of affairs in human-centered XAI evaluation. We reviewed 73 papers across various domains where XAI was evaluated with users. These studies assessed what makes an explanation “good” from a user’s perspective, i.e., what makes an explanation meaningful to a user of an AI system. We identified 30 components of meaningful explanations that were evaluated in the reviewed papers and categorized them into a taxonomy of human-centered XAI evaluation, based on: (a) the contextualized quality of the explanation, (b) the contribution of the explanation to human-AI interaction, and (c) the contribution of the explanation to human- AI performance. Our analysis also revealed a lack of standardization in the methodologies applied in XAI user studies, with only 19 of the 73 papers applying an evaluation framework used by at least one other study in the sample. These inconsistencies hinder cross-study comparisons and broader insights. Our findings contribute to understanding what makes explanations meaningful to users and how to measure this, guiding the XAI community toward a more unified approach in human-centered explainability.
MULTIFILE
For people with early-dementia (PwD), it can be challenging to remember to eat and drink regularly and maintain a healthy independent living. Existing intelligent home technologies primarily focus on activity recognition but lack adaptive support. This research addresses this gap by developing an AI system inspired by the Just-in-Time Adaptive Intervention (JITAI) concept. It adapts to individual behaviors and provides personalized interventions within the home environment, reminding and encouraging PwD to manage their eating and drinking routines. Considering the cognitive impairment of PwD, we design a human-centered AI system based on healthcare theories and caregivers’ insights. It employs reinforcement learning (RL) techniques to deliver personalized interventions. To avoid overwhelming interaction with PwD, we develop an RL-based simulation protocol. This allows us to evaluate different RL algorithms in various simulation scenarios, not only finding the most effective and efficient approach but also validating the robustness of our system before implementation in real-world human experiments. The simulation experimental results demonstrate the promising potential of the adaptive RL for building a human-centered AI system with perceived expressions of empathy to improve dementia care. To further evaluate the system, we plan to conduct real-world user studies.
From the article: The ethics guidelines put forward by the AI High Level Expert Group (AI-HLEG) present a list of seven key requirements that Human-centered, trustworthy AI systems should meet. These guidelines are useful for the evaluation of AI systems, but can be complemented by applied methods and tools for the development of trustworthy AI systems in practice. In this position paper we propose a framework for translating the AI-HLEG ethics guidelines into the specific context within which an AI system operates. This approach aligns well with a set of Agile principles commonly employed in software engineering. http://ceur-ws.org/Vol-2659/
Steeds meer organisaties vinden het belangrijk om ‘ethisch verantwoorde’ AI-toepassingen te ontwikkelen. Maar wat is precies ethisch verantwoord? En hoe ontwerp je AI-systemen die aan ethische richtlijnen voldoen? In dit coöperatieve spel ontwerp je samen, op basis van de ethische principes opgesteld door de EU, ethisch verantwoorde AI-toepassingen.Doel In het spel worden de spelers benaderd door de startup ‘Ethics Inc.’ om een betrouwbare AI-toepassing te ontwikkelen die voldoet aan Europese richtlijnen. De spelers vormen samen een denktank om de startup te adviseren over hoe zij deze toepassing het best kunnen ontwikkelen. Het spel eindigt als er consensus is bereikt na één of meer rondes. Samen maak je een vertaalslag van abstracte waarden naar de specifieke gebruikerscontext. Het spel is gebaseerd op de EU Ethics Guidelines For Trustworthy AI welke ook ten grondslag ligt aan de aankomende EU-wetgeving rondom AI. Resultaten Een coöperatief spel waarin er samen ethisch verantwoorde AI-toepassingen ontworpen worden (3 tot 8 spelers, 75 minuten). Je kunt een fysiek exemplaar bestellen door een mail te sturen naar info@stt.nl. De kaarten zijn ook als PDF te downloaden om zelf uit te printen. Er is ook een digitale versie van het spel gemaakt, deze wordt op het moment getest en doorontwikkeld. Het gedachtegoed achter het ontwerpspel is verder uitgediept in het paper An Agile Framework for Trustworthy AI welke is geaccepteerd voor de ECAI-2020 Workshop “New Foundations for Human-Centered AI”. Looptijd 01 maart 2020 - 31 december 2022 Aanpak De Stichting Toekomstbeeld der Techniek STT heeft het fysieke spel samen met het lectoraat Artificial Intelligence (HU) ontwikkeld, waarbij een grafisch vormgever een aansprekende stijl heeft neergezet. Daarnaast is de Stichting Koninklijk Nederlands Normalisatie Instituut (NEN) betrokken als partner. In 2021 en verder ligt de focus van dit project op een digitale versie van het spel, waarmee het breder ingezet kan worden in de praktijk. Impact voor het onderwijs Voor studenten is Ethics Inc. een tool om van begin af aan AI-toepassingen te ontwerpen die de Europese AI richtlijnen meenemen (Ethics by design). Er lopen pilots bij verschillende opleidingen om de inzet van het spel ook daar te testen.
Steeds meer organisaties vinden het belangrijk om ‘ethisch verantwoorde’ AI-toepassingen te ontwikkelen. Maar wat is precies ethisch verantwoord? En hoe ontwerp je AI-systemen die aan ethische richtlijnen voldoen? In dit coöperatieve spel ontwerp je samen, op basis van de ethische principes opgesteld door de EU, ethisch verantwoorde AI-toepassingen.Doel In het spel worden de spelers benaderd door de startup ‘Ethics Inc.’ om een betrouwbare AI-toepassing te ontwikkelen die voldoet aan Europese richtlijnen. De spelers vormen samen een denktank om de startup te adviseren over hoe zij deze toepassing het best kunnen ontwikkelen. Het spel eindigt als er consensus is bereikt na één of meer rondes. Samen maak je een vertaalslag van abstracte waarden naar de specifieke gebruikerscontext. Het spel is gebaseerd op de EU Ethics Guidelines For Trustworthy AI welke ook ten grondslag ligt aan de aankomende EU-wetgeving rondom AI. Resultaten Een coöperatief spel waarin er samen ethisch verantwoorde AI-toepassingen ontworpen worden (3 tot 8 spelers, 75 minuten). Je kunt een fysiek exemplaar bestellen door een mail te sturen naar info@stt.nl. De kaarten zijn ook als PDF te downloaden om zelf uit te printen. Er is ook een digitale versie van het spel gemaakt, deze wordt op het moment getest en doorontwikkeld. Het gedachtegoed achter het ontwerpspel is verder uitgediept in het paper An Agile Framework for Trustworthy AI welke is geaccepteerd voor de ECAI-2020 Workshop “New Foundations for Human-Centered AI”. Looptijd 01 maart 2020 - 31 december 2022 Aanpak De Stichting Toekomstbeeld der Techniek STT heeft het fysieke spel samen met het lectoraat Artificial Intelligence (HU) ontwikkeld, waarbij een grafisch vormgever een aansprekende stijl heeft neergezet. Daarnaast is de Stichting Koninklijk Nederlands Normalisatie Instituut (NEN) betrokken als partner. In 2021 en verder ligt de focus van dit project op een digitale versie van het spel, waarmee het breder ingezet kan worden in de praktijk. Impact voor het onderwijs Voor studenten is Ethics Inc. een tool om van begin af aan AI-toepassingen te ontwerpen die de Europese AI richtlijnen meenemen (Ethics by design). Er lopen pilots bij verschillende opleidingen om de inzet van het spel ook daar te testen.
The Hospitality, Tourism, Innovation & Technology Experts Network (HTIT-EN) is a pivotal initiative aimed at unlocking societal impact potential. The Dutch hospitality and tourism sector, which employs over half a million individuals and annually hosts more than 40 million guests, ranks as the Netherlands’ 8th largest economic sector. However, this sector faces numerous challenges, including the uncertain impact of emerging technologies and issues such as unethical behavior, workforce attrition, and staff shortages, which have been exacerbated by the COVID-19 pandemic. The advent of emerging technologies like service robots, immersive experiences, and artificial intelligence has brought the sector to a critical juncture. These innovations pose significant disruptions, challenging the traditional concept of hospitality and questioning the positive societal impact in terms of ethical considerations, inclusivity, affordability, and data privacy.Strategically positioned to address these challenges, HTIT-EN focuses on leveraging emerging technologies to create impactful scenarios and shape the future of hospitality and tourism. Our motivation stems from the sector’s societal importance and its continuous influence on our daily lives. By harnessing technology and innovation, we aim to tackle industry-specific issues and extend the positive societal impact to related human-centered service industries.The overarching mission of HTIT-EN is to empower the Dutch Hospitality and Tourism sector to serve as a driving force for technology-enabled societal impact. The primary objective is to align research activities and promote collaboration. Key objectives include bringing together leading professors specializing in technology-driven impact within the hospitality and tourism sector, initiating research projects in line with a shared research agenda and in collaboration with local and international industry partners, and collaboratively developing expertise in emerging technologies that empower the role of hospitality and tourism as catalysts for societal impact. This endeavor contributes to the development and acceleration of the Knowledge and Innovation Agenda (KIA) ‘Key technologies’ & ‘Digitalization’. The aim is to foster an excellent reputation for Dutch hospitality and tourism as a global leader in technology-driven societal impact.We have strong support from CELTH, the Centre of Expertise within the domain of leisure, tourism and hospitality for the overall ambitions of the research project.Societal issueThe HTIT-EN project bridges societal importance and cross-cutting issues in the tourism and hospitality sectors. It’s fueled by the ambition to leverage emerging technologies to tackle industry-specific challenges, including knowledge and skills gaps, labor shortages and replacements, and evolving consumer expectations.Benefit to societyThe platform brings together professors and researchers from MBO, HBO and WO knowledge institutes as well as diverse set of professional partners to stimulate collaboration, align research lines and establish joint a joint research agenda on how technology-driven impact may become a catalyst within hospitality and tourism.
