Explainable Artificial Intelligence (XAI) aims to provide insights into the inner workings and the outputs of AI systems. Recently, there’s been growing recognition that explainability is inherently human-centric, tied to how people perceive explanations. Despite this, there is no consensus in the research community on whether user evaluation is crucial in XAI, and if so, what exactly needs to be evaluated and how. This systematic literature review addresses this gap by providing a detailed overview of the current state of affairs in human-centered XAI evaluation. We reviewed 73 papers across various domains where XAI was evaluated with users. These studies assessed what makes an explanation “good” from a user’s perspective, i.e., what makes an explanation meaningful to a user of an AI system. We identified 30 components of meaningful explanations that were evaluated in the reviewed papers and categorized them into a taxonomy of human-centered XAI evaluation, based on: (a) the contextualized quality of the explanation, (b) the contribution of the explanation to human-AI interaction, and (c) the contribution of the explanation to human- AI performance. Our analysis also revealed a lack of standardization in the methodologies applied in XAI user studies, with only 19 of the 73 papers applying an evaluation framework used by at least one other study in the sample. These inconsistencies hinder cross-study comparisons and broader insights. Our findings contribute to understanding what makes explanations meaningful to users and how to measure this, guiding the XAI community toward a more unified approach in human-centered explainability.
MULTIFILE
Artificial Intelligence (AI) offers organizations unprecedented opportunities. However, one of the risks of using AI is that its outcomes and inner workings are not intelligible. In industries where trust is critical, such as healthcare and finance, explainable AI (XAI) is a necessity. However, the implementation of XAI is not straightforward, as it requires addressing both technical and social aspects. Previous studies on XAI primarily focused on either technical or social aspects and lacked a practical perspective. This study aims to empirically examine the XAI related aspects faced by developers, users, and managers of AI systems during the development process of the AI system. To this end, a multiple case study was conducted in two Dutch financial services companies using four use cases. Our findings reveal a wide range of aspects that must be considered during XAI implementation, which we grouped and integrated into a conceptual model. This model helps practitioners to make informed decisions when developing XAI. We argue that the diversity of aspects to consider necessitates an XAI “by design” approach, especially in high-risk use cases in industries where the stakes are high such as finance, public services, and healthcare. As such, the conceptual model offers a taxonomy for method engineering of XAI related methods, techniques, and tools.
MULTIFILE
This white paper is the result of a research project by Hogeschool Utrecht, Floryn, Researchable, and De Volksbank in the period November 2021-November 2022. The research project was a KIEM project1 granted by the Taskforce for Applied Research SIA. The goal of the research project was to identify the aspects that play a role in the implementation of the explainability of artificial intelligence (AI) systems in the Dutch financial sector. In this white paper, we present a checklist of the aspects that we derived from this research. The checklist contains checkpoints and related questions that need consideration to make explainability-related choices in different stages of the AI lifecycle. The goal of the checklist is to give designers and developers of AI systems a tool to ensure the AI system will give proper and meaningful explanations to each stakeholder.
MULTIFILE
Bedrijven, waaronder telecomproviders, vertrouwen steeds meer op complexe AI-systemen. Het gebrek aan interpreteerbaarheid dat zulke systemen vaak introduceren zorgt voor veel uitdagingen om het onderliggende besluitvormingsproces te begrijpen. Vertrouwen in AI-systemen is belangrijk omdat het bijdraagt aan acceptatie en adoptie onder gebruikers. Het vakgebied Explainable AI (XAI) speelt hierbij een cruciale rol door transparantie en uitleg aan gebruikers te bieden voor de beslissingen en werking van zulke systemen.
Bedrijven, waaronder telecomproviders, vertrouwen steeds meer op complexe AI-systemen. Het gebrek aan interpreteerbaarheid dat zulke systemen vaak introduceren zorgt voor veel uitdagingen om het onderliggende besluitvormingsproces te begrijpen. Vertrouwen in AI-systemen is belangrijk omdat het bijdraagt aan acceptatie en adoptie onder gebruikers. Het vakgebied Explainable AI (XAI) speelt hierbij een cruciale rol door transparantie en uitleg aan gebruikers te bieden voor de beslissingen en werking van zulke systemen.Doel Bij AI-systemen zijn gewoonlijk verschillende stakeholders betrokken, die elk een unieke rol hebben met betrekking tot deze systemen. Als gevolg hiervan varieert de behoefte voor uitleg afhankelijk van wie het systeem gebruikt. Het primaire doel van dit onderzoek is het genereren en evalueren van op stakeholder toegesneden uitleg voor use cases in de telecomindustrie. Door best practices te identificeren, nieuwe explainability tools te ontwikkelen en deze toe te passen in verschillende use cases, is het doel om waardevolle inzichten op te doen. Resultaten Resultaten omvatten het identificeren van de huidige best practices voor het genereren van betekenisvolle uitleg en het ontwikkelen van op maat gemaakte uitleg voor belanghebbenden voor telecom use-cases. Looptijd 01 september 2023 - 30 augustus 2027 Aanpak Het onderzoek begint met een literatuurstudie, gevolgd door de identificatie van mogelijke use-cases en het in kaart brengen van de behoeften van stakeholders. Vervolgens zullen prototypes worden ontwikkeld en hun vermogen om betekenisvolle uitleg te geven, zal worden geëvalueerd.
Artificiële intelligentie (AI), en machine learning in het bijzonder, wordt meer en meer toegepast in de Nederlandse financiële sector. Uitlegbaarheid van de uitkomsten en werking van AI-toepassingen wordt daarbij gezien als een belangrijke voorwaarde om vertrouwen van consumenten en maatschappij in AI-toepassingen te borgen. Financiële dienstverleners zien dan ook het belang van uitlegbare AI maar geven aan te worstelen met de implementatie: er komt veel meer bij kijken dan in eerste instantie gedacht. Uitlegbare AI is niet louter een technisch vraagstuk, maar ook een sociaal, juridisch en ethisch vraagstuk. Dit project heeft tot doel in kaart te brengen wat er komt kijken bij de implementatie van uitlegbare AI. Dit gebeurt door use-cases van financiële dienstverleners te onderzoeken waar AI en soms ook al uitlegbare AI wordt toegepast en door literatuuronderzoek. Vervolgens wordt samen met consortium- en netwerkpartners een model ontwikkeld en gevalideerd van aspecten die van belang zijn bij de implementatie van uitlegbare AI. Het model wordt uitgewerkt in een praktisch bruikbare checklist en een wetenschappelijke publicatie. Daarnaast heeft dit project tot doel het netwerk verder uit te breiden en een aanvraag voor vervolgonderzoek te definiëren om uiteindelijk te komen tot een integrale aanpak voor uitlegbare AI.
