AI is een uitstekende tool om financiële fraudedetectie en de beoordeling van credit risks te versnellen, zo bleek uit afstudeeropdrachten die studenten van de masteropleiding AI aan de HvA afgelopen semeser bij de financiële opleidingen hebben uitgevoerd. Maar we zien soms dat beslissingen op basis van AI-systemen te rigoureus worden genomen.
LINK
In het kader van het RAAK MKB project Wireless Sensortechnologie bij Calamiteiten van het Saxion Kenniscentrum Design en Technologie - lectoraat Ambient Intelligence - hebben studenten van de minor Ambient Intelligence een inventariserend onderzoek uitgevoerd naar nieuwe, slimme technologieën om een natuurbrand te detecteren. Van hun uitgebreide verslaglegging geven we in dit rapport de hoofdlijnen weer. Er is uitgegaan van de Nederlandse situatie die geschetst is door de brandweer van de Veiligheidsregio Noord- en Oost-Gelderland. De mogelijke nieuwe technieken worden beschreven. Als veel belovend komt de technologie van wireless sensornetwerken naar voren.
MULTIFILE
Determineren is een belangrijk onderdeel van Integrated Pest Management. Als we niet weten om welk dier het gaat, wetten we niet hoe het leeft, of het schadelijk is en wat we eraan kunnen doen. De meeste determinaties worden aan de hand van uiterlijke kenmerken gedaan, maar er is nog een veelbelovende nieuwe methode: DNA.
MULTIFILE
De maatschappelijke discussies over de invloed van AI op ons leven tieren welig. De terugkerende vraag is of AI-toepassingen – en dan vooral recommendersystemen – een dreiging of een redding zijn. De impact van het kiezen van een film voor vanavond, met behulp van Netflix' recommendersysteem, is nog beperkt. De impact van datingsites, navigatiesystemen en sociale media – allemaal systemen die met algoritmes informatie filteren of keuzes aanraden – is al groter. De impact van recommendersystemen in bijvoorbeeld de zorg, bij werving en selectie, fraudedetectie, en beoordelingen van hypotheekaanvragen is enorm, zowel op individueel als op maatschappelijk niveau. Het is daarom urgent dat juist recommendersystemen volgens de waarden van Responsible AI ontworpen worden: veilig, eerlijk, betrouwbaar, inclusief, transparant en controleerbaar.Om op een goede manier Responsible AI te ontwerpen moeten technische, contextuele én interactievraagstukken worden opgelost. Op het technische en maatschappelijke niveau is al veel vooruitgang geboekt, respectievelijk door onderzoek naar algoritmen die waarden als inclusiviteit in hun berekening meenemen, en door de ontwikkeling van wettelijke kaders. Over implementatie op interactieniveau bestaat daarentegen nog weinig concrete kennis. Bekend is dat gebruikers die interactiemogelijkheden hebben om een algoritme bij te sturen of aan te vullen, meer transparantie en betrouwbaarheid ervaren. Echter, slecht ontworpen interactiemogelijkheden, of een mismatch tussen interactie en context kosten juist tijd, veroorzaken mentale overbelasting, frustratie, en een gevoel van incompetentie. Ze verhullen eerder dan dat ze tot transparantie leiden.Het ontbreekt ontwerpers van interfaces (UX/UI designers) aan systematische concrete kennis over deze interactiemogelijkheden, hun toepasbaarheid, en de ethische grenzen. Dat beperkt hun mogelijkheid om op interactieniveau aan Responsible AI bij te dragen. Ze willen daarom graag een pattern library van interactiemogelijkheden, geannoteerd met onderzoek over de werking en inzetbaarheid. Dit bestaat nu niet en met dit project willen we een substantiële bijdrage leveren aan de ontwikkeling ervan.
De maatschappelijke discussies over de invloed van AI op ons leven tieren welig. De terugkerende vraag is of AI-toepassingen – en dan vooral recommendersystemen – een dreiging of een redding zijn. De impact van het kiezen van een film voor vanavond, met behulp van Netflix' recommendersysteem, is nog beperkt. De impact van datingsites, navigatiesystemen en sociale media – allemaal systemen die met algoritmes informatie filteren of keuzes aanraden – is al groter. De impact van recommendersystemen in bijvoorbeeld de zorg, bij werving en selectie, fraudedetectie, en beoordelingen van hypotheekaanvragen is enorm, zowel op individueel als op maatschappelijk niveau. Het is daarom urgent dat juist recommendersystemen volgens de waarden van Responsible AI ontworpen worden: veilig, eerlijk, betrouwbaar, inclusief, transparant en controleerbaar. Om op een goede manier Responsible AI te ontwerpen moeten technische, contextuele én interactievraagstukken worden opgelost. Op het technische en maatschappelijke niveau is al veel vooruitgang geboekt, respectievelijk door onderzoek naar algoritmen die waarden als inclusiviteit in hun berekening meenemen, en door de ontwikkeling van wettelijke kaders. Over implementatie op interactieniveau bestaat daarentegen nog weinig concrete kennis. Bekend is dat gebruikers die interactiemogelijkheden hebben om een algoritme bij te sturen of aan te vullen, meer transparantie en betrouwbaarheid ervaren. Echter, slecht ontworpen interactiemogelijkheden, of een mismatch tussen interactie en context kosten juist tijd, veroorzaken mentale overbelasting, frustratie, en een gevoel van incompetentie. Ze verhullen eerder dan dat ze tot transparantie leiden. Het ontbreekt ontwerpers van interfaces (UX/UI designers) aan systematische concrete kennis over deze interactiemogelijkheden, hun toepasbaarheid, en de ethische grenzen. Dat beperkt hun mogelijkheid om op interactieniveau aan Responsible AI bij te dragen. Ze willen daarom graag een pattern library van interactiemogelijkheden, geannoteerd met onderzoek over de werking en inzetbaarheid. Dit bestaat nu niet en met dit project willen we een substantiële bijdrage leveren aan de ontwikkeling ervan.
Toepassingen gebaseerd op artificiële intelligentie (AI) worden steeds vaker ingezet voor het maken van keuzes en besluiten. Deze toepassingen worden echter ook steeds complexer. Het is in sommige gevallen niet of moeilijk na te gaan hoe een algoritme tot een besluit is gekomen. Wat de AI doet is als het ware ondoorzichtig. Dit geldt ook in de financiële sector, terwijl juist in deze sector vertrouwen een grote rol speelt. Daarom is het belangrijk dat bijvoorbeeld klanten en toezichthouders in de financiële sector een passende uitleg krijgen hoe een op AI gebaseerd besluit tot stand gekomen is. Bijvoorbeeld waarom een lening niet is toegekend of waarom een transactie is aangemerkt als mogelijk frauduleus. Uitlegbare AI (in het Engels Explainable AI ofwel XAI) is het onderzoeksveld dat streeft naar het inzichtelijk maken van ondoorzichtige AI. Dat start volgens ons met het in beeld krijgen wat voor soort uitleg in welke situatie voor welk type stakeholder vereist is bij toepassing van AI. Verder is het de vraag welke vormen van AI zich goed lenen voor uitleg, en welke XAI-oplossing het beste geschikt is om een uitleg te kunnen genereren. Wij hebben XAI gedefinieerd als een set van methoden en technieken om een stakeholder een passende uitleg te kunnen geven over het functioneren en/of de resultaten van een AI-oplossing op een zodanig manier dat die uitleg begrijpelijk is voor en tegemoet komt aan de zorgen van die stakeholder. Doel Het doel van het project is om in samenwerking met organisaties in de financiële sector praktijkgericht onderzoek te doen naar uitlegbaarheid en daarbij de randvoorwaarden van uitlegbaarheid in beeld te brengen. Dit bestaat enerzijds uit het helder krijgen van de stakeholders en welke uitleg zij verwachten en anderzijds hoe die uitleg het beste tot stand kan worden gebracht. Organisaties waarmee wordt samengewerkt zijn onder andere financiële dienstverleners en toezichthouders. Resultaten Uitlegbare AI binnen de financiële sector gedefinieerd. Raamwerk voor uitlegbare AI met type stakeholders en soorten uitleg voor de financiële sector. Dit raamwerk is uiteengezet in het whitepaper: XAI in the financial sector 'a conceptual framework for explainable AI'. De Hogeschool Utrecht heeft meegewerkt aan een verkennend onderzoek naar uitlegbaarheid bij AI met DNB, de AFM, de Nederlandse Vereniging van Banken en drie Nederlandse grootbanken. In dit onderzoek is het raamwerk van de Hogeschool Utrecht toegepast. Bekijk de resultaten van het onderzoek. Op basis van dit onderzoek is een paper ingediend en geaccepteerd op de 33e Benelux Conference on Artificial Intelligence. Principes en richtlijnen voor het ontwikkelen van AI-toepassingen binnen de financiële sector gelet op eisen van uitlegbaarheid De Hogeschool Utrecht heeft samen met consortiumpartners Floryn, Researchable en de Volksbank in een eenjarig project onderzoek gedaan naar aspecten die een rol spelen bij het implementeren van explainable AI. Als resultaat van dit onderzoek is een checklist gepubliceerd en een whitepaper waarin deze checklist uitgebreid wordt toegelicht. Daarnaast is een paper ingediend bij de HHAI2023 conferentie. Meer informatie over dit project is op deze pagina te vinden. Een subsidieaanvraag voor een tweejarig RAAK-mkb project is gehonoreerd. Dit project, FIN-X geheten, heeft tot doel hulpmiddelen te ontwikkelen die interne gebruikers van AI-toepassingen meer en beter inzicht geven in de werking en uitkomsten ervan. Meer informatie over dit project is op de volgende pagina te vinden. Looptijd 01 juni 2020 - 31 maart 2025 Aanpak Vanuit de Hogeschool Utrecht streven we naar praktijkgericht onderzoek en steken daarom het onderzoek naar XAI in op het niveau van use-cases. We willen per use-case in kaart brengen welke stakeholders behoefte hebben aan welke uitleg. Door deze aanpak kunnen we gericht vanuit de praktijk de link met de literatuur leggen en nieuwe inzichten rapporteren. Een voorbeeld van een use-case die wordt onderzocht is kredietverlening aan consumenten (consumptief krediet). Uiteindelijk werken we toe naar een raamwerk met bijbehorende principes en richtlijnen voor XAI toegespitst op de gehele financiële sector.” veranderen in: “Voorbeelden van use-cases die worden onderzocht zijn kredietverlening, klantacceptatie en fraudedetectie bij claimafhandeling. Uiteindelijk werken we toe naar tools voor XAI toegespitst op de gehele financiële sector. Financiële dienstverleners of andere partijen in het financiële ecosysteem die geïnteresseerd zijn in samenwerking met ons worden van harte uitgenodigd contact met ons op te nemen. Download het whitepaper whitepaper: XAI in the financial sector Gerelateerd project Dit project is gekoppeld aan het KIEM project Uitlegbare AI in de Financiële Sector, dat de opzet kan zijn voor een aanvraag voor vervolgonderzoek om uiteindelijk te komen tot een aanpak en hulpmiddelen voor uitlegbare AI.
