Towards Human-Centered Actionable Explainable AI-enabled Systems

Abstract

Recently, the applications of complex artificial Intelligence (AI) models have increased exponentially in almost every sector due to the enormous advancement of computing power and the availability of high-quality annotated data for training complex machine learning (ML) models. Generally, AI models are very complex in structure, and they often need to learn thousands, even millions, of parameters in the training phase. Though the predictions are accurate, due to the complex decision-making process, the predictions from such AI models are not understandable to users. Hence, AI systems lack explainability, transparency, and trustworthiness in making the decision explainable to the users. AI models with such complexity are often referred to as black-box models. To interpret the black-box AI models, recently, there has been a high interest in the AI research community concentrating on extracting facts and rationale to explain the reasons behind the prediction and overall models' decision-making priorities. The field that practices interpreting complex AI models and explaining the predictions to uncover the reasons behind particular predictions is known as eXplainable Artificial Intelligence (XAI). Improvements in interpreting ML models have been evident in this decade. However, the current explainability techniques are helpful for AI practitioners in the way that they can employ explanations to debug and eventually improve the models' performance. However, the primary objective of XAI is to help laypeople understand the predictions by providing human-centric explanations, which will eventually increase transparency and trust and lead to faster AI adoption in real-world applications. A significant gap exists in achieving human-centered explainability for AI systems due to associated challenges, including user experience variability, context sensitivity, bias and data deficiency, and actionability. This dissertation aims to advocate the human-understandable explainability of AI-enabled systems and introduces explainable models in different real-world application scenarios. We strive to answer research questions, including i) How can we achieve high-performance ML models addressing technical challenges, including data imbalance, data inadequacy, and model bias? ii) How do explanations vary across different application contexts? iii) What underlying facts and rationale should be considered when explaining prediction for a given context? and iv) How could we achieve actionable explanations? We adopted an exploratory, experimental approach to answering these questions by conducting a wide range of experiments, introducing explainability techniques, and demonstrating explanations in three application areas: smart home, business, and natural language processing (NLP). After carefully selecting application scenarios considering the mentioned questions, this thesis proposed multiple high-performance ML models for energy demand forecasting, occupants' thermal comfort preference modeling, product backorder prediction, multi-class patent classification, and fake review identification. Then, it introduced explainability to provide comprehensible, actionable explanations so that users and stakeholders could understand the predictions and take necessary action accordingly. The results from a wide range of experiments demonstrated high performance compared to state-of-the-art methods. They provided explanations that capture relevant facts and rationale to make users understand the proposed ML models' predictions and overall priorities. The technical and empirical evaluation of the generated explanations for explainable AI-enabled systems highlighted what information needs to be considered and how they should be represented in explanations. The broad contribution of this thesis is three-fold: i) We achieved high-performance ML models in different application areas addressing the challenges, including data inadequacy and extreme imbalance; ii) With a wide range of experiments, this thesis gives a holistic conclusion on what facts and rationale should be employed in generating explanations for a given application context; iii) Lastly, this dissertation highlighted how we can achieve actionable explanations so that users can take necessary actions to earn more system efficiency in the given application context.

In jüngster Zeit haben die Anwendungen komplexer Modelle der künstlichen Intelligenz (KI) in fast allen Bereichen exponentiell zugenommen. Grund dafür sind die enormen Fortschritte bei der Rechenleistung und die Verfügbarkeit hochwertiger kommentierter Daten für das Training komplexer Modelle des maschinellen Lernens (ML). Im Allgemeinen sind KI-Modelle sehr komplex aufgebaut und müssen in der Trainingsphase oft Tausende oder sogar Millionen von Parametern lernen. Obwohl die Vorhersagen genau sind, sind die Vorhersagen solcher KI-Modelle aufgrund des komplexen Entscheidungsfindungsprozesses für die Benutzer nicht verständlich. Daher mangelt es den KI-Systemen an Erklärbarkeit, Transparenz und Vertrauenswürdigkeit, wenn es darum geht, den Nutzern ihre Entscheidungen zu erklären. KI-Modelle mit einer solchen Komplexität werden oft als Black-Box-Modelle bezeichnet. Um die Blackbox-KI-Modelle zu interpretieren, hat sich die KI-Forschungsgemeinschaft in letzter Zeit stark auf die Extraktion von Fakten und Begründungen konzentriert, um die Gründe für die Vorhersage und die allgemeinen Entscheidungsprioritäten der Modelle zu erklären. Der Bereich, der sich mit der Interpretation komplexer KI-Modelle und der Erklärung der Vorhersagen befasst, um die Gründe für bestimmte Vorhersagen aufzudecken, wird als eXplainable Artificial Intelligence (XAI) bezeichnet. Verbesserungen bei der Interpretation von ML-Modellen sind in diesem Jahrzehnt offensichtlich geworden. Die derzeitigen Erklärungsmethoden sind jedoch für KI-Praktiker insofern hilfreich, als sie Erklärungen zur Fehlerbehebung und schließlich zur Verbesserung der Leistung der Modelle einsetzen können. Das Hauptziel von XAI besteht jedoch darin, Laien zu helfen, die Vorhersagen zu verstehen, indem menschenzentrierte Erklärungen geliefert werden, die letztendlich die Transparenz und das Vertrauen erhöhen und zu einer schnelleren Einführung von KI in realen Anwendungen führen. Bei der Erreichung einer menschenzentrierten Erklärbarkeit von KI-Systemen besteht eine erhebliche Lücke aufgrund der damit verbundenen Herausforderungen, wie z. B. Variabilität der Benutzererfahrung, Kontextsensitivität, Verzerrungen und Datenmangel sowie Handlungsfähigkeit. Diese Dissertation zielt darauf ab, die für den Menschen verständliche Erklärbarkeit von KI-gestützten Systemen zu fördern und stellt erklärbare Modelle in verschiedenen realen Anwendungsszenarien vor. Wir bemühen uns um die Beantwortung der folgenden Forschungsfragen: i) Wie können wir leistungsstarke ML-Modelle entwickeln, die technische Herausforderungen wie Datenungleichgewicht, unzureichende Daten und Modellverzerrungen bewältigen? ii) Wie unterscheiden sich Erklärungen in verschiedenen Anwendungskontexten? iii) Welche zugrundeliegenden Fakten und Überlegungen sollten bei der Erklärung von Vorhersagen in einem bestimmten Kontext berücksichtigt werden? und iv) Wie können wir handlungsfähige Erklärungen erreichen? Wir haben einen explorativen, experimentellen Ansatz zur Beantwortung dieser Fragen gewählt, indem wir eine Vielzahl von Experimenten durchgeführt, Erklärungsmethoden eingeführt und Erklärungen in drei Anwendungsbereichen demonstriert haben: Smart Home, Business und Natural Language Processing (NLP). Nach sorgfältiger Auswahl von Anwendungsszenarien unter Berücksichtigung der genannten Fragen wurden in dieser Arbeit mehrere leistungsstarke ML-Modelle für die Vorhersage des Energiebedarfs, die Modellierung der Präferenzen der Bewohner in Bezug auf den thermischen Komfort, die Vorhersage von Produktrückständen, die Klassifizierung von Patenten in mehreren Klassen und die Identifizierung gefälschter Bewertungen vorgeschlagen. Anschließend wurde die Erklärbarkeit eingeführt, um verständliche, umsetzbare Erklärungen zu liefern, damit Benutzer und Interessengruppen die Vorhersagen verstehen und die notwendigen Maßnahmen ergreifen können. Die Ergebnisse aus einer Vielzahl von Experimenten zeigten eine hohe Leistung im Vergleich zu modernen Methoden. Sie lieferten Erklärungen, die relevante Fakten und Begründungen enthalten, damit die Nutzer die Vorhersagen der vorgeschlagenen ML-Modelle und die allgemeinen Prioritäten verstehen. Die technische und empirische Evaluierung der generierten Erklärungen für erklärungsfähige KI-gestützte Systeme hat gezeigt, welche Informationen berücksichtigt werden müssen und wie sie in Erklärungen dargestellt werden sollten. Diese Arbeit leistet einen dreifachen Beitrag: i) Wir haben leistungsstarke ML-Modelle in verschiedenen Anwendungsbereichen entwickelt, die sich mit den Herausforderungen wie unzureichenden Daten und extremer Unausgewogenheit befassen. ii) Mit einem breiten Spektrum an Experimenten liefert diese Arbeit eine ganzheitliche Schlussfolgerung darüber, welche Fakten und Gründe bei der Erstellung von Erklärungen für einen bestimmten Anwendungskontext verwendet werden sollten. iii) Schließlich zeigt diese Dissertation auf, wie wir umsetzbare Erklärungen erreichen können, so dass Benutzer die notwendigen Maßnahmen ergreifen können, um mehr Systemeffizienz im jeweiligen Anwendungskontext zu erzielen.