XAI

Le premier axe de recherche transversal de MAIA primary concerne le concept d'eXplainable AI (XAI). Il consiste à interfacer les boîtes noires produites par les modèles ML avec les utilisateurs humains, alias les explicateurs. Dans MAIA, les explicateurs seront typiquement des scientifiques, principalement des spécialistes des domaines ciblés (Santé, Chimie, Environnement), mais dans le cas de la Santé, on envisage aussi de considérer les patients comme des explicateurs, afin d'aider les médecins à expliquer aux gens les prédictions basées sur l'IA sur lesquelles les diagnostics et les thérapies seront élaborés.

Lorsqu'ils sont utilisés dans des applications sensibles ou des domaines critiques, les décisions prises par un apprenant doivent passer par un modèle compréhensible. Ainsi, les prédicteurs doivent être vérifiés et leur explicabilité globale évaluée (l'absence de biais doit être testée, les prédictions effectuées doivent être conformes aux connaissances des experts). En outre, les prédictions elles-mêmes doivent être expliquées, ce qui nécessite des méthodes d'explicabilité locale. L'explicitation des prédictions peut être décomposée en plusieurs dimensions, en fonction du type d'explications (par exemple, abductives ou contrastives) que l'on recherche, du modèle explicatif fourni à l'utilisateur, de la quantité de données disponibles et de l'approche utilisée pour expliquer. Ces dimensions participent au traitement du fameux dilemme entre la précision et l'interprétabilité de l'apprentissage. Les modèles parcimonieux tels que les règles logiques ou les arbres de décision sont, en pratique, nettement moins efficaces que les modèles non interprétables tels que les réseaux neuronaux profonds ou les forêts aléatoires. Cela met également en lumière les compromis entre les approches formelles de l'XAI, qui sont rigoureuses et basées sur des modèles, et les approches heuristiques qui sont indépendantes des modèles, offrent des garanties plus faibles, mais tendent à mieux s'adapter à l'échelle.

Dans MAIA, nous prévoyons de développer des activités de recherche pour l'explicabilité à la fois globale et locale afin d'améliorer l'acceptabilité de l'IA. Nous considérerons de nombreux modèles de ML, explorerons un certain nombre de voies (y compris des techniques basées sur des modèles, des approches heuristiques et la distillation de boîtes noires en modèles plus interprétables) pour atteindre l'objectif. Les spécialistes de la santé, de la chimie et de l'environnement impliqués dans MAIA seront chargés d'évaluer la qualité des solutions aux problèmes d'explication qui seront abordés. Nous nous appuierons sur leur expertise pour aborder la question difficile de savoir comment mettre à jour les prédicteurs lorsque les prédictions ne sont pas assez bonnes. Étant donné que la qualité d'une explication n'est pas intrinsèque à celle-ci mais dépend fortement de l'explanté qui recevra l'explication, nous prévoyons de définir des modèles d'expliqué et d'en tirer parti pour concentrer la génération d'explications sur celles qui correspondent le mieux aux préférences de l'expliqué. Pour ce faire et évaluer les modèles d'expliqué, l'aide des collègues impliqués dans les sciences humaines sera également d'une grande valeur.