Quelle serait votre réaction si un médecin vous remettait le résultat d’un algorithme de diagnostic médical, vous apprenant que vous êtes atteint d’une maladie grave, sans pouvoir vous donner davantage d’explication ?

Rassurez-vous ce scénario n’arrivera pas car, en vertu de la déontologie médicale, un médecin n’acceptera jamais un diagnostic automatisé sans l’avoir lui-même validé au préalable. En fait, cette phrase paraît même illogique puisque pour établir un diagnostic, il semble a priori nécessaire de disposer d’une justification.

Si cette remarque est exacte, c’est oublier le phénomène actuel de diffusion croissante de l’Intelligence Artificielle (IA) dans les processus de décision des organisations avec des IA capables de produire des résultats sans justification intelligible associée. Rappelons au passage que l’IA peut se définir comme un ensemble de techniques et théories visant à reproduire l’intelligence humaine. Cette aide informatique à la décision repose plus précisément sur des algorithmes d’apprentissage automatique ou Machine Learning (ML), un sous-domaine de l’IA, dans lequel les modèles apprennent à prédire des résultats (par exemple un diagnostic) sur la base de données massives qui constituent le jeu d’apprentissage.

À titre d’illustration, le médecin mais aussi le banquier ou encore le recruteur, pour ne prendre que quelques exemples courants, exploitent de plus en plus fréquemment les résultats de ces algorithmes de ML qui leur fournissent des scores de diagnostic médical, d’octroi de crédit ou encore d’adéquation d’une candidature à un entretien d’embauche.

Or, répétons-le, l’un des principaux problèmes liés à ces algorithmes est qu’ils sont plus ou moins opaques et n’offrent pas toujours une justification compréhensible par l’humain. Les Data Scientists eux-mêmes, c’est à dire les concepteurs de ces algorithmes, ne sont pas toujours en mesure d’expliquer précisément comment un modèle parvient à un résultat…

C’est donc bien un problème puisque pour un médecin, dont la responsabilité légale est engagée, un diagnotic sans justification présente peu d’intérêt. Aussi, comme le rappelle la CNIL, le Règlement Général sur la Protection des Données (RGPD) impose au banquier comme au recruteur d’apporter une justification au rejet d’un dossier ou d’une candidature résultant d’un traitement automatique, ceci dans le but de garantir un résultat exempt de biais discriminatoire à l’emprunteur comme au candidat. Il s’agit donc d’une question d’équité, c’est à dire d’éthique.

Avec ces trois exemples, nous comprenons déjà mieux pourquoi le manque de transparence des algorithmes est problématique. Mais les enjeux de l’explicabilité vont au-delà de la seule question éthique. Il y a tout d’abord l’enjeu premier de l’usage même des résultats issus d’une IA puisque sans explication associée, un résultat peut tout simplement être inexploitable. C’est le cas des trois exemples déjà mentionnés. Vient ensuite un enjeu économique car l’acceptation sociale de la technologie de l’IA repose sur la confiance des utilisateurs, or celle-ci suppose un prérequis : la transparence des algorithmes. La question de la conformité vis-à-vis des exigences réglementaires a déjà été mentionnée avec le RGPD mais ce règlement n’épuise toutefois pas la question légale, on pense en particulier au secteur bancaire, lourdement réglementé. Il y a enfin un véritable enjeu épistémique (Pedreschi et al., 2019), car comprendre le lien entre un résultat et des données est précisément l’une des tâches de la recherche, l’identification de nouvelles corrélations entre une variable biologique et une maladie peut par exemple concourir la mise au point d’une nouvelle thérapie.

Une explication adaptée à son public

Comme on le constate au travers de ces enjeux multiples, l’impératif d’explication des modèles fait intervenir des parties prenantes très diverses, qui n’ont pas toutes les mêmes attentes ni les mêmes connaissances techniques en IA. Un Data Scientist ou un auditeur en conformité réglementaire attendront des explications précises, exprimées dans le jargon de l’IA tandis qu’un ‘simple citoyen’ se satisfera d’une explication intelligible. C’est pourquoi, selon Arrieta et al. (2020), l’explication doit s’adapter son public cible. Elle doit en outre être proportionnée à la criticité de l’usage. Ainsi, s’agissant des secteurs de la santé et de l’aérien, les systèmes basés sur une IA doivent offrir des garanties de sécurité maximales qui exigent à leur tour une explication complète et fidèle du modèle et de ses résultats.

Pourquoi certains modèles d’IA sont-ils des boîtes noires ?

Mais d’où vient cette difficulté à expliquer les modèles ? Pour le comprendre il faut rappeler d’une phrase leur fonctionnement. De manière très simplifiée, ces algorithmes apprennent à reproduire la relation qui existe dans les exemples d’apprentissage (un ensemble de patients), entre un résultat (un diagnostic positif) et les caractéristiques des patients (les données biologiques d’une prise de sang). Or, Saeed et Omlin (2021) expliquent qu’avec certains algorithmes, cette relation peut être d’une grande complexité, proportionnelle au nombre de variables en entrée (les données biologiques), mais aussi au nombre de paramètres du modèle, ces derniers pouvant se compter en milliards.

Précisons que ce problème ne concerne pas tous les modèles d’apprentissage automatique de la même façon. On constate généralement qu’un algorithme est d’autant plus opaque que sa performance en matière de prédiction est grande. Ainsi, les arbres de décision, modèles de ML dont les performances prédictives sont faibles, sont intrinsèquement explicables tandis que les réseaux de neurones, singulièrement les modèles d’apprentissage profond (ou Deep Learning), largement médiatisés pour leurs prouesses, font office de véritables boîtes noires.

Où en est la recherche ?

Si l’on prend un peu de recul, on constate que ces dernières années, l’explicabilité des algorithmes a pris de plus en plus de place dans le débat sur l’éthique de l’IA, à tel point qu’un nouveau domaine de recherche, baptisé eXplainable Artificial Intelligence (XAI), a vu le jour et fédère désormais une importante communauté de chercheurs et Data Scientists (Chaput et al., 2021). Dans le même temps, les travaux de recherche sur l’explicabilité ont fait de grands progrès, plus spécialement ces 5 dernières années, sous l’effet de deux évènements concomitants. D’abord, comme le rappellent Gunning et al. (2021), grâce au démarrage en 2016 d’un programme de recherche bénéficiant de financements importants par l’agence du département de la Défense des États-Unis (la DARPA). Ensuite, grâce à l’adoption, la même année, du RGPD par l’union européenne. Comme nous l’avons déjà évoqué, ce règlement donne le droit à tout citoyen concerné par une décision prise sur la base d’un traitement automatique « d’obtenir une explication quant à la décision prise à l’issue de ce type d’évaluation et de contester la décision »

Bien que dans ce champ de recherche, nombre de problématiques restent encore ouvertes, ces travaux ont d’ores et déjà abouti à des solutions concrètes. Celles-ci se distribuent en deux familles. La première vise une ‘explication by design’ dans laquelle on ‘demande au modèle’ de décrive lui-même son fonctionnement au moment de l’apprentissage du jeu de données. La seconde famille offre des solutions postérieures à l’apprentissage du modèle. Celles-ci reposent sur différentes méthodes comme la substitution d’un modèle plus transparent au ’modèle boîte noire’. D’autres méthodes, de pondération des variables du modèle, permettent par exemple, d’identifier les principaux déterminants d’une maladie. On peut citer également les approches contrefactuelles, très utiles pour l’utilisateur final car elles permettent notamment à l’emprunteur qui se serait vu refuser son crédit, de savoir qu’une augmentation de 10% de son revenu annuel améliorera suffisamment son score de crédit pour le rendre éligible à l’emprunt.

Conclusion

Finalement, si comme nous l’avons vu, l’explicabilité des modèles d’IA pose de multiples problèmes, elle constitue paradoxalement une opportunité sur le plan éthique avec la possibilité d’une transparence accrue pour le citoyen. En effet, auparavant, le recruteur comme le conseiller financier, pour ne prendre que ces deux exemples emblématiques, n’étaient pas légalement tenus de rendre compte de leurs décisions par une explication mais seulement de révéler les résultats de l’évaluation sous réserve que le candidat ou l’emprunteur en fasse la demande. En revanche, avec l’entrée en vigueur du RGPD, ces mêmes décideurs doivent désormais être en mesure de justifier d’une explication lorsque la décision s’appuie sur un traitement automatisé.

Autrement dit, la question posée est la suivante : l’absence de biais discriminatoires exigé des machines et vérifiée à l’aide d’une explication peut-elle améliorer les pratiques du monde des affaires ?