Quelles implications de l’AIA pour l’action publique ?

Le recours à l’intelligence artificielle (IA) revêt une forme d’attractivité certaine dans un contexte d’injonction à l’efficience. Dans la mouvance du Nouveau Management Public (NMP), l’action publique contribue à cette injonction : on observe une caution et le soutien au développement des « algorithmes publics » de la part des gouvernements pour automatiser des décisions, améliorer la gestion de la relation avec les usagers, cibler les contrôles (face à la fraude) ou encore analyser et synthétiser l’information disponible.

Figure 1. Stratégies gouvernementales en matière d’IA (OCDE, 2019) – OCDE OPSI

Concernant l’AIA, il est important de noter que six des huit rubriques des « systèmes à haut risque » sont directement liées à l’action publique : la gestion de la sécurité des infrastructures critiques (eau, routes, etc.), la sélection ou l’évaluation dans l’éducation, l’accès aux services publics essentiels et aux prestations sociales (éligibilité, solvabilité, etc.), la gestion des migrations (examen des droits d’asile, etc.), l’exercice de la justice (examen de faits ou de textes de loi).

Les « autorités répressives » (la défense, la justice et la police) y sont également largement abordées, bien qu’elles bénéficient également d’exceptions. Ainsi, bien que les « systèmes d’identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives » (reconnaissance faciale) soient interdits par principe, ils ne le sont pas dans le cas de la recherche d’un mineur disparu, ou encore de l’identification d’un suspect dans le cadre d’une infraction pénale.

Quels sont les 3 messages à destination des acteurs publics ?

Nous pouvons souligner trois signaux importants envoyés par ce texte récent sur l’IA à destination des décideurs et des acteurs publics ou privés de service d’intérêt général.

Renforcer l’amélioration continue des systèmes d’information par l’essor des codes de conduite (article 69)

Dans la logique du RGPD, il s’agit avant tout de mise en conformité (articles 16 et 17) en amont de la « mise sur le marché » (ou compliance). Or, depuis les travaux de Bozeman et Bretschneider (1986), la diversité de modèles de « publicness » diffère fondamentalement des modèles privés, en termes de management de la qualité et de la performance des systèmes d’information (SI). Une piste pour ces prescriptions de Management Public des SI semble plutôt se trouver dans le partage de pratiques. Citons à titre d’exemple, les guides gouvernementaux produits par Etalab en France ou encore le NESTA au UK. En complément d’autres guides professionnels dédiés à l’IA, ceux-ci viennent diffuser des pratiques propres à l’IA dans l’action publique.

De plus, cela implique d’y réserver la place du service rendu qui pourrait s’apparenter à la prise en compte de l’impact social et environnemental des systèmes d’IA proposé via des « codes de conduite ». En somme, cela pose la question de la création de valeur du secteur public (Lorino, 1999) dans le contexte de la transformation numérique, ainsi que de la mesure de l’efficience des systèmes d’information des organisations publiques (Biot-Paquerot, 2006).

Evaluer l’impact sur la santé, la sécurité et les droits fondamentaux de leur recours à l’IA

Le projecteur est ainsi sur l’impact des systèmes d’IA et donc sur l’évaluation interne comme celle par des tiers des données d’entrée, des données de test, des données de validation, des algorithmes et des résultats sur les personnes. Ces tiers peuvent être ceux prévus par la réglementation (article 33), mais d’autres acteurs émergent, se spécialisant dans la lutte pour les droits des usagers (notamment face aux biais d’ores et déjà dénoncés sur l’IA) et l’éthique de l’IA. Citons AlgorithmWatch [1], observant et dénonçant l’impact des décisions automatisées sur la société. Nous pouvons également citer AI Incidents (ou Incident Database) recensant, sous forme de témoignages, les incidents face à des algorithmes. C’est ainsi que la France est apparue dans cette base de données à la suite de plaintes liées au nouvel algorithme de la CAF (Incident n°100). Ces plaintes concernaient la propension du nouveau logiciel à générer plus de dette pour les allocataires, tout en ne permettant pas simplement aux agents de rectifier les erreurs en amont des notifications. La problématique managériale n’est plus seulement ici la capacité de l’humain à détecter des erreurs dans les données ou dans la règle de gestion associée (Klein, Goodhue, Davis, 1997), mais d’y avoir un accès rendant possible ce contrôle en amont du résultat, sous peine de sanctions dissuasives (article 72).

Cet enjeu de l’évaluation de l’impact des systèmes d’IA est d’autant plus prégnant pour l’action publique, qu’il va avec la notion de « transparence des algorithmes publics », déjà introduite en France dans la loi pour une République numérique de 2016, que l’on retrouve dans le Code des relations entre le public et l’administration (CRPA, L.300-2, L.311-3-1). Il est réaffirmé ici avec la place du contrôle humain telle que définie à l’article 14 de l’AIA.

Relever ses manches et embrasser l’innovation par « tâtonnement »

En d’autres termes, cet AIA fait la part belle aux « faiseux », plutôt qu’aux acheteurs de logiciel sur catalogue. Il est ainsi question des « bacs à sable » (article 53), dans le même esprit que ceux pilotés par la CNIL sur le RGPD. Cela pose la question des compétences à disposition des acteurs publics et des divergences dans les trajectoires d’adoption des SI (Bidan, Biot-Paquerot, Chaboud, Lentz, 2020). A ce titre, Etalab œuvre à créer des équipes pluridisciplinaires en soutien à la mise en œuvre de « start-up d’Etat ». Cela a été le cas pour le développement de Signaux Faibles, pour prédire la défaillance des entreprises et les accompagner. Cela interroge également la capacité d’absorption (Cohen, Levinthal, 1990) de ces innovations par les organisations privées ou publiques de service d’intérêt général. Cette « aptitude à reconnaître la valeur d’une information nouvelle, à l’assimiler et à l’appliquer à des fins commerciales », est mise à l’épreuve lorsqu’il s’agit de raisonner en termes d’impact sur les droits fondamentaux.

Il y a enfin également des appels à projets et des financements fléchés sur l’IA sous forme de fonds au niveau européen (Horizon Europe notamment), national (Ministère des Transports, Direction Générale à l’Armement, Ministère de l’Education, etc.) et local (Région Île-de-France³ sur l’éducation, la métropole de Nice Côte d-Azure). Cependant à ce propos la CNIL, ses homologues européens et le Contrôleur européen de la protection des données personnelles (CEPD) rappellent le nécessaire accompagnement de l’innovation[2].

Quelles perspectives pour l’usager final ?

Le rôle de l’usage final (end user) est assez peu clairement abordé dans ce texte règlementaire mais il demeure important de s’y intéresser et de soulever trois dimensions majeures liées à l’exercice des droits, à l’expérience et à l’apprentissage naturel.

De l’Information et de l’exercice des droits

L’usager d’une société où l’IA bat son plein est éclairé et informé sur les décisions le concernant. La visée de l’IA dans ce contexte ne peut être que l’amélioration du service. Cette information peut être active et aller jusqu’au recours à l’IA par l’usager, pour départager des services publics ou privés. Que peut-on attendre du développement de logiciels de classement des opérateurs en fonction de leur impact carbone, de l’évolution de leur discours, des conditions sociales réelles de leur production, etc. ? Il y a eu récemment le lancement de l’application CarbonFact pour évaluer les chaussures en fonction de leur impact carbone, s’appuyant sur plus de 500 contributeurs pour améliorer la qualité des données d’entrée et l’algorithme de classification. Nous assistons également à la volonté de créer une filière de ces « services publics citoyens » (Le Monde, 2021), des services émanant de la société civile, où les data scientists sont fortement représentés et souhaitent contribuer à l’intérêt général grâce aux technologies, à l’instar de Covidliste, Vite Ma Dose, Briserlachaine.org pendant la crise du Covid19.

Ce rôle de l’usager pourrait aller jusqu’à participer à l’évaluation de la conformité voire au « système de surveillance après commercialisation ».

De la relation et de l’expérience usager

En termes de management, cela a également des répercussions directes sur les relations entre les fonctions marketing, ventes et la DSI. Peut-on imaginer bénéficier, en tant qu’usager, des mêmes chances de personnalisation du service que celle qu’opèrent allègrement les GAFAM ? Peut-on imaginer remplir à nouveau les zones du vide des services des territoires grâce à des équipes aiguillées par l’IA ? Peut-on espérer la montée en puissance d’une gestion intelligente des infrastructures et de leur maintenance prédictive ? C’est également l’opportunité de repenser la relation avec entre l’usager final et « l’agent du terrain », notamment sur fond de débat sur le manque d’accès au numérique et/ou l’illectronisme. En effet, l’IA n’est pas que numérique, l’IA peut s’urbaniser, se matérialiser, s’intégrer aux supports physiques existants, à l’instar de ce que prônent les travaux d’Urban AI. Il y a là un enjeu de ré-humanisation de l’action publique « augmentée » (Biot-Paquerot, Assadi, Ashta, 2021).

Du paradoxal mais éthique « apprentissage naturel »   

La compétition internationale incite à innover technologiquement. Ce projet de réglementation nous rappelle qu’il s’agit également d’adapter les pratiques et les outils avec des résultats explicables et contrôlables par l’humain. Un paradoxe apparait car, même s’il s’agit d’innovations hautement technologiques, les pratiques pour en garantir l’éthique ressemblent finalement fort aux techniques « d’apprentissage naturel » décrits par C. Freinet (1964 ; Monthubert, Pomès, 1999). Il est en effet important de permettre un « tâtonnement expérimental » à chaque utilisateur du SI.

[1] AlgorithmWatch est une organisation de recherche et de plaidoyer à but non lucratif qui vise à observer et à analyser les systèmes de prise de décision automatisée (ADM) et leur impact sur la société.

[2] Comité européen de la protection des données et Contrôleur européen de la protection des données, avis conjoint 5/2021 sur la proposition de règlement établissant des règles harmonisées sur l’intelligence artificielle, 18 juin 2021.