Non, un SIAG n’est ni un auteur ni un expert

Rappelons d’abord que le système ChatGPT n’est pas un auteur, mais un assistant conversationnel aux résultats stupéfiants qui « fabrique des textes mot après mot de telle manière que chacun d’entre eux soit suivi des occurrences statistiquement dominantes dans la gigantesque base de données identifiée par ses concepteurs » (Meirieu, 2023). Assimiler un système d’IA à un auteur participe à toutes les confusions entre intelligence numérique et intelligence humaine, des confusions entretenues par le transhumanisme et qui confortent la puissance de quelques empires numériques.

Rappelons ensuite que le système ChatGPT n’est pas un expert, mais un système d’IA, un système générant statistiquement des contenus et qui influence l’environnement avec lequel il interagit. Il s’agit là de la définition européenne des systèmes d’IA, qui permet de définir les différents degrés de risques de ces influences ou interactions (Duarte et al. 2021). Les risques associés à ChatGP ont déjà été bien testés, notamment par Holmes & Tuomi (2022) ou Mollick & Mollick (2022) ou Allouche (2023) : biais des jeux de données, discriminations, fausses informations ou références, stéréotypes culturels, soupe de fadaises, bullshit ou deep fakes…

Dix propositions à débattre, sur les implications pédagogiques des SIAG

1. Les SIAG ne sont pas seulement des outils. Au-delà de la distinction présentiel-distanciel, ils obligent à redéfinir les modes d’apprentissage, qui se font maintenant en interaction avec un système d’IA, comme : apprendre à améliorer une création artificielle ; apprendre à critiquer une création artificielle, apprendre à comparer des réponses suivant  différentes questions…

2. Une production des étudiants ne pourra plus être uniquement personnelle. Les SIAG obligent à redéfinir les modes d’évaluation de productions qui sont devenues hybrides, comme : évaluer la qualité des requêtes avec le système (l’enchaînement des prompts), évaluer la qualité dans la détection des erreurs (affirmations fausses, sources invalides…), évaluer les différentes versions d’une production etc.

3. Dans tous les processus de contrôle des connaissances (recrutements, examens…) il suffit d’interdire l’utilisation des SIAG ou de privilégier l’oral pour éviter les plagiats et les tricheries inégalitaires. A ce niveau particulier d’un contrôle de connaissances, les SIAG ne posent donc pas de nouveaux problèmes.

4.Les pollutions numériques et le coût énergétique liés à une utilisation massive des SIAG seraient considérables (il ne s’agit plus de calculatrices, de tableurs, ou même d’Internet). Aujourd’hui et en considérant l’absence de réglementation environnementale, il faut freiner et non pas favoriser une généralisation des SIAG, dans l’enseignement comme dans la société.

5. Une utilisation consciente et critique des SIAG exige un certain niveau de connaissance en IA axée sur les données massives. Les programmes de formation des élèves sont à définir au plus vite à tous les niveaux (collège, lycée et université) : gestion de données massives, grands modèles statistiques de langage, architectures des réseaux de neurones formels, classification automatique, éthique pour le numérique…

6. Pour les universitaires, un développement des SIAG dans l’enseignement exige une compétence pédagogique sur les risques et sur les potentiels. Des temps et des budgets de formation doivent être définis au plus vite sur : l’usage des robots conversationnels, l’analyse des traces d’apprentissage, les systèmes de tutorat personnalisé, la préparation des cours et de polycopiés, les nouveaux modes d’évaluation…

7. Grâce à l’appropriation de l’intelligence numérique des SIAG, les compétences requises dans de nombreux emplois vont se modifier. Il faut alors redéfinir les référentiels de compétences actuels et donner la priorité aux savoirs comportementaux (communication, coopération, adaptation, négociation, réflexivité sur l’action…), donc donner moins d’importance aux savoir-faire d’analyse (rédaction, calcul, argumentation, mémorisation, synthèse…).

8. Pour s’approprier l’intelligence numérique des SIAG, il faut avoir les bases nécessaires (le background) pour distinguer : la création et la créativité, la prédiction et l’explication, le probable et la réflexivité critique, le plagiat et la responsabilité. Il faut donc redonner la priorité aux savoirs fondamentaux sur le langage (du français maîtrisé jusqu’aux mathématiques appliquées) et non pas aux savoirs comportementaux.

9. Les SIAG sont essentiellement des systèmes relevant de l’apprentissage par transmission (renforcement des comportements par stimulus-réponse) et/ou de l’apprentissage logique (cognition et neurosciences), qui renforcent l’individualisme et détruisent la vision sociale de l’apprentissage par l’échange (processus d’assimilation et d’accommodation, rôle des communautés de travail et d’un tiers médiateur).

10. Les capacités de rédaction automatisée des SIAG (plan, contenus, résumé, exhaustivité, clarté, style…) vont faire gagner du temps aux étudiants. Ce temps gagné grâce à la création numérique pourra alors être consacré à développer les capacités spécifiquement humaines de créativité : formuler des questions (plutôt que des réponses), développer une pensée en interaction consciente dans un contexte précis (qui est toujours social, historique et psychologique)…

Dix propositions à débattre, sur les implications stratégiques des SIAG

1. Pour pouvoir mieux profiter des performances des SIAG, les étudiants seront amenés à adapter leur langage et leur comportement à ceux des robots conversationnels (requêtes, styles, recommandations, hyper-connexion…). Le fameux test de Turing va s’inverser : par mimétisme avec le langage de l’intelligence numérique, ce sont les capacités spécifiquement humaines d’esprit critique qui sont en danger : le doute, le scepticisme intellectuel, la prise de recul, la réflexivité sur l’action…

2. Les données massives ne sont jamais brutes, mais construites : il faut choisir de les saisir et choisir de les incorporer à un corpus, les biais peuvent donc être très importants. Mais dans l’entraînement d’un SIAG, les précautions prises par les concepteurs ne concernent que leurs stéréotypes culturels (ici liés à la Silicon Valley) : contrôle de certains racismes et certains sexismes, hégémonie de la langue anglaise (même traduite), refus de certaines violences…

3. Toutes les sciences s’étaient construites sur une association entre l’accumulation des connaissances et la compréhension des phénomènes. Les SIAG s’appuient sur les probabilités et les corrélations pour prédire sans avoir besoin de comprendre. La dissociation entre la connaissance et la compréhension est une révolution cognitive : puisque « ça marche » dans presque tous les cas, on peut se passer de théories scientifiques (d’ailleurs toujours remises en cause).

4. En générant des suites de mots probables et en sachant les intégrer dans un certain style, les SIAG peuvent produire en quelques secondes des réponses plausibles et convaincantes sur des sujets de haut niveau. Mais des probabilités sans compréhension entraînent aussi des erreurs dangereuses (fausses informations ou références, code défectueux, corrélations abusives…) qui obligent à certifier “sans SIAG” tout travail de recherche ou de médiation scientifique.

5. La synthèse plausible d’un ensemble considérable de données peut faire apparaître un SIAG comme une bibliothèque générale et comme un professeur savant. Pour des utilisateurs naïfs, ces qualités impressionnantes et cette atmosphère magique génèrent un excès de confiance qui bouleverse les modèles classiques d’acceptation des technologies (qui fondaient l’intention d’utilisation sur la perception de l’utilité et de la perception de la facilité).

6. En facilitant une spirale de désinformation, sans sources et sans explicitation possible, les SIAG vont « améliorer » encore la captation de l’attention. Dans la société, mais aussi dans l’université, on va voir s’accentuer une fracture entre une élite formée par des sources exigeantes de qualité et une majorité nourrie d’informations plausibles mais totalement indifférentes à la vérité (au mieux une soupe de fadaises, au pire du bullshit ou des deep fakes).

7. Les gigantesques jeux de données des SIAG viennent à la fois de sources fiables et de discours sur le Web qui sont invérifiables sinon nuisibles ou malveillants ; les risques éthiques sont réels (biais, reproduction des discriminations…). Une législation sur le numérique restera toujours illusoire, on ne peut faire confiance qu’au respect d’une déontologie des chercheurs, des concepteurs et des data scientists, pour une « science en conscience »: pratiques minutieuses de collecte des données, prise en compte des parties prenantes, conception collaborative des objectifs, multiples tests, audits, filtres, etc.

8. Leur coût financier (recherches, calculs, infrastructures) réserve le développement des SIAG aux grands empires numériques. Les risques sont alors réels : contrôle de l’information, contrôle des comportements, choix de société… Une déontologie pour le numérique restera toujours bafouée, on ne peut faire confiance qu’à une législation contraignante des systèmes d’IA pour une « gouvernance du numérique »: législation européenne AI Act, législation canadienne C-27, droit d’auteur, RGPD… législations co-construites par l’engagement de collectifs de citoyens (plaintes, plaidoyers, boycotts, lanceurs d’alerte).

9. L’engouement médiatique à propos des SIAG est du même ordre que les engouements sur la prédiction de la grippe, sur le jeu de Go, sur la voiture autonome, sur les implants cérébraux… Au-delà de leurs intérêts scientifiques certains, ces défis spectaculaires ont surtout comme effet de sacraliser la puissance des empires numériques, pour assurer l’idéologie du solutionnisme numérique sans délibérations sur l’étendue des problèmes : «Pour tout résoudre, cliquez ici!».

10. La multitude de photos artificielles fera disparaître le modèle d’Instagram, la multitude de productions artificielles fera disparaître le concept d’auteur. Les SIAG sont une révolution dans la communication.