Des comportements de recherche encore mal connus

Les comportements de recherche des étudiants de l’enseignement supérieur restent globalement mal connus. L’étude de Soung et Dumouchel (2019) montre cependant que la compétence des étudiants en master et doctorat augmente avec leur progression. Les bases de données documentaires sont effectivement utilisées, ainsi que les moteurs de recherche académiques type Google Scholar. L’étude montre cependant un usage marginal de certains outils comme Scopus ainsi que l’existence d’une proportion non négligeable d’étudiants éprouvant des difficultés dans leurs recherches d’information scientifique. Ces difficultés sont notamment imputables à la barrière de la langue, au manque ou au contraire à l’excès d’informations ainsi qu’à l’accessibilité des outils (abonnements).

Pour toute recherche d’information, profane ou scientifique, il est essentiel de définir une stratégie et de choisir les outils appropriés. Pour les informations profanes, les moteurs de recherche comme Google ou Bing sont privilégiés. Des outils spécialisés, tels que Google Actualités ou Europresse, peuvent être utilisés pour des études sur des tendances émergentes ou l’histoire d’une entreprise. Les difficultés rencontrées, comme un excès ou un manque d’informations, peuvent indiquer une maîtrise insuffisante des techniques de recherche, notamment la sélection des mots-clés et l’utilisation d’opérateurs de recherche, booléens ou avancés (Mesguich, 2021).

Dans le cadre d’une recherche d’information scientifique, la recherche peut s’appuyer sur des bases de données spécialisées, soit dédiées à un domaine de recherche spécifique (Érudit), soit davantage généralistes (Scopus, Web of Science). Des moteurs de recherche comme Google Scholar et Semantic Scholar, accessibles sans abonnement, sont populaires grâce à leur convivialité. Cependant, s’ils offrent une grande quantité d’articles, ils mélangent des sources de qualité variable et peuvent entretenir un certain flou autour des critères de classement des résultats.

Des agents conversationnels utiles mais limités

ChatGPT a connu une adoption rapide lors de sa mise sur le marché en novembre 2022 (Viseur, 2024). L’insatisfaction suscitée par les moteurs de recherche classiques ainsi que l’interactivité apportée par les intelligences artificielles génératives (IAG) encouragent en effet la migration vers ces nouveaux outils (Zhou & Li, 2024). L’attrait des IAG dans le cadre d’activités de recherche scientifique s’est ainsi rapidement développé parmi les étudiants mais aussi parmi les chercheurs. Les fonctionnalités jugées d’intérêt concernent la recherche d’information mais aussi la synthèse d’articles et l’aide à la rédaction, voire la co-rédaction. Des limitations de l’outil ont cependant rapidement été identifiées (de Corbière et al., 2023).

Premièrement, la nature de « perroquet stochastique » des grands modèles de langage (LLM, Large Language Model) les amène à être de bons prédicteurs de séquences de mots mais ne leur permet pas de comprendre l’information rapportée dans les réponses (Hannigan et al., 2024). Cela se traduit par l’introduction d’erreurs factuelles qualifiées d’« hallucinations » dans la littérature (Ye et al., 2023). Hannigan et ses coauteurs parlent de « botshit » pour désigner le risque épistémique consistant à intégrer dans une production humaine des informations erronées générées par une IAG sans prise de recul quant à leur véracité. Ces hallucinations englobent notamment la création de références bibliographiques erronées, soit que les articles n’existent pas, soit que les identifiants fournis ne correspondent pas au bon article (de Corbière et al., 2023 ; Viseur, 2024).

Deuxièmement, l’étude de Sharma et ses co-auteurs révèle que l’utilisation de systèmes de recherche conversationnelle tels que Perplexity introduit de nouveaux comportements de recherche susceptibles d’amplifier les biais de confirmation (Sharma et al., 2024). La technologie de recherche conversationnelle permet en effet aux utilisateurs de rechercher des informations en utilisant une interaction naturelle sous forme de conversation. Les utilisateurs peuvent donc poser des questions complexes ou itératives dans un format conversationnel plutôt que de formuler des mots-clés succincts. Ce mode d’interrogation encourage l’introduction d’éléments subjectifs. Les LLM tendent dès lors à générer des réponses qui s’alignent sur les croyances ou opinions initiales des utilisateurs, ce qui entraîne des risques de biais de confirmation et de polarisation. Ces risques sont encore amplifiés par la moindre propension des utilisateurs à considérer des informations contredisant leurs croyances et à consulter les références éventuellement données en lien. Ce problème des biais de confirmation est donc accru au sein des IAG (Sharma et al., 2024). Cependant, il n’est pas fondamentalement nouveau puisqu’il a également été observé avec les moteurs de recherche généralistes ou scientifiques comme Google Scholar et Semantic Scholar (Kacperski et al., 2023).

Troisièmement, la dépendance des agents conversationnels à des données anciennes et parfois inexactes peut affecter la fiabilité des informations fournies. La littérature pointe ainsi la dépendance de la fiabilité des réponses à la disponibilité de données d’entraînement de qualité (Hannigan et al., 2024). Parmi ces données de qualité, citons notamment les articles de presse et les articles scientifiques. Or, Viseur et Delcoucq (2024) montrent que les éditeurs de presse tendent à bloquer les robots d’exploration utilisés par les producteurs d’IAG (ou par leurs partenaires chargés de la constitution de jeux de données). Ces blocages sont par ailleurs sensiblement plus importants que ceux qui affectent les robots d’exploration des moteurs de recherche classiques. Cette politique visant à défendre la propriété intellectuelle des groupes de presse entraîne deux problèmes. D’une part, les producteurs d’IAG sont obligés de se rabattre sur des données de moindre qualité. D’autre part, ces blocages n’étant pas homogènes, ils entraînent différents types de biais dans les jeux de données brutes d’entraînement incluant des biais linguistiques, culturels ainsi que politiques et idéologiques (Viseur & Delcoucq, 2024). À cela s’ajoute le biais temporel lié à la date de coupure des connaissances des IAG. Une étude similaire appliquée aux sites des éditeurs scientifiques révèle trois choses. Premièrement, l’accès au contenu intégral des articles est souvent impossible pour les producteurs d’IAG puisque ces contenus sont protégés par paywall. Cette tendance est d’ailleurs d’autant plus forte que la proportion d’éditeurs scientifiques commerciaux est importante dans un domaine de recherche considéré, ce qui est notamment le cas dans les sciences sociales (Larivière et al., 2015). Le contenu de ces articles ne peut dès lors être appréhendé que de manière, soit incomplète (abstract), soit indirecte (Wikipédia). Deuxièmement, les éditeurs de revues prédatrices bloquent beaucoup moins l’accès à leur site que les éditeurs de revues conventionnelles, et en particulier que les grands éditeurs scientifiques commerciaux (Springer, ScienceDirect, Wiley…). Troisièmement, le blocage du site pour les producteurs d’IAG se révèle d’autant plus important que la revue fait autorité (classement). Il en résulte un problème de validation des informations scientifiques utilisables pour l’entraînement des LLM. Certes, les producteurs d’IAG ont la possibilité de filtrer ces données brutes. Cependant, d’une part, cette opération se révèle fastidieuse, d’autre part, les développeurs ne peuvent pas inventer des données auxquelles ils n’ont en pratique pas accès.

Quatrièmement, les fonctions intégrées dites de recherche, qu’elle soit classique (ChatGPT « Rechercher », Perplexity « Automatique ») ou approfondie (ChatGPT ou Perplexity « Recherche approfondie »), n’apportent qu’une réponse partielle à ces limitations. En particulier, elles ne suppriment totalement, ni les effets des blocages (pour l’accès aux données d’entraînement ou des agents auxquels des tâches ont été déléguées par exemple) ni le risque d’hallucinations (sur le contenu des résumés ou l’association des références par exemple). De plus, le fonctionnement, souvent en boîte noire, offre actuellement peu de transparence sur les tâches réellement réalisées.

Une nécessaire éducation à l’utilisation des moteurs génératifs

Ces quelques constats sur les limitations de ces technologies nous montrent que les IAG, incluant les moteurs de recherche génératifs, nécessitent une compréhension de leurs limites et une appropriation par les utilisateurs pour des usages pédagogiques efficaces. Les observations préliminaires semblent cependant montrer une maîtrise limitée des IAG par le public estudiantin (Viseur, 2024). Nous avons cependant insisté sur le fait que ce manque de maîtrise venait s’ajouter à des lacunes préexistantes.

Premièrement, l’étude de Soung et Dumouchel (2019) montre que des efforts restent à faire en matière d’utilisation d’outils dédiés à la recherche d’information scientifique, que ce soit pour la recherche proprement dite (bases de données documentaires, moteurs de recherche), pour l’analyse des documents identifiés ou pour la gestion bibliographique. Ces auteurs permettent aussi de prendre conscience de la méconnaissance des comportements de recherche adoptés localement par les étudiants. Il s’agit donc d’une intéressante perspective de recherche dans le contexte de groupes de travail en pédagogie des sciences de gestion (p. ex. MACCA).

Deuxièmement, l’étude de Sharma et al. (2024) met en évidence les risques liés à un mésusage des intelligences artificielles génératives. Les étudiants doivent donc être formés pour une bonne compréhension du fonctionnement et des limitations des IAG. L’énergie consacrée à la vérification des réponses d’une IAG doit être proportionnée au niveau de risque lié à la propagation d’une erreur introduite par le LLM (Hannigan et al., 2024). Si le risque associé à une simple recherche de vocabulaire avant l’utilisation d’un outil de recherche académique se révèle faible, il n’en va pas de même dès lors qu’un agent conversationnel génératif est utilisé dans une séance de questions-réponses ou une recherche, classique ou approfondie. Par ailleurs, il convient de noter que les erreurs introduites par ces agents conversationnels peuvent l’être quelle que soit la nature du travail. Cela englobe notamment la production de résumés (Ye et al., 2023). Les besoins en formation incluent le développement de compétences davantage opérationnelles en matière de rédaction de prompts. Cela couvre, d’une part, la formulation textuelle d’un prompt (p. ex. neutralité), d’autre part, la structuration d’un prompt (p. ex. types d’instructions et rôle affecté au chatbot). Les solutions englobent la formation à des outils permettant aux utilisateurs de travailler sur des documents validés directement chargés dans l’IA (p. ex. GPT « custom » et NotebookML).

Troisièmement, soulignons l’existence de moteurs génératifs dédiés à la recherche d’information scientifique (Consensus, Elicit, SciSpace…). Ces outils apportent une sécurité à l’utilisateur dans la mesure où ils réalisent une synthèse des éléments importants en rapport avec le prompt sur base de documents trouvés dans leur base de données. Cela réduit notamment le phénomène d’hallucination (sans néanmoins totalement le supprimer ; Ye et al., 2023). Cependant, ces services apportent une nouvelle limitation liée à la couverture. Leur facilité d’utilisation masque en effet le caractère plus ou moins transparent, plus ou moins restreint, des bases de données d’articles sous-jacentes. Par exemple, Consensus et Elicit s’appuient officiellement sur la base de données de Semantic Scholar mais annoncent pourtant des volumétries différentes. De plus, les résultats, et donc les résumés générés, peuvent varier fortement en fonction de la formulation de la requête (Whitfield & Hofmann, 2023). En réaction, la communauté scientifique tente, à l’image d’Artirev, de développer des outils davantage maîtrisés (de Corbière et al., 2023 ; Walsh et al., 2022).

Les outils d’intelligence artificielle générative (IAG) offrent donc des perspectives intéressantes en matière d’aide à la recherche d’information scientifique. Ils permettent d’identifier plus rapidement le vocabulaire associé à un domaine, de découvrir de manière itérative de la littérature ou encore de faciliter la sélection des articles en interagissant avec leur contenu ou en produisant des résumés. Ces potentialités s’accompagnent cependant de limitations quant à la fiabilité des informations renvoyées dans les réponses par les systèmes génératifs. Leur diffusion devrait donc s’accompagner d’une montée en compétences chez les enseignants-chercheurs puis d’une formation des étudiants et d’un suivi de l’utilisation de ces outils.