Qu’est-ce qu’une revue scientifique ?

Les revues scientifiques constituent un levier de communication majeur, mobilisé par les chercheurs afin de promouvoir leurs études, et ce au moins depuis la parution, en 1665, du « Journal des sçavans » à Paris et du « Philosophical Transactions of the Royal Society » à Londres. L’enjeu est de diffuser une connaissance nouvelle et originale dont la production par les chercheurs repose sur une méthodologie rigoureuse et scientifique. La revue est alors garante de ce processus qui vise également à nourrir le débat scientifique entre spécialistes.

Une des particularités des revues scientifiques repose sur la modalité d’évaluation des articles publiés, l’évaluation par les pairs. Une telle modalité implique que ce sont les chercheurs qui évaluent les travaux de leurs collègues. Le postulat étant que ces derniers sont les plus compétents et les plus légitimes pour apprécier les apports et limites théoriques et méthodologiques, mais également les implications pratiques de la communication proposée.

L’évaluation par les pairs (peer review en anglais) est un principe fondamental du fonctionnement des revues et des communautés scientifiques. Il s’agit à cet égard d’un standard de qualité aujourd’hui partagé tant par les éditeurs que par les organismes de recherche.

L’évaluation par les pairs, à l’origine, était réalisée en toute transparence. Il s’agissait le plus souvent d’annotations, de commentaires, permettant de questionner, améliorer et/ou réfuter l’étude. Il faudra attendre le lendemain de la seconde guerre mondiale afin que s’impose le principe d’évaluation par les pairs en double aveugle. Le double aveugle implique que l’auteur ne sait pas qui a évalué son article et que l’évaluateur ne sait pas qui a rédigé l’article. L’ambition étant ici de favoriser l’objectivité de l’évaluation.

L’examen par les pairs – qu’il soit transparent ou en double aveugle – remplit deux fonctions cruciales :

• estimer la validité et la fiabilité d’un travail dans sa méthodologie, son analyse et son argumentation afin de répondre à la question suivante : « La recherche produit-elle une connaissance originale et un apport significatif dans le champ considéré ? »,
• soutenir la sélection éditoriale en évaluant la congruence thématique ou l’impact attendu d’un travail afin de répondre à la question suivante : « Cette recherche est-elle appropriée pour cette revue, conférence ou appel à financement ?« .

Quelles sont les limites du double aveugle ?

Si la notion d’évaluation par les pairs constitue un véritable consensus au sein de la communauté scientifique, nous assistons toutefois à une remise en cause du double aveugle comme en témoignent notamment les travaux de Goldbeck-Wood (1999), Jefferson et al. (2002) ou encore Ware (2008).

Ross-Hellauer (2017) présente à cet égard un panorama des principales critiques relatives au double aveugle :

• Délais trop longs : la période entre la soumission et la publication dans de nombreuses revues s’étend de 1 à 3 ans. Ce retard ralentit la disponibilité des résultats pour des recherches ultérieures et une exploitation professionnelle (Jubb, 2016).
• Coûts élevés : le travail des évaluateurs est fourni bénévolement aux éditeurs par des enseignants-chercheurs qui sont rémunérés par leur institution. Au Royaume Uni, la Research Information Network estime à près de 2 milliards de livres sterling en 2008 le coût de l’évaluation (Research Information Network, 2008). Ce chiffre ne tient pas compte des coûts de coordination des éditeurs, ou le temps que les auteurs passent à réviser et à soumettre à nouveau des manuscrits.
• Manque de transparence : certains évaluateurs, protégés par l’anonymat, peuvent favoriser certains courants, principes et théories en fonction d’un parti pris idéologique (Tregenza, 2002; Dall’Aglio, 2006).
• Manque d’incitations : l’évaluation par les pairs en double aveugle fournit peu d’incitations aux examinateurs, dont le travail est presque exclusivement non rémunéré et dont les contributions anonymes ne peuvent être, en conséquence, reconnues et donc récompensées à leur juste valeur (Ware, 2008). Ce phénomène a par ailleurs un impact sur les délais.

Quelles sont les alternatives ?

Face aux critiques du double aveugle, de nombreuses initiatives proposent une alternative concrète (Tennant et al., 2017). En se fondant sur le principe d’ouverture et de transparence, Ross-Hellauer (2017) propose 7 méthodes ouvertes, non exclusives, d’évaluation par les pairs.

• Identités ouvertes : les auteurs et les réviseurs sont conscients de l’identité de chacun
• Rapports ouverts : les rapports d’évaluation sont publiés avec l’article correspondant
• Participation ouverte : la communauté contribue au processus d’évaluation
• Interaction ouverte : une discussion réciproque directe entre les auteurs et les réviseurs, et/ou entre les réviseurs, est autorisée et encouragée
• Ouvrir les manuscrits de pré-révision : les manuscrits sont immédiatement disponibles (par exemple, via des serveurs de pré-print comme arXiv) avant toute procédure formelle d’examen par les pairs
• Ouvrir les commentaires de la version finale : évaluations ou commentaires sur les publications finales par la communauté
• Plates-formes ouvertes : l’évaluation se fait via des plateformes dédiées indépendantes de la revue (comme RUBRIQ ou Peerage of Science )

Management & Datascience abandonne le double aveugle

La globalisation du secteur académique, conjuguée à une accélération sans précédent de la transformation digitale, implique de repenser en profondeur le rôle des revues scientifiques (Mamavi et Zerbib, 2020). C’est en effet la conviction de Management & Data Science, une plateforme ouverte de création et de diffusion de la connaissance, spécialisée dans l’étude de la transformation digitale.

Management & Data Science offre une alternative concrète à la logique du « publish or perish » (Mamavi et Zerbib, 2019) en permettant une reconnaissance de nos auteurs via les altmetrics au travers de sa revue académique et ses datas challenges (Mamavi, 2019).

La ligne éditoriale de notre revue défend un positionnement fondé sur la rigueur, la pertinence, la vitesse et l’impact alternatif. Management & Data Science estime qu’une étude peut être qualifiée de scientifique dès lors qu’elle répond à au moins deux critères fondamentaux : la transparence de la production scientifique et sa reproductibilité. Or, le double aveugle ne nous semble pas ici constituer un moyen incontournable pour évaluer ces deux critères.

Il nous paraît en effet impossible – y compris via une relecture en double aveugle – de garantir la reproductibilité d’un résultat sans un accès circonstancié aux jeux de données. Or, si le jeu de donnée est accessible à la communauté, le double aveugle ne nous semble plus indispensable.

Management & Data Science assume, en conséquence, un protocole de sélection fondé sur la décision du comité éditorial. Un comité éditorial peut en effet évaluer le degré de transparence d’un protocole de traitement au même titre qu’il peut apprécier l’existence, ou non, d’un jeu de données. Il peut par ailleurs recourir, lorsque cela sera nécessaire, à des experts afin de lever une éventuelle ambigüité. La vigilance de notre communauté, de nos lecteurs, ajoutée à l’ergonomie de notre plateforme, permet ensuite de discuter, de modérer, de contredire une référence, un protocole, un résultat ou encore une interprétation.

Voilà pourquoi l’ensemble des articles publiés au sein de Management & Data Science sont en libre accès et peuvent être commentés par notre communauté. Il nous semble en effet que la conversation constitue une dynamique fertile et utile en matière de vitalisation et de régulation du débat scientifique.

Une communauté animée autour de la volonté de discuter et d’améliorer les travaux de recherche a le double avantage de générer un processus de perfectionnement et d’innovation continu, mais également de nourrir l’impact alternatif de nos auteurs.

Il nous semble enfin important de souligner qu’une absence d’évaluation en double aveugle n’implique pas une absence de sélection. Management & Data Science procède en effet à de nombreux refus de publication, dont le motif est clairement précisé à l’auteur.

Management & Data Science s’inscrit à cet égard dans le sillage de la déclaration de Dora qui recommande une recherche concise fondée sur un accès sans contrainte aux données, aux protocoles ainsi qu’aux publications.

En résumé, voici pourquoi Management & Data Science abandonne le double aveugle :

• Nous estimons qu’une étude peut être qualifiée de scientifique dès lors qu’elle répond à au moins deux critères cruciaux : la transparence de la production scientifique et la reproductibilité.
• Nous estimons que le recours au double aveugle n’est pas incontournable pour estimer le degré de pertinence et de transparence d’une étude.
• Nous estimons que le double aveugle ne permet pas de garantir la reproductibilité d’une étude sans un accès circonstancié au jeu de données.
• Nous estimons qu’un accès au jeu de données ainsi qu’au protocole de traitement permet à la communauté d’évaluer et de tester les résultats.
• Nous garantissons qu’un éventuel décalage entre les résultats mentionnés et un test de notre communauté conduirait à une dépublication immédiate, définitive ou temporaire (le temps de corriger l’étude).
• Nous estimons qu’une éventuelle lacune au sein d’une étude (références, méthodologie, traitement, résultat, interprétation) peut être mis en évidence, en toute transparence, par notre communauté.
• Nous souhaitons encourager la conversation scientifique car elle constitue un moyen fertile et efficace de réguler et dynamiser la recherche.
• Nous estimons que la possibilité de commenter en toute clarté, et de façon constructive, un article, mais également de pouvoir éditer une nouvelle version amendée, constitue une transparence souhaitable et utile pour la communauté scientifique.
• Nous estimons enfin que le processus d’évaluation en double aveugle est chronophage sans pour autant garantir la reproductibilité de l’étude à nos lecteurs.
• Nous savons qu’une absence de double aveugle n’implique pas une absence de sélection.
• Nous assumons en conséquence un protocole de sélection fondé sur la décision du comité éditorial de Management & Data Science.

Notre comité éditorial mobilise à cet égard une grille d’évaluation qui lui permet de publier ou de rejeter dans un délai optimal les articles que nous recevons.

Publier dans Management & Datascience

La revue éditée par Management & Data Science propose trois rubriques principales: « Etude & Recherche« , « Culture Data » et « Avis d’Expert« .

• Les articles publiés dans la rubrique « Etude & Recherche » reposent sur un protocole argumentatif rigoureux. Les sources bibliographiques ainsi que les méthodes d’analyse font l’objet d’une transparence complète. La section « Etude & Recherche » garantit à nos lecteurs clarté et rigueur méthodologique mais ne peut certifier la reproductibilité des résultats.
• Les articles publiés dans « Culture Data » donnent accès au jeu de données et au protocole de traitement (généralement un programme). La section « Culture Data » certifie à nos lecteurs la transparence ainsi que la reproductibilité des résultats. Un éventuel décalage entre les résultats mentionnés et un test de notre communauté conduirait à une dépublication immédiate, définitive ou temporaire (le temps de corriger l’étude).
• Les articles publiés dans « Avis d’expert » mettent en avant un point de vue intelligible, argumenté et pertinent, fondé le plus souvent sur des sources bibliographiques.

Les trois rubriques de Management & Data Science n’exigent pas, de notre point de vue, le recours au double aveugle. La transparence constitue selon nous un levier plus efficace. Le double aveugle implique en effet un processus chronophage et complexe en raison des multiples ressources qu’il exige pour être convenablement mis en œuvre. Une telle procédure conduit à pénaliser nos auteurs sans pour autant garantir la reproductibilité des résultats auprès de nos lecteurs. Or, les enjeux de rigueur et de vitesse sont d’autant plus cruciaux que les études scientifiques ont vocation à être traduites et prises en main par de nombreux praticiens (managers, marketers, datascientists, etc.) afin de les aider à résoudre au mieux les problèmes auxquels ils sont confrontés.