Donner son avis sur l’internet est devenu une habitude dans de nombreux domaines : après avoir essayé un nouveau restaurant, suite à une visite de musée, à la réception de son nouveau smartphone, etc. Les employeurs sont aussi concernés par cette tendance à l’évaluation généralisée. Des plateformes se sont spécialisées dans la publication d’avis de salariés anonymes et accompagnés de notes. L’arrivée de Glassdoor sur le territoire français à partir de 2014 a développé les usages de ce type de traces nouvelles pour des employeurs et des candidats à un recrutement jusque-là habitués aux seules communications institutionnelles, souvent orientées par la logique de marque employeur.

Ce phénomène se traduit notamment par la publication de notes, de scores, de mesures pour les employeurs, allant souvent de 1 à 5. Ces repères sont censés servir aux candidats à un recrutement ou à un observateur externe afin de connaitre en toute transparence la qualité de l’employeur. Parfois associées à Tripadvisor, ces plateformes proposent pour l’emploi ce que d’autres dispositifs fournissent depuis de nombreuses années pour des services et produits divers.

Une première observation rapide de ces informations montre des notes regroupées autour entre 3 et 4. La lecture des textes associés aux notes peut laisser dubitatif sur le sens de ces mesures. Par exemple, une note de 2 peut être accompagnée d’éléments très positifs alors qu’une note de 4 est associée à un commentaire plutôt critique. Ces premières observations que tout utilisateur peut réaliser questionnent sur le sens de ces notes.

Une possibilité pour comprendre leur logique est de rencontrer des salariés ayant utilisé ces dispositifs. Une autre est d’étudier les données massives accessibles sur ces plateformes en postulant que le texte associé à la note fournit des éléments d’explication de la construction de la note attribuée.

Cet article proposera des pistes de réponses sur cette problématique de la compréhension du sens des notes employeurs attribuées par des salariés.

Pour cela, nous utiliserons la méthode de la distance textuelle dont nous expliquerons rapidement les principes. Puis nous détaillerons la mise en œuvre de cette méthode et enfin discuterons les résultats obtenus.

La distance textuelle, principes et mise en œuvre

Chaque note d’une plateforme d’avis employeur est associée à un texte, un commentaire, une évaluation expliquant le score publié. En principe et contrairement à certaines observations relatées précédemment, les textes associés à la note 1 devraient être très différents de ceux associés à la note 5 et sensiblement différents de ceux de la note 2, etc. Pour mesurer des différences entre textes, plusieurs méthodes sont possibles. Nous présenterons dans cette recherche, les principes de la distance textuelle.

Initiée notamment par Muller en 1967 et 1977 sous le nom de connexion lexicale (Labbé et Monière, 2010), la distance entre deux textes permet « d’évaluer et de représenter la proximité ou l’éloignement entre deux ou plusieurs textes en fonction de divers paramètres (dont le plus familier et le plus fréquemment étudié est leur lexique) » (Barthélémy, Luong et Mellet 2000, p. 1). En ce sens, elle peut être approchée par la mesure du nombre de formes communes : deux textes ayant peu de formes communes seront considérés comme distants et inversement. Dit autrement avec une logique d’ensembles (Labbé et Labbé, 2003), lorsque la réunion de deux textes correspond à leur intersection, les textes sont identiques, proches avec une faible distance. Inversement, lorsque la réunion de deux textes moins leur intersection est égale à leur réunion, les formes des deux textes sont complètement différentes, la distance est maximale. Le principe général de la mesure d’une distance textuelle sera ainsi une différence :

[Nombre de formes du texte 1+ Nombre de formes du texte 2 – Formes communes]

Pour mesurer une distance textuelle, cette première approche se heurte à la différence de taille des textes. En effet, si un des textes comparés est beaucoup plus grand que l’autre, la distance tendra à grandir, le nombre de formes communes étant plus faible. Brunet propose (2003) de prendre en compte la taille de chaque texte pour réduire la comparaison à des échelles comparables selon la formule suivante :

Figure 1. Formule distance textuelle de Brunet

N_a ou _b = nombre de formes totales du texte a ou b

N_ab = nombre de formes communes

L’exemple suivant, avec les trois textes suivants, permettra de mieux suivre cette logique :

Texte 1 : l’arbre est en fleur (5 formes)
Texte 2 : la fleur a poussé cette nuit (6 formes)
Texte 3 : la nuit, les fleurs poussent (5 formes)

Distance texte 1 et texte 2
= [(5-2)+(6-2)] / (5+6)
= 7/11
= 0,63

Distance texte 2 et texte 3
= [(6-4)+(5-4)] /(6+5)
= 3/11
= 0,27

Les textes 1 et 2 sont plus éloignés que les textes 2 et 3 considérés comme proches. Cette méthode permet aussi de ramener la distance à un indicateur compris entre 0 (faible distance, textes identiques) et 1 (forte distance, texte différents). « Égal à 0 (distance nulle), il [le calcul de la distance] signifie que les deux textes comparés sont en tous points identiques. Égal à 1 (distance maximale), cela signifie que les deux textes n’ont absolument rien en commun. Situé entre 0 et 1, cela signifie que les deux textes partagent un certain nombre de traits linguistiques (vocabulaire commun si la base du calcul est le vocabulaire, codes grammaticaux communs si l’on étudie la grammaire, etc.). » (Mayaffre et Luong, 2003, p. 5).

Comme pour la méthode de Muller, les différences de taille peuvent poser problème car le calcul sera orienté par la différence de taille Nb-Nab qui aura tendance à maximiser la distance. Pour éviter cette dérive, Labbé et Labbé (2001, 2003) proposent de mesurer forme par forme en utilisant la notion d’espérance de présence d’une forme, c’est-à-dire la fréquence ramenée à l’effectif :

Figure 2. Formule distance textuelle de Labbé et Labbé (2003)

Cette formule peut se lire de la façon suivante : la distance est la somme des valeurs absolues de la différence entre la fréquence « i » dans le texte « a » (Fia) et la fréquence ramenée à l’effectif de b (Eia(u)) rapportée à la somme des effectifs de a et b ; pour b calculé proportionnellement à l’effectif théorique de b par rapport à a.

Cette méthode permet de limiter l’influence de la taille des textes sur la mesure de la distance sans l’éliminer complètement puisque les auteurs recommandent un rapport de 10 maximum entre la taille des textes comparés (Labbé et Labbé, 2003, p. 6 et 8). Comme pour Brunet (2003), le résultat est un score compris entre 0 et 1 et se fonde sur le principe de Muller, d’une distance faible lorsque les formes communes sont nombreuses.

Cette approche permet ainsi de mesurer des différences de contenu de textes mais pas forcément de sens. En effet, deux textes utilisant des formes très différentes peuvent avoir un sens proche, la richesse et les nuances linguistiques pouvant permettre cette situation. Appliquée aux textes associés aux notes employeur, cette approche peut permettre de vérifier que les textes sont différents, distants ou pas…mais pas de valider une hypothèse de cohérence du texte d’évaluation avec la note associée.

Corpus et mise en œuvre du calcul de la distance dans Iramuteq

Afin d’explorer la distance entre les avis associés aux notes employeur, nous avons constitué un corpus d’avis des entreprises du CAC40 à partir de la plateforme Indeed France qui regroupe des avis textuels associés à une note allant de 1 à 5. La collecte de ces données publiques a été réalisée sans créer de compte utilisateur en janvier 2021. Elle a été organisée en prenant en compte l’impact potentiel de cette collecte sur les serveurs de cette plateforme : étalement de la collecte dans le temps, nombre limité de requêtes, faible mobilisation des ressources du serveur, etc. Une fois les pages Indeed enregistrées localement, nous avons extrait du code HTML les données aux formats attendus par les logiciels de traitement statistique et d’analyse multidimensionnelle utilisés ensuite (tableur, Iramuteq).

Une fois le corpus nettoyé (suppression des avis en langue étrangère (anglais, chinois, espagnol)), nous avons obtenu 27 215 avis en français associés à des notes pour 758440 occurrences et 34499 formes. La forme ‘travail’ est la plus utilisée (10693 citations) suivie d’’entreprise’, ‘équipe’ et ‘agréable’. La note employeur moyenne est de 3, 86 pour ces entreprises du CAC40.

L’ensemble des formes ont été utilisées (actives et supplémentaires) afin de souligner les différences potentielles et dans la logique de calcul de Labbé et Labbé (2003). Pour les mêmes raisons, la fréquence minimale a été fixée à 1. La distance a été calculée sur des formes lemmatisées conformément aux conseils des auteurs (Labbé et Labbé, 2003). Par contre, les textes n’ont pas été nettoyés des fautes de graphies ce qui peut tendre à augmenter artificiellement la distance entre textes. La taille du corpus limite cependant cet effet potentiel.

Enfin, les textes comparés ont des tailles différentes mais inférieures à un facteur 10 conformément aux recommandations et d’une taille supérieure à 1000 mots (Labbé et Labbé, 2003)

Tableau 1. Taille des textes étudiés

Résultats, respect de l’échelle des notes

Le résultat du calcul des distances textuelles entre les textes associés aux notes employeur est le suivant :

Tableau 2. Distances textuelles entre les textes associés aux notes employeur

Par exemple, la distance textuelle entre les textes de la note 1 et de la note 5 est de 0,3026. Les distances varient de 0,1034 à 0,3026 avec une moyenne de 0,2057. Ces distances sont plutôt faibles et les textes sont assez peu différents selon ces notes, c’est-à-dire qu’ils utilisent beaucoup de formes communes.

Par ailleurs, les distances sont presque identiques d’une note à l’autre :

Note 1 à Note 2 : 0,1597 ; Note 2 à Note 3 : 0,1743 ; Note 3 à Note 4 : 0,1321 ; Note 4 à Note 5 : 0,1034

Les textes des notes 4 et 5 sont plus proches et semblent peu différenciés.

Des auteurs différents, un sens à préciser

Selon cette représentation, deux ensembles de note se distinguent : les notes 1 et 2 d’une part et les notes 3, 4 et 5 dont ces deux dernières sont proches. Finalement, les salariés utilisent un vocabulaire plutôt homogène pour écrire ces avis, la thématique commune, le travail dans une entreprise, rapproche les commentaires. Pour autant, les formes utilisées sont suffisamment différentes pour distinguer clairement et logiquement ces notes dont les textes associés se répartissent bien sur une échelle de 1 à 5. Les observations ponctuelles peuvent laisser apparaitre des avis étonnants, peu cohérents avec la note mais la tendance mise en évidence par ces données massives est plutôt une distinction entre les possibilités de score. Les notes 4 et 5 sont associées à des textes proches cependant.

Les salariés semblent ainsi répartir leurs décisions d’évaluation entre 3 possibilités et pas 5 :

• de mauvaises notes (1 ou 2 avec des textes distincts) ;
• une note moyenne intermédiaire (3) ;
• de bonnes notes (4 et 5 avec des textes proches).

Cette étude des distances textuelles entre commentaires de note fait apparaitre des styles d’auteurs différents comme dans certaines analyses d’œuvres littéraires (Labbé et Labbé, 2003 ; Ratinaud, 2018). Un auteur d’un texte associé à une note 1 a un style très différent d’un auteur d’une note 5 ce qui n’a rien d’étonnant mais que cette méthode prouve. Plus intéressant, les salariés-auteurs investissent des styles différents pour chaque type de notes. Un lecteur avisé pourrait ainsi retrouver une note ou sa catégorie au moins [(1,2), 3 ou (4,5)] en lisant un ensemble suffisant de textes qui sont bien, avec une approche de données massives, représentatifs d’un niveau d’évaluation. Mais, dans la réalité, la lecture des avis se limite, au mieux, à quelques dizaines ce qui peut laisser penser que les commentaires sont parfois trop proches voire contradictoires.

Ce résultat souligne ainsi une rédaction associée aux notes différente pour la plupart des notes, la faible distance entre les textes laissant cependant supposer des distinctions basées sur quelques formes importantes distinguant ces commentaires.

Comme souligné précédemment, ce résultat ne permet pas de savoir si le sens donné à chaque texte est cohérent avec la note donnée (orientation négative pour la note 1 ou très positive pour la note 5, par exemple). D’autres méthodes comme la classification hiérarchique de Reinert ou l’analyse de spécificité devront compléter cette première approche qui montre surtout une utilisation de l’échelle des notes par les utilisateurs, sauf pour les notes hautes qui semblent plus confondues.

L’échantillon de 40 entreprises, spécifiques par leur forte capitalisation boursière, ne rend pas compte de la variété des situations possibles bien que le nombre d’avis permette des mesures statistiques valides. D’autres analyses avec plus d’entreprises et des organisations variées (taille, secteur, etc.) pourront permettre d’affiner ce premier résultat.

Une autre limite concerne les récepteurs de ces notes. La distance textuelle porte sur des données massives, plusieurs milliers de textes pour chaque note. Sur ces grands ensembles, des tendances se distinguent mais il semble peu probable qu’un lecteur prenne le temps de lire ces dizaines de milliers de textes pour construire une représentation d’une entreprise. Son analyse sera plus qualitative (Pélissier, 2020). L’approche adoptée ne permet pas d’inférer une interprétation de la valeur des notes et de leur sens pour les utilisateurs.

La méthode de la distance lexicale a été utilisée pour des textes de natures différentes dans des contextes très variés, de l’analyse de textes littéraires (Brunet, 2003 ; Labbé et Labbé, 2003 ; Ratinaud, 2018) aux discours politiques (Ratinaud et Marchand, 2016, 2017) ou encore la compréhension de tweets (Ratinaud et al., 2019). Son utilisation pour les discours économiques autour de problématiques d’organisations peut permettre de repérer des traits communs, comme une « novlangue managériale » et des différences liées aux énonciateurs. L’absence de différences peut aussi être un indicateur de normalisation du discours mais aussi du sens in fine, une fois la distance complétée par d’autres méthodes, ce qui peut guider le chercheur vers le repérage de représentations sociales. Les différences peuvent souligner des sous-cultures, des mondes sociaux parfois opposés que la méthode de la distance peut permettre d’explorer.

En bref, les avis de salariés ne sont pas absurdes, les commentaires globalement cohérents et les écarter pour leur simple appartenance aux réseaux socionumériques serait un raisonnement trop simplificateur. Gageons que la multiplication des avis permettra d’augmenter leur fiabilité, au moins pour les grands groupes. Les TPE et PME peuvent être plus sujettes à des avis problématiques sur le court terme. Une formation des DRH, candidats à un recrutement, étudiants, syndicats, etc. à l’utilisation de ces avis semble de plus en plus nécessaire.