Introduction

Une initiative Data est mise en projet lorsque, à la suite d’un processus de sélection, les objectifs et les contributions qu’il est censé apporter sont alignés à ceux de la stratégie de l’entreprise. La finalité d’un projet Data est de parvenir à l’industrialisation d’un processus d’exploitation de Data Science pour une utilisation en vie courante dans l’activité d’un métier. Le cycle global des projets Data est composé de quatre phases, elles-mêmes structurées en étapes ou jalons projet (e.g. Potelle et Leblond, 2019). La Figure 1 présente le processus global des projets Data en fonction de leur temps de cycle standard.

Un projet Data tiré par la valeur implique d’avoir une estimation concrète des gains le plus tôt possible et un dispositif de suivi des dépenses durant sa gestion. La méthode « pertes et profit » (P&L) (e.g. Ramachandran et Kumar Kakani, 2014) permet ainsi d’évaluer l’opportunité de lancer ou non un projet suite à une demande métier. Elle donne aux managers une appréciation factuelle d’une rentabilité espérée. Au-delà de cet aspect prospectif fondé sur une extrapolation à partir de données préliminaires, cette méthode permet de mettre en évidence, pendant le déroulement d’un projet, la conformité entre la marge dégagée et celle initialement calculée.

Cet article a pour objet de présenter les éléments constitutifs de cette méthode ainsi que son exploitation à travers un cas d’usage.

Données et indicateurs

La méthode P&L est mise en  œuvre en alimentant à chaque étape des phases d’un projet une matrice qui permet le calcul d’une valeur ajoutée (cash-in  cash-out) et d’un payback (valeur ajoutée  cash-out) en s’appuyant sur la variation des coûts et des gains espérés du projet au fur et à mesure de son avancement. Elle est construite à partir de quatre données qui peuvent varier en fonction des phases du projet : une assiette, un taux de déploiement sur une période, un taux d’impact et des coûts.

L’assiette

L’assiette détermine un enjeu métier en euro. Ce n’est pas le gain final du projet mais une référence « business ». Elle est la transposition en euros d’un objectif d’affaire qui est donné sous forme d’un résultat KPI, contribution effective du projet aux axes stratégiques de l’entreprise.

L’objectif d’affaire se détermine à partir d’une référence spatio-temporelle et est déterminée à partir de la différence entre une situation initiale constatée (ex. 200 leads) et une situation visée ou benchmark (ex. 700 leads). Cette différence est ensuite multipliée par une unité d’amélioration exprimée en euro pour obtenir l’assiette. Par exemple, en considérant qu’un lead gagné vaut 2900€ de vente alors l’assiette sera de 2900€ x (700 – 200 leads) = 14,5 millions d’euros.

Cette assiette, calculée dès la phase de pré-cadrage (avant lancement) et stabilisée dès la fin de l’étape de cadrage d’une expérimentation, donne ainsi un cap à partir duquel la poursuite ou non du projet est décidé. Elle est obtenue sur la base d’informations collectées lors de plusieurs interviews cadrées entre le chef de projet et le demandeur métier.

Le gain sur une période

Le gain sur une période définit la contribution d’une phase projet à l’assiette. C’est la multiplication du montant de l’assiette par un taux de déploiement planifié sur la période puis par un taux d’impact déterminé à partir de leviers Data.

La période est le macro planning du projet prévu en fonction des vagues de déploiement constituées d’une ou plusieurs phases projets.

Le taux de déploiement est complètement défini à la fin de l’expérimentation en fonction des clients utilisateurs lors des étapes d’exploitation Data (Test&Learn et Levers). Il s’applique aux volumes de clients utilisateurs bénéficiant du processus d’exploitation de la solution.

Les leviers Data sont définis par des effets directs qui impactent ou influencent l’objectif d’affaire et des effets induits, répercussions connexes amenant des gains supplémentaires comme l’économie de ressources. Durant l’expérimentation, les leviers sont détectés aux étapes Test&Learn et Levers lors de la mise en œuvre effective d’un processus d’exploitation par les clients utilisateurs. Durant les pilotes, les leviers sont mesurés à nouveau lors des étapes Leverage et Evaluate puis réactualisés.

Les coûts budgétés

Les coûts impactent la valeur ajoutée finale et donc la rentabilité globale d’un projet. Tous les coûts internes et externes sont budgétés, planifiés et réactualisés à chaque phase projet. Le chef de projet doit consolider toutes les dépenses afin de déterminer un coût par tâche.

La matrice P&L

La Figure 2 présente un exemple de matrice P&L standard que le chef de projet a saisi et mis à jour (cellules bleues – les montants n’étant pas indiqués pour des raisons de confidentialité) et obtenue à la fin d’une expérimentation.

Le sujet concerne la qualification des demandes de crédits (DC) déclenchées durant la période de garantie en après-vente lorsque les clients reviennent en concession pour un incident technique. Chaque réclamation client déclenche une DC que certains services de l’entreprise refacturent en coûts garantis à leurs fournisseurs. Toutes les DC sont qualifiées par un algorithme qui détermine le fournisseur incriminé. Une DC est considérée qualifiée lorsqu’elle est correctement attribuée à un fournisseur.

Cette refacturation représente un volume annuel de x millions d’euros de DC opposables. L’algorithme mis en œuvre réussit à qualifier 72% des DC. Une analyse indiquait qu’il était possible de requalifier 33% des DC sur les 28% restants en exploitant un modèle de classification et de récupérer 17% des DC en échec. L’objectif d’affaire est d’améliorer le taux de qualification des DC en passant de 72% à 100%. L’assiette a donc été calculée sur la base de l’objectif de requalification et de récupération totale des DC soit A = x M€ × 28% × 17%× 33%.

Lors de l’étape Levers de l’expérimentation, les gains ont été mesurés à partir de deux effets directs et d’un effet induit. Les effets directs ont un impact de 25% sur l’assiette et l’effet induit est un gain supplémentaire en équivalents temps plein du fait d’une réduction significative des temps de requalification. Le premier effet direct permettait aux acheteurs d’opérer un impact de 5% sur l’assiette et le second a révélé que le service recours pouvait refacturer 20% des DC requalifiées.

Le projet prévoyait de déployer l’outil de requalification prédictif sur 70% de la cible la première année, puis 20% la seconde et 10% la troisième. La rentabilité prévisionnelle du projet indique une récupération de sept fois les coûts investis sur la période des trois ans.

Les indicateurs de performances

Quatre indicateurs détaillés ci-après permettent de mesurer la performance d’un projet au fur et à mesure de son déroulement (Schedule Performance Index, Cost Performance Index, To Complete Performance Index (e.g. Lipke (2011)) et Rentability Index).

Pour chaque phase, ces indicateurs sont calculés en fonction de données planifiées (date de début, durée, nombre de tâches, coût par jour d’une étape) et d’éléments mesurés de manière régulières à des instants  du projet (proportion de tâches de chaque étape qui aurait dû être réalisées, proportion de tâches de l’étape effectivement réalisées, pourcentage de jours qui ont été réellement nécessaires à l’achèvement de l’étape).

Ces éléments permettent le calcul des trois quantités temporelles suivantes, composantes des indicateurs de performances, et qui peuvent être représentées sous forme de courbes avec l’écoulement du projet en abscisse.

Planned Value (PV) − Le coût budgété du travail planifié ou valeur planifiée à chaque instant est calculé dès le début sur la durée totale du projet. C’est la somme des coûts planifiés sur l’ensemble des étapes.

Earned Value (EV) − Le coût budgété du travail réalisé ou valeur acquise est actualisé en cours de projet à chaque fin d’étape. C’est la somme des coûts qui auraient dues être dépensés pour les tâches réellement réalisées.

Actual Cost (AC) − Les coûts effectifs du travail réalisé ou réel consommé sont actualisés en cours de projet à chaque fin d’étape. C’est la somme des coûts réels dus au retard ou avance sur la planification.

Schedule Performance Index −

Le SPI est la vision planning (état d’avancement réel / état d’avancement prévu). Un SPI = 0,8 indique un retard de 20% par rapport au prévisionnel.

Cost Performance Index −

Le CPI est la vision budgétaire (coûts budgétés / coûts réels). Un CPI =1,2 indique que le coût du travail réalisé est inférieur à 20% par rapport au budget prévisionnel du même travail. Dans le cas où ces indicateurs montrent des écarts importants (+ de 20% par exemple), cela signifie en général qu’il faut revoir le plan prévisionnel.

To complete Performance Index −

Comparé au CPI, le TCPI est la part du budget (B) restant pour effectuer le travail restant. Cela permet notamment d’identifier des prévisionnels abusivement optimiste ou de corriger des prévisionnels trop pessimistes.

Rentability Index −

Cet indicateur, que nous introduisons, apporte une information supplémentaire du niveau d’efficience durant le pilotage du projet. Le RI est la part de la rentabilité du réel comparé au planifié pour un gain espéré (G). Il donne une information sur la capacité à délivrer des projets conformes à la rentabilité attendue. Il ne faut pas le confondre avec un indicateur de valeur ajoutée qui indique le pourcentage de la valeur ajoutée effectivement réalisé et qui est un indicateur de profitabilité mesurant une efficacité du projet et non une efficience.

Synthèse et processus de mise à jour

Tableau de bord de pilotage − Les indicateurs de performance sont synthétisés dans un tableau de pilotage (exemple en Figure 3 pour une expérimentation).

Les courbes indiquent que le projet est arrivé à l’étape de Test&Learn (jalon 5) et qu’il y a un surcoût puisque les coûts effectifs (AC) sont plus élevés que les coûts budgétés planifiés (PV) même si les coûts de la valeur acquise (EV) sont conformes aux planifiés. Le SPI de 90% indique que le projet est légèrement en retard et le CPI = 78% révèle que le projet consomme 20% de ressources en plus pour produire quasiment la totalité des tâches.

Processus de mise à jour − La mise à jour de la matrice P&L et de ces courbes est un processus continu. Concernant l’assiette, un indicateur répondant à la question d’affaire peut être identifié sans être quantifié à l’étape Align de la phase de cadrage. Au fur et à mesure des itérations avec le demandeur, elle est progressivement quantifiée dans l’étape Evaluate puis chiffrée dans l’étape Engage jusqu’à sa valorisation complète en euro lors de l’étape Scope de l’expérimentation. Cette mise à jour dynamique permet ainsi de suivre la rentabilité effective du projet en comparaison à la rentabilité prévue.

Les paramètres des gains sont également réactualisés dans les phases pilotes et d’industrialisation dédiés au déploiement (étapes Train, Leverage et Evaluate) en mettant à jour les effets directs et induits.

Ces informations chiffrées qui sont renseignées et communiquées chaque semaine n’ont pas pour fonction d’être un reporting de contrôle, mais permettent de s’inscrire dans une tactique de pilotage qui joue sur les modes opératoires et les moyens dont l’équipe projet Data dispose afin d’obtenir les gains escomptés.

Cas d’usage – Du chiffrage au pilotage

Pour assurer l’ambition du métier demandeur et apporter la preuve que les gains affirmés sont réellement obtenus et perdurent, le pilotage économique qui mène au résultat financier est l’objet d’une démarche managériale (Demeestère, et al., 2017). Afin d’illustrer cette démarche, le cas d’usage ci-dessous montre comment l’exploitation des indicateurs de performance induit des actions concrètes tout au long d’un projet Data.

Présentation

Ce cas d’usage est porté par la direction des achats (pour des raisons de confidentialité, les chiffres relatifs aux gains et aux coûts ont été modifiés). L’ambition du projet est de contribuer à la réduction d’incidents pendant la production des véhicules afin d’améliorer la qualité en clientèle (objectif d’affaire). Les incidents sont mesurés en Incident per billion (IPB) et déclarés dans un système d’information qui les transmet par mail aux acheteurs en charge du pilotage des fournisseurs incriminés. Chaque acheteur peut recevoir une centaine de mails par jour qu’il doit lui-même trier, analyser puis traiter.

L’objectif du projet est de réduire de 20% les IPB en dotant les managers d’un « Smartcockpit » (SC) qui intègre à la fois un dispositif de pilotage proactif d’alerte des IPB sur les 15 derniers jours et un indicateur de prédiction du nombre d’incidents sur chaque site fournisseur.

Après une phase de pré-cadrage et la constitution d’une équipe, le projet a fait l’objet d’une expérimentation auprès d’un échantillon d’acheteurs qui a mis en évidence un potentiel de détection des incidents fournisseurs.

La phase de pilote a eu pour objectif d’apporter la preuve de la valeur en déployant le SC sur 25% des acheteurs concernés. Les gains du projet ont été mesurés et ont permis d’engager une dernière phase d’industrialisation sur 75% de la cible restante.

Nous développons ci-dessous les problèmes rencontrés ainsi que les contre-mesures appliquées à chaque phase du projet à partir de l’analyse d’un tableau de bord intégrant les indicateurs de performance décrits précédemment et d’un journal de bord qui présente les événements.

Phase de cadrage

Tableau de bord

Situation initiale

La phase de pré-cadrage a débuté par l’identification de l’objectif d’affaire susmentionné. L’assiette a été indexée sur un contrat d’objectif qui visait une réduction de 5 à 20% d’IPB, soit un montant dégagé de 15 millions d’euros. A ce stade du projet, les gains ne sont pas connus et les coûts ont été estimés grossièrement à 500 k€. L’indicateur de rentabilité RI est à 100% puisqu’aucun surcoût n’a été relevé à cette étape.

Situation finale

La phase de cadrage a été validée après 40 jours de délais, le chef de projet ayant menacé de stopper le projet suite à une indisponibilité des acheteurs.

Phase d’expérimentation

Tableau de bord

Situation initiale

La phase d’expérimentation a débuté avec la participation de sept acheteurs. Le montant de l’assiette a été réactualisée à 12,35 millions d’euros à la fin de l’étape Scope. Les gains estimés du projet ne sont pas connus lors des trois premières étapes puisque les leviers Data et leurs taux d’impacts sont identifiés au moment de la mise en main du SC à l’étape Test&Learn. Tous les coûts budgétés ont été renseignés.

A la fin de l’étape Scope, tous les indicateurs de performances étaient au vert. Lors de l’étape Collect, l’indicateur SPI = 87% indiquait un retard de 13% par rapport au prévisionnel, l’indicateur CPI = 96% indiquait un coût supplémentaire de 4% du travail réalisé et le RI = 100% n’indiquait pas de dégradation de la rentabilité du projet.

Le retard faisait suite à des difficultés rencontrées par le Data Scientist pour avoir des données journalières indisponibles dans l’agrégateur de données mensuelles. Afin de limiter les coûts supplémentaires d’accès aux données, le chef de projet a décidé de lancer une procédure d’extraction et, dans l’attente, de simuler des données à partir de paramètres statistiques connus afin de ne pas bloquer le Data Scientist.

A l’étape Measure, le RI ne s’était pas dégradé, même si le SPI indiquait un retard de 16% et un faible surcoût du travail réalisé de 9%. Une fois l’extraction des données journalières effectuées, l’absence de dictionnaire indiquant la sémantique des données rendait inopérante leur exploitation. Pour limiter les coûts de recherche, le chef de projet a organisé rapidement un atelier avec le manager des achats pour obtenir les informations manquantes.

A l’étape Test&Learn, les indicateurs révélaient un risque projet élevé avec une dégradation notable de la rentabilité (RI = 60%). Lors de cette étape de mise en main, plus de la moitié des acheteurs qualité n’étaient pas disponibles. Les courbes indiquaient que la valeur acquise était inférieure (EV = 50 K€) à la valeur planifiée (PV = 56 K€) et que les coûts réels étaient très supérieurs à la valeur planifiée (AC = 72 K€). Ce sont donc les coûts supplémentaires pour mobiliser le métier qui ont impacté la rentabilité réelle. Pour éviter un arrêt du projet, la mobilisation des acheteurs a été relancée suite à une intervention managériale soutenue.

Situation finale

La phase d’expérimentation a été validée au bout de 181 jours après une présentation, sur demande du chef de projet, des cas d’usages par les acheteurs. Cette restitution collective a eu pour objet de lever le scepticisme quant à l’exploitation du tableau de bord. Leurs analyses ont ainsi mis en évidence un potentiel de gain de 370 K€. En remobilisant les acheteurs qualité autour d’objectifs d’usage, les indicateurs de performance du projet se sont améliorés avec un SPI = 95%, un CPI = 89% et un RI = 91%. Dans le cas présent, l’augmentation du RI est la conséquence d’une augmentation du taux d’impact des leviers Data de 10% à 30% lors de la phase Levers. Les gains ont ainsi mécaniquement augmenté de 123 K€ à 370 K€.

Phase de pilote

Tableau de bord

Situation initiale

La direction des achats a élargi le taux de déploiement de 20% à 25%, ce qui a conduit à réactualiser les gains prévisionnels de 740 K€ à 925 K€ avec un taux d’impact sur l’assiette à 30%.

L’étape Initialize, indiquait un SPI de 66% et un CPI de 64% mais sans dégrader le RI = 96%. L’absence de note d’orientation pour le développement informatique nécessaire au pilote a induit de nombreuses itérations avec le métier pour parvenir à un accord de financement.

Lors de l’étape Collect, la mise en production des données a pris un mois de retard, ce qui a empêché la préparation des données par le Data Scientist. Malgré ce retard sur les tâches à réaliser (EV= 15,9 K€ au lieu de 23,9 K€) avec un SPI de 66% et un CPI de 64%, les coûts réellement consommés n’étaient pas plus élevés que les coûts planifiés (AC = PV = 23,9 K€). Afin de rattraper le retard, le chef de projet a intégré une instance décisionnelle pour que les données en lien avec le pilote soient livrées en priorité.

Situation finale

La phase pilote a été validée 283 jours après que le chef de projet ait détecté une baisse significative de la rentabilité du projet (RI = 36%) lors de l’étape Leverage, les gains prévisionnels ayant chuté de 70% (308 K€). La mise en place de rapports d’usage a révélé une très faible utilisation des SC, ce qui a dégradé le taux d’impact Data de 30% à 10%, les acheteurs craignant que les prédictions supplantent leur décision et remplacent leur savoir-faire. Le responsable métier a dû déployer un dispositif de communication afin de montrer que la solution proposée était une aide la décision qui améliorait le travail des acheteurs sans s’y substituer. Ce dispositif a induit un surcoût effectif de 56% (AC = 190 K€ vs. PV = 115 K€) pour pallier aux 27% de retard (EV= 85 K€) mais il a eu pour effet d’améliorer significativement tous les indicateurs de performance ainsi que les gains du projet à l’étape Evaluate. La rentabilité réelle (RI = 75%) s’est cependant dégradée du fait des surcoûts aux dernières étapes du projet.

Phase d’industrialisation

Tableau de bord

Situation initiale

Suite au succès rencontré dans le pilote, la direction des achats a décidé d’élargir encore le périmètre de déploiement à 75% des acheteurs, ce qui a augmenté les gains prévisionnels à 2,6 M€.

Situation finale

La phase d’industrialisation a été validée 413 jours après que le chef de projet ait détecté une dégradation des indicateurs de performance survenue à l’étape de Run faisant chuter les gains prévisionnels de 30%. Suite à un problème technique, des coupures intempestives de la Gateway hébergeant les données sur le cloud empêchaient leur mise à jour, rendant inopérant les tableaux de bord. La mise en place d’un protocole a permis de réactiver la Gateway. Lors de l’étape Evaluate, les coûts ont ainsi été maitrisés.

Conclusion

Quelques enseignements pratiques de ce cas sont à retenir :

1. Le respect du standard de formalisation d’un projet Data permet de détecter les problèmes et de les résoudre plus efficacement. Les informations étant renseignées régulièrement, le chef de projet peut s’appuyer sur une analyse régulière des indicateurs pour communiquer, décider et agir (Fernandez, 2018).
2. La détermination de l’assiette, dès la phase de cadrage, est primordiale pour déduire, de l’impact des leviers Data, les gains escomptés et décider de continuer ou d’arrêter le projet.
3. Le manque d’implication des clients utilisateurs dégrade significativement l’impact global et donc les gains du projet. Il est donc essentiel de prévoir un dispositif de monitoring de l’utilisation de la solution Data lors des étapes de déploiement.
4. Même si le SPI et le CPI peuvent s’améliorer lors des étapes projet suite aux actions de remédiation, le RI ne peut s’améliorer que si les gains du projet augmentent durant ces différentes phases, en élargissant par exemple le périmètre de déploiement ou en améliorant le taux d’impact des leviers Data. Il est donc important de surveiller son évolution afin qu’il ne descende pas en dessous de 50%.
5. Le chef de projet ne doit jamais hésiter à proposer des actions et à remettre en cause la pérennité du projet si les indicateurs se dégradent.

Au-delà de l’exercice de chiffrage, les indicateurs de performance d’un projet induisent une capacité de pilotage permettant d’assurer les gains. Notamment, l’indicateur de rentabilité apporte une information d’un niveau d’efficience durant le pilotage du projet et ce, quel que soit le volume de gain escompté. Ce pilotage offre la possibilité d’une gestion pertinente aussi bien au niveau du demandeur métier qu’au niveau de la réalisation technique du projet.