Déroulement
Il y a 4 ans
Il y a 4 ans
Il y a 4 ans
Citation
L'auteur
Olivier Mamavi
(omamavi@gmail.com) - Paris School of Business - ORCID : https://orcid.org/0000-0002-6421-1048
Copyright
Déclaration d'intérêts
Financements
Aperçu
Contenu
Contexte
Les marchés publics représentent entre 8 % et 25 % du Produit Intérieur Brut en fonction des pays. L’attribution des marchés publics; c’est-à-dire à la décision d’un donneur d’ordre (état, collectivités, organisations publiques) de sélectionner des fournisseurs est un enjeu fondamental, tant pour les acheteurs publics que pour les entreprises.
Pour sélectionner le fournisseur le plus efficace, le donneur d’ordre recours généralement à des procédures de mises en concurrences comme l’appel d’offre. L’appel d’offre est un processus d’enchère où seul le gagnant peut récupérer les frais de soumission. Pouvoir prévoir l’attribution d’un marché public permet à une entreprise de s’engager ou non (go/no go) à répondre à un appel d’offre. Cela permet également au donneur d’ordre de savoir si l’appel d’offres sera fructueux et s’il y a des irrégularités dans la procédure.
Objectifs
L’objectif du challenge est de prévoir l’attribution des marchés publics au sein de l’Union Européenne en étant capable, pour un appel d ‘offres donné, de répondre aux 3 questions suivantes :
- Combien de candidatures d’appel d’offres le donneur d’ordre recevra ?
- Quel sera le montant du marché attribué ?
- Quel sera le profil du gagnant de l’appel d’offres (PME ou grande entreprise) ?
Déroulement
- S’inscrire gratuitement au challenge
- Accéder au datalab
- Télécharger les données
- Construire son modèle
- Tester le résultat
- Gagner un trophée
Soumission
A la fin de l’étape d’entraînement, les candidats soumettent (avant le 21 octobre 2020 à 15h00) leurs prévisions définitives à l’adresse suivante : challenge@management-datascience.org en mettant dans l’objet du email: Data challenge marchés publics
Le fichier à poster est le fichier dataChallenge_soumission_fausses où les candidats devront remplacer les valeurs fausses par leurs prédictions. Il s’agit d’un fichier de type CSV qui contient l’identifiant de la transaction (ID_AW) et les 3 variables à prédire (NUMBER_OFFERS ; AWARD_VALUE_EURO ; B_CONTRACTOR_SME).
Avant de soumettre leurs résultats, les candidats devront renommer le fichier de la façon suivante : EQUIPE.csv
Évaluation
Les soumissions sont comparées aux valeurs réelles. La métrique d’évaluation pour les variables AWARD_VALUE_EURO et NUMBER_OFFERS est l’erreur quadratique moyenne RMSE. Celui pour B_CONTRACTOR_SME est la précision.
Une péréquation est ensuite réalisée pour obtenir une évaluation et réaliser le classement. L’évaluation est un score global calculer à partir des 3 variables de réponse. Plus ce score est petit (de 0 à 1+), meilleure est la soumission. Le calcul pénalise les personnes qui commettent des erreurs sur les montants, mais amoindri l’impact des erreurs sur les très gros montants, ou sur les trop grands nombres de propositions.
Un jury a validé les résultats et désigné le vainqueur en fonction de la pertinence du modèle. Il était composé notamment des membres du comité éditorial de la revue, des représentants des sponsors et des partenaires.
Le jeu de données utilisé pour ce challenge est issu de la commande publique de l’Union Européenne. Il s’agit des données ouvertes de l’attribution des marchés publics de 2009 à 2016 qui comprend près d’un million de transactions (nombre d’observations) et publié au Tender Electronic Daily (TED). Les données sont au format CSV et couvrent les marchés publics pour l’Espace économique européen, la Suisse et l’ancienne République yougoslave de Macédoine. Ces données incluent les champs les plus importants de l’avis d’attribution de marché. Une notice détaillée (en anglais) des données est fournie avec une description de chaque variable.
Les candidats ont accès à un jeu de données d’entraînement comprenant plus de 2 millions de transactions avec 19 variables explicatives (indépendantes) et 3 variables à prévoir (dépendantes). Les 3 variables à prédire sont : NUMBER_OFFERS, AWARD_VALUE_EURO, B_CONTRACTOR_SME.
Les fichiers suivant sont remis aux candidats :
- le fichier d’entrainement : dataChallenge_training
- le fichier de test avec des lignes à prédire, où les 3 colonnes de réponse ont des valeurs fausses (aléatoires) : dataChallenge_test_reponses_fausses
- le fichier de soumission où les candidats devront remplacer les valeurs fausses par leurs prédictions : dataChallenge_soumission_fausses
- une notice de description des variables (en anglais) : Notice des variables – Data Challenge 2018.pdf
il ne peut pas avoir d'altmétriques.)
