Livrables

Pour participer au challenge, chaque candidat doit s’inscrire au préalable sur le site web de Management & Data Science, en indiquant un prénom, un nom, une adresse email et une institution d’affiliation (université, école de commerce, entreprise, etc.).

A la fin de l’étape d’entraînement, les candidats soumettent leurs résultats.

La première soumission comportera :

1. les noms, prénoms et affiliation de chaque membre du groupe
2. en pièce jointe, le fichier soumission avec les prévisions définitives (format .csv, UTF8, séparateur virgule, noms des colonnes).

La deuxième soumission comportera :

• les noms, prénoms et affiliation de chaque membre du groupe
• en pièce jointe, une notice explicative avec :
  • un titre et un résumé de 100 mots
  • une introduction qui rappelle le contexte, la problématique et ses enjeux,
  • une présentation du jeu de données utilisé,
  • la méthode et les étapes utilisées pour réaliser les prédictions (transformation des données, modélisation, comparaisons des algorithmes utilisés, stratégie d’optimisation du modèle, évaluation du modèle) ;
  • une analyse des résultats (typologie et profil des collaborateurs, facteurs déterminants et prédiction du turnover) et les limites de l’étude;
  • des préconisations à l’entreprise pour réduire turnover de ses collaborateurs (stratégies de rétention);
  • une conclusion rapide qui montre l’intérêt de la data science dans la gestion des ressources humaines;

Évaluation

1) les prévisions

A partir du fichier soumission où les candidats auront remplacé les valeurs vierges par leurs prédictions (fichier qui contient l’identifiant de la transaction et la variable à prédire), les soumissions sont comparées aux valeurs réelles.

Plus les soumissions sont précises, plus les candidats obtiennent un score élevé.

La métrique d’évaluation principale sera l’exactitude (accuracy), c’est-à-dire le nombre de prédictions justes rapporté au nombre de cas de test dans le jeu de test.

La précision sur les défauts de paiement permettra d’affiner l’évaluation : celle-ci est le nombre de défauts de paiement prédits correctement rapporté au nombre total de défauts proposés dans le jeu de données de test.

Une péréquation est ensuite réalisée pour obtenir un score et réaliser le classement du challenge entre les équipes.

2) La notice explicative

La qualité du document d’accompagnement de la soumission sera évaluée suivant les critères suivants

• Respect des consignes, qualité des illustrations et clarté des explications
• Mise en évidence que la méthode utilisée
• Reproductibilité de l’analyse
• Interprétation des résultats
• Pertinence des préconisations proposées

Description

Les candidats ont accès à un jeu de données comprenant 24 attributs et  24.000 instances.

La description des variables est la suivante :

• ID : identification de la ligne (ce n’est donc pas une variable ! Elle se trouve en première colonne du fichier)
• La variable à prédire (Y = « DEF ») est une variable binaire qui correspond à un défaut de paiement (Oui = 1, Non = 0) ; elle se trouve en dernière colonne du fichier
• Les variables explicatives (X = … ) sont les suivantes:

• • X1 = « LIMIT_BAL »: montant du crédit donné (euros): il comprend à la fois le crédit à la consommation individuel et le crédit supplémentaire à la famille.
  • X2 = « SEX » : sexe (1 = homme; 2 = femme).
  • X3 = « EDUCATION » : niveau d’éducation (1 = école supérieure; 2 = université; 3 = lycée; 4,5 …= autres).
  • X4 = « MARRIAGE »: Etat civil (1 = marié; 2 = célibataire; 3 = autres).
  • X5 = « AGE »: Age (année).
  • X6 – X11 = « PAY_1 … PAY_6 » : Historique des paiements passés. Nous avons suivi les enregistrements de paiement mensuel passés (d’avril à septembre 2005) comme suit:
    • X6 = l’état du remboursement en septembre 2005;
    • X7 = état de remboursement en août 2005;
    • . . .;
    • X11 = état de remboursement en avril 2005. L’échelle de mesure de l’état de remboursement est:  -2 : non utilisation du crédit ; -1 = payé dûment; 0 = paiement fin de mois en cours ; 1 = délai de paiement d’un mois; 2 = délai de paiement de deux mois; . . . 8 = délai de paiement de huit mois; 9 = retard de paiement de neuf mois et plus.
  • X12-X17 = «BILL_AMT1 …BILL_AMT_6 »: montant du relevé de facture (euros).
    • X12 = montant du relevé de facture en septembre 2005;
    • X13 = montant du relevé de facture en août 2005; . . .
    • X17 = montant du relevé de facture en avril 2005.
  • X18-X23 = « PAY_AMT1 … PAY_AMT6 »: Montant du paiement précédent (euros).
    • X18 = montant payé en septembre 2005;
    • X19 = montant payé en août 2005;
    •  . . .;
    • X23 = montant versé en avril 2005.

Fichiers

Les candidats ont accès aux fichiers suivants :

• le fichier d’entrainement : Téléchargement
  • comportant 24000 lignes, qui correspondent à l’historique de 24000 personnes débouchant ou non sur un défaut de paiement
  • comportant les colonnes : ID, X…, DEF
  • à partir duquel il faudra concevoir un modèle de prédiction f des défauts de paiement :  DEF = f(X…)

• le fichier d’évaluation vierge : Téléchargement
  • comportant 6000 lignes, correspondant à l’historique de 6000 autres personnes dont il faut « deviner » s’ils ont subi un défaut de paiement ou non.
  • comportant les colonnes : ID, X… mais aucune information dans une colonne DEF

• le fichier de soumission qui devra être complété : Téléchargement
  • comportant 6000 lignes avec les mêmes ID dans le même ordre que le fichier test
  • comportant 2 colonnes (ID et DEF), la colonne DEF étant vierge.
  • L’objectif est de livrer le fichier en ayant renseigné la colonne DEF (à savoir : défaut de paiement : 1 ou non : 0 pour les 6000 ID)