Prévoir les défauts de paiement de cartes de crédit
Challenge terminé

Contexte

En France comme à l’étranger, de plus en plus de consommateurs ont pris l’habitude d’utiliser des cartes de crédit pour effectuer notamment leurs achats de consommation (supermarché, dépenses de santé…). Les principaux établissements financiers l’ont bien compris puisque la concurrence entre eux passe notamment par l’augmentation du nombre de détenteurs de cartes bancaires, associées à une ligne de crédit revolving. Mais avec la crise, le taux de défaut sur les encours de prêts sur ces cartes de crédit a fortement augmenté.

Mission

Dans un système financier bien développé, la prévision du risque est un élément essentiel du bon fonctionnement des établissements bancaires. Pour évaluer le risque, ils utilisent des informations financières, telles que les états financiers des entreprises, les dossiers de transaction et de remboursement des clients…

Votre mission consiste à prévoir les défauts de paiement de cartes de crédit des clients d’une banque internationale.

Déroulement

Ce Data Challenge se déroulera en 3 phases :

  1. une phase d’apprentissage (entraînement)
    • Présentation du challenge
    • Collecte, préparation et exploration des données
  2. une phase de soumission (test)
    • Modélisation de la prédiction
    • Évaluation de la prédiction
    • Soumission du fichier de test
  3. une phase de soutenance (pitch)
    • Préparation de la soutenance
    • Soutenance oral en public
    • Annonce des résultats

Les candidats doivent former des équipes de 2 à 3 membres.

Inscription

Pour participer au challenge, chaque candidat doit s’inscrire au préalable sur le site web de Management & Data Science , en indiquant un prénom, un nom, une adresse email et une institution d’affiliation (université, école de commerce, entreprise, etc.).

Données

Les candidats ont accès à un jeu de données comprenant 24 attributs et  24.000 instances.

La description des variables est la suivante :

  • ID : identification de la ligne (ce n’est donc pas une variable ! Elle se trouve en première colonne du fichier)
  • La variable à prédire (Y = « DEF ») est une variable binaire qui correspond à un défaut de paiement (Oui = 1, Non = 0) ; elle se trouve en dernière colonne du fichier
  • Les variables explicatives (X = … ) sont les suivantes: 
    • X1 = « LIMIT_BAL »: montant du crédit donné (dollar NT): il comprend à la fois le crédit à la consommation individuel et le crédit supplémentaire à la famille.
    • X2 = « SEX » : sexe (1 = homme; 2 = femme).
    • X3 = « EDUCATION » : niveau d’éducation (1 = école supérieure; 2 = université; 3 = lycée; 4,5 …= autres).
    • X4 = « MARRIAGE »: Etat civil (1 = marié; 2 = célibataire; 3 = autres).
    • X5 = « AGE »: Age (année).
    • X6 – X11 = « PAY_1 … PAY_6 » : Historique des paiements passés. Nous avons suivi les enregistrements de paiement mensuel passés (d’avril à septembre 2005) comme suit:
      • X6 = l’état du remboursement en septembre 2005;
      • X7 = état de remboursement en août 2005;
      • . . .;
      • X11 = état de remboursement en avril 2005. L’échelle de mesure de l’état de remboursement est:  -2 : non utilisation du crédit ; -1 = payé dûment; 0 = paiement fin de mois en cours ; 1 = délai de paiement d’un mois; 2 = délai de paiement de deux mois; . . . 8 = délai de paiement de huit mois; 9 = retard de paiement de neuf mois et plus.
    • X12-X17 = «BILL_AMT1 …BILL_AMT_6 »: montant du relevé de facture (dollar NT).
      • X12 = montant du relevé de facture en septembre 2005;
      • X13 = montant du relevé de facture en août 2005; . . .
      • X17 = montant du relevé de facture en avril 2005.
    • X18-X23 = « PAY_AMT1 … PAY_AMT6 »: Montant du paiement précédent (dollar NT).
      • X18 = montant payé en septembre 2005;
      • X19 = montant payé en août 2005;
      •  . . .;
      • X23 = montant versé en avril 2005.

Fichiers

Les candidats ont accès à un espace de travail, dans lequel les fichiers suivants sont déposés :

  • le fichier d’entrainement : training
    • comportant 24000 lignes, qui correspondent à l’historique de 24000 personnes débouchant ou non sur un défaut de paiement
    • comportant les colonnes : ID, X…, DEF
    • à partir duquel il faudra concevoir un modèle de prédiction f des défauts de paiement :  DEF = f(X…)
  • un fichier de test vierge : test
    • comportant 6000 lignes, correspondant à l’historique de 6000 autres personnes dont il faut « deviner » s’ils ont subi un défaut de paiement ou non.
    • comportant les colonnes : ID, X… mais aucune information dans une colonne DEF
  • un fichier de soumission qui devra être complété : soumission
    • comportant 6000 lignes avec les mêmes ID dans le même ordre que le fichier test
    • comportant 2 colonnes (ID et DEF), la colonne DEF étant vierge.
    • L’objectif est de livrer le fichier en ayant renseigné la colonne DEF (à savoir : défaut de paiement : 1 ou non : 0 pour les 6000 ID)

Livrables

A la fin de l’étape d’entraînement, les candidats soumettent leurs résultats dans l’espace de soumission.

Les candidats devront déposer dans l’espace de soumission :

  • Le fichier soumission avec les prévisions définitives (format .csv, UTF8, séparateur virgule, noms des colonnes : ID et DEF, dans le même ordre d’ID que le fichier test)
  • Un document concis au format pdf décrivant :
    • La méthode et les étapes utilisées pour produire la soumission (outils utilisés, transformation des données, algorithmes utilisés) ;
    • Une analyse des données et des résultats ;
    • Des préconisations à la banque pour réduire les défauts de paiement ;
    • Une conclusion rapide.

Évaluation

Critère principal d’évaluation (50 %)

A partir du fichier soumission  où les candidats auront remplacé les valeurs vierges par leurs prédictions (fichier qui contient l’identifiant de la transaction et la variable à prédire), les soumissions sont comparées aux valeurs réelles.

Plus les soumissions sont précises, plus les candidats obtiennent un score élevé.

La métrique d’évaluation principale sera l’accuracy : nombre de prédictions justes rapporté au nombre de cas de test (ici 6000) dans le jeu de test.

La précision sur les défauts de paiement permettra d’affiner l’évaluation : celle-ci est le nombre de défauts de paiement prédits correctement rapporté au nombre total de défauts proposés dans le jeu de données de test.

Une péréquation est ensuite réalisée pour obtenir un score et réaliser le classement du challenge entre les équipes.

Critère de notation complémentaire par rapport à la soumission (20 %)

La qualité du document d’accompagnement de la soumission sera évaluée suivant les critères suivants :

    • Mise en évidence que la méthode utilisée a été comprise
    • « Traçabilité » des étapes de la méthode utilisée :
      • Hypothèses et essais effectués, réorientation des travaux, tactiques et stratégies …
      • Etapes de traitement des données
      • Paramétrage de l’outil (et/ou des algorithmes)
    • Interprétation des résultats
    • Pertinence des perspectives futures proposées dans le document
Présentation finale (30 %)

A l’issue des soumissions, les équipes effectueront une présentation devant un jury pendant 10 minutes (le « pitch »).

Il s’agit d’une présentation de leurs résultats. Les critères d’évaluation du pitch seront les critères ci-après.

  • sur le fond :
    • pertinence de la méthode,
    • qualité d’interprétation des résultats.
  • sur la forme :
    • Qualité de l’introduction (concise, claire, attractive)
    • Qualité du développement (rigueur, qualité des illustrations, clarté des explications)
    • Qualité de la conclusion (concise, se rapportant clairement au problème posé, ouvrant des perspectives futures)
    • Qualité de la présentation : tenu du délai, rythme général, passage de parole harmonieux entre les membres du groupe, attractivité de la présentation.

Le jury désignera le groupe vainqueur en fonction du classement au challenge, de la pertinence de la démarche et de la qualité de la présentation orale.