Résumé
Dans un monde où l’intelligence artificielle générative joue un rôle de plus en plus important, des questions se posent sur la qualité du contenu produit et sur la manière dont ces systèmes peuvent renforcer ou menacer l’expertise humaine. Pour explorer ces questions et identifier les meilleures pratiques, Management & Datascience organise une compétition de prompt engineering. Venez nous rejoindre et démontrer votre savoir-faire en intelligence artificielle générative !
Citation : ., Mamavi, O., & Zerbib, R. (Nov 2023). Prompt Challenge #S1E1. https://management-datascience.org/projects/25411/. Les auteurs : Copyright : © 2023 les auteurs. Publication sous licence Creative Commons CC BY-ND. Liens d'intérêts : Le ou les auteurs déclarent ne pas avoir connaissance de conflit d'intérêts impliqués par l'écriture de cet article. Financement : Le ou les auteurs déclarent ne pas avoir bénéficié de financement pour le travail mis en jeu par cet article. Objectifs
Présentation
A l’aube d’une nouvelle ère technologique, où l’intelligence artificielle générative façonne nos interactions quotidiennes. Nous sommes à un carrefour où l’expertise humaine rencontre la puissance algorithmique, et nous vous invitons à explorer cet espace avec nous.
L’intelligence artificielle renforce-t-elle les capacités des experts en leur fournissant des outils sans précédent pour élargir et affiner leurs compétences ? Ou ces systèmes menacent-ils de rendre obsolète la notion même d’expertise, en rendant accessible à tous un savoir autrefois réservé à une élite ?
Avec l’usage croissant des intelligences artificielles génératives en entreprise, de nombreuses questions se posent sur la qualité du contenu produit. Comment pouvons-nous garantir la fiabilité des informations extraites ? Comment détecter un contenu généré par les machines ? Et peut-on vraiment exploiter les IA génératives pour exécuter des tâches compliquées ?
Une des solutions pour améliorer la qualité des réponses est le prompt engineering. Il permet de formuler des instructions ou des consignes spécifiques pour guider la génération de texte, d’images, ou de tout autre type de contenu à l’aide de l’IA.
C’est dans ce contexte que Management & Datascience organise une compétition de prompt engineering. Cette compétition vise à identifier les meilleures pratiques d’intelligence artificielle générative.
Nous vous invitons à démontrer votre savoir-faire et à nous aider à tirer parti de la puissance de l’Intelligence Artificielle Générative. Relevez nos trois défis et élaborez les meilleurs prompts possibles sur trois thèmes différents :
- Thème 1: Produire le résumé précis d’un document
- Thème 2 : Générer un graphique à partir d’un texte
- Thème 3 : Extraire des informations fiables
Rejoignez-nous dans cette aventure passionnante et aidez-nous à façonner l’avenir de l’intelligence artificielle générative. Nous avons hâte de voir ce que vous pouvez accomplir !
Challenge
1) Produire le résumé précis d’un document
Les modèles génératifs génèrent des textes dont le style et la syntaxe ne ressemblent que partiellement à la façon dont nous nous exprimons réellement.
Votre défi consiste à créer un prompt qui générera un résumé précis de 300 mots en français, lequel débouchera sur des recommandations concrètes.
Pour réaliser le résumé, vous utiliserez le corpus issu de l’article de Shen et al. (2023), intitulé « In chatgpt we trust? measuring and characterizing the reliability of chatgpt » et téléchargeable içi Téléchargement.
Attention, un lecteur humain parcourant le résultat du prompt ne devrait pas être en mesure d’identifier qu’il a été généré par une IA. Aucun détecteur du marché ne devrait pouvoir reconnaître qu’il s’agit d’un texte produit par une machine.
2) Générer un graphique à partir d’un texte
Un dessin vaut mieux qu’un beau discourt.
Votre défi consiste à créer un prompt qui transforme le texte du résumé que vous avez produit en un schéma compréhensible et pertinent.
Pour cela, vous devez utilisez une IA générative de votre choix puis la grammaire graphique de votre choix (Graphviz, Mermaid, PlanUML, le package Diagram de Python …).
Pour initier vos recherches vous pouvez étudier les qualités et les défauts du prompt suivant où l’IA générative transforme un texte en code GraphViz, ce qui permet de générer un graphique en utilisant un site comme : https://dreampuf.github.io/GraphvizOnline/
Attention, pour ce prompt vous devrez fourni deux résultats : le code généré et le graphique généré !
3) Extraire des informations fiables
Les modèles génératifs publiques sont entraînés sur des données statiques, souvent pas à jour et dont la traçabilité est faible. Par ailleurs, ils sont sujets à ce que l’on nomme des “hallucinations” et nous fournissent alors des réponses dont la logique n’est pas la nôtre et qui contredisent les faits que nous pensons exacts.
Votre défi consiste à concevoir un prompt qui permette d’extraire des informations exacte et fiable.
Vous devez extraire des informations pour répondre aux questions suivantes :
- Comment la fiabilité de ChatGPT varie-t-elle selon les domaines ?
- Quel est l’impact des rôles du système sur l’exactitude de ChatGPT ?
- Par ordre d’importance, quels sont les causes de défaillances des questions sans réponses ?
- ChatGPT est-il vulnérable aux attaques adverses ?
- Llama peut-il répondre de manière fiable face à des exemples contradictoires ?
Attention, pour ces prompts vous ne devez pas induire la réponse dans la consigne !
Pour extraire les informations, vous utiliserez le corpus issu de l’article de Shen et al. (2023), intitulé « In chatgpt we trust? measuring and characterizing the reliability of chatgpt » et téléchargeable içi Téléchargement.
Trophée
Les gagnants seront invités à présenter leurs résultats pendant le salon Big Data World Paris le jeudi 16 novembre 2023 à 16h30, lors d’une master class. Des experts scientifiques et professionnelles discuterons les résultats.
Les vainqueurs recevront le trophée du meilleur prompt engineer 2023 ainsi qu’un chèque cadeau. Ils bénéficieront d’une couverture médiatique (presse et réseaux sociaux) ainsi que la publication de leurs résultats au sein de la revue scientifique Management & Data Science.
Modalités
Inscription
La participation au prompt challenge est gratuite ! Chaque candidat doit s’inscrire au préalable sur le site web de Management & Data Science. Toutefois, les participants individuels peuvent choisir de former une équipe de deux (2) membres maximum soumettant un livrable unique en tant que co-auteurs.
Soumission des prompts
La clôture des soumissions est fixée au 14 novembre 2023 à 23h29. La soumission des contributions se fait en ligne à partir de l’onglet « Participer » et doit respecter les consignes ci-dessous.
Vous devrez remplir le formulaire de votre soumission en créant un article qui comprendra :
- un titre
- un résumé montrant l’intérêt de contribution
- le contenu de votre contribution
Pour chaque thème, vous devez fournir :
- l’url de l’IA générative utilisée;
- le texte du prompt utilisé;
- le meilleur résultat obtenu;
- les commentaires de votre contribution avec une description aussi convaincante et claire que possible de la logique de votre prompt, de ses forces, mais aussi de ses faiblesses. A partir d’exemples, vous pouvez également montrer l’évolution de votre prompt et les éléments d’optimisation. Vous pouvez analyser le résultats obtenu en le comparant avec d’autres outils d’IA et d’autres versions de prompt. L’objectif étant de montrer l’efficacité de votre prompt dans des contextes les plus variés et différents possibles.
A titre d’illustration, un exemple de soumission est accessible dans l’onglet ressource ou sur ce lien.
Évaluation
Pour chacun des thèmes, votre prompt est évalué sur 10 points :
- 10 points pour le prompt classé premier;
- 7 points pour le deuxième;
- 5 points pour le troisième;
- 2 points pour tout prompt «intéressant» ou «original» ou «prometteur»;
- 1 point de bonus sera donné aux prompts les plus génériques, c’est à dire fonctionnant efficacement sur 3 IA génératives.
Il aura donc quatre classements :
- un classement par thème (basé sur un score de 0 à 11 points au maximum);
- un classement général totalisant les points des trois thèmes (basé sur un score de 0 à 33 points au maximum).
Critères d’évaluation
- Utilité et pertinence : l’invite doit être conçue de manière à pouvoir proposer des réponses fiables et exactes.
- Rigueur et originalité : l’invite doit démontrer une approche unique et créative pour résoudre le problème identifié, mettant en valeur l’innovation du participant et sa capacité à sortir des sentiers battus.
- Clarté et adaptabilité : l’invite doit être clairement définie, facile à comprendre et inclure toutes les variables nécessaires pour un large éventail de cas d’utilisation. Il doit inclure des exemples de résultats. Ces exemples permettront de montrer l’efficacité de l’invite et sa capacité à résoudre le problème identifié.
- Impact et efficacité : l’invite doit être conçue de manière à pouvoir proposer une solution pratique qui peut être facilement mise en œuvre.
Jury
Un jury désignera le vainqueur en classant les meilleures propositions. Il est composé des membres suivants :
- Henri LAUDE, Chief Data Scientist (Advanced Research Partners)
- Olivier MAMAVI, Professeur en Data Management (Paris School of Business) et Directeur des données (Management & Datascience)
- Romain ZERBIB, Enseignant-chercheur HDR (ICD Business Scool) et Directeur des données (Management & Datascience)
Outils
Pour tester vos prompts, vous pouvez utiliser le modèle de language que vous souhaitez, notamment :
Règlement
La participation au challenge implique pour tout participant l’acceptation entière et sans réserve des règles ci-dessous. Le non-respect dudit règlement entraîne l’annulation immédiate de la participation.
- L’inscription au challenge doit se faire de manière individuelle. Afin de participer au challenge le participant doit avoir créé un compte utilisateur sur le site de Management & Data Science, et renseigné de manière loyale et complète les informations requises, telles que le nom, prénom, adresse mail, etc.
- Le fait, pour un participant ou une équipe, de ne pas déposer avant la date limite le livrable sur le site du challenge sera considéré comme un abandon de sa/leur part au challenge. Le participant ou l’équipe ne pourra en aucun cas réintégrer le challenge.
- Les contributions sont publiées sous une licence Creative Commons Attribution/Pas de modification.
- Chaque soumission sera notée et classée selon les critères d’évaluation indiqués sur le site Web du concours.
- Le(s) gagnant(s) potentiel(s) seront avisés par courriel.
- Les données personnelles du participant font l’objet d’un traitement au sens de la réglementation sur la protection des données personnelles (RGPD).
- Management & Data Science ne saurait être tenue responsable de toutes perturbations, à la fois sur le réseau internet ou des difficultés d’accès liées à un grand nombre de connectés ou de participants.
- 20 contributeurs | 18 contributions envoyées
-
Terminé
16Nov
2023
Prompt Challenge #S1E1
