854 mots pour un prof d'IA qui n'a pas le droit de flatter : Claude et Grok suivent le prof de Jane Street, notre branchement vers ChatGPT sèche la deuxième heure

En bref

• Le 03/11/2026, Jane Street a publié sur GitHub un dépôt qui ne contient qu'un seul « skill », c'est-à-dire une fiche d'instructions pour IA : un tuteur qui enseigne par questions. Licence MIT : réutilisable librement, à condition de garder la mention de copyright et le texte de la licence.
• Le mode d'emploi officiel en donne deux usages : le copier dans un agent compatible avec le format SKILL.md, ou coller le corps du fichier (son texte sans l'en-tête technique) dans un chatbot. Il ne cite ni Claude, ni Grok, ni ChatGPT.
• Notre essai, un sujet et deux tours : les trois ouvrent par une seule question. Quand l'élève tape la commande just tell me, Claude et Grok donnent la réponse de leur question, et seulement d'elle, puis reprennent aussitôt par une question ; ChatGPT, appelé par notre script via l'outil Codex, n'a rien rendu en 15 minutes (900 secondes), aux deux versions de ce tour.

La pièce : un fichier texte et deux modes d'emploi

Un dépôt GitHub, créé le 03/11/2026 à 16:50 UTC. Dernière modification le même jour, environ une heure plus tard. Un seul skill dedans, rangé dans le dossier socratic-tutor : le fichier SKILL.md, 854 mots en-tête compris d'après notre relevé. Le titulaire des droits, d'après la licence : Jane Street Group, LLC. Le dépôt ne dit pas pourquoi l'entreprise le publie.

Le README, la page d'accueil du dépôt, tient en quelques lignes. Il annonce un tuteur personnel strict, qui enseigne le sujet de ton choix par la méthode socratique : un diagnostic, une carte de compétences notée de 0 à 5, une question à la fois, des révisions espacées et une évaluation finale.

Deux façons de s'en servir, pas une de plus :

• avec un agent de programmation qui lit le format SKILL.md, on copie le dossier dans le dossier des skills de l'agent, puis on lui demande « apprends-moi X » ;
• avec un simple chatbot, on colle le corps du fichier dans la conversation, ou dans les instructions personnalisées (le prompt système), suivi de ce qu'on veut lui faire faire.

Aucun nom de chatbot. Ni Claude, ni Grok, ni ChatGPT. Les trois noms du titre, c'est notre essai à nous.

Ce que le prof s'interdit

Tu tapes « apprends-moi les intérêts composés ». Tu attends un cours. Tu reçois une question. C'est le contrat du fichier : enseigner surtout en posant des questions qui forcent l'élève à raisonner, prévoir et expliquer, pas en faisant la leçon.

Le déroulé est écrit noir sur blanc :

• découper le sujet en 4 à 10 sous-compétences, puis un diagnostic de 3 à 5 questions, sans rien enseigner avant la fin ;
• tenir une carte des sous-compétences, notées de 0 (« ne connaît pas ») à 5 (« peut l'enseigner »), en passant par 4 (« sait faire seul ») ;
• poser UNE question, puis s'arrêter net, sans indice ni exemple de réponse ;
• si l'élève se trompe, poser une question plus étroite ; expliquer seulement après 2 ou 3 échecs, puis retester aussitôt la même idée sous un autre angle ;
• accorder un niveau sur deux vérifications réussies au moins, dont une de mémoire, revenir sans prévenir sur l'ancien (la révision espacée), et finir par une évaluation mixte quand tout est au niveau 4 sur 5, « sait faire seul », par défaut.

Et une ligne que je recopie volontiers : ne pas flatter. « Pas tout à fait : pourquoi X arriverait-il si Y était vrai ? » vaut mieux que « Bien essayé ! ». Une IA qui dit oui à tout, c'est un défaut connu ; White Rose a expliqué pourquoi ton IA te dit oui même quand tu as tort.

Le fichier prévoit aussi un garde-fou. Une question ponctuelle (« explique X », « c'est quoi X ») reçoit une réponse normale, sans quiz. En cas de doute, le prof demande d'abord si on veut une réponse rapide ou un vrai cours.

L'élève garde des commandes, à taper en anglais, telles quelles :

• show progress : afficher la carte des compétences ;
• harder / easier : plus dur, plus facile ;
• just tell me : annuler le mode socratique, pour la question en cours seulement ;
• save state : sortir un bloc compact (sujet, niveaux, erreurs repérées, ce qui a été vu) à recoller dans une nouvelle session ;
• resume from: suivi de ce bloc : reprendre là où on s'était arrêté.

Notre essai : un élève, trois IA, deux tours

On a suivi le second mode d'emploi, celui du chatbot. Les conditions, sans maquillage :

• le 09/11/2026, avec les outils en ligne de commande du labo, pas les applis grand public ;
• Claude par Claude Code, l'outil en ligne de commande d'Anthropic, avec le raccourci de modèle « sonnet » (sans numéro de version), sans outils ;
• Grok par Grok Build, l'outil en ligne de commande de xAI, modèle par défaut, recherche web autorisée par notre script ;
• ChatGPT par Codex, l'outil en ligne de commande d'OpenAI, sur un compte ChatGPT, modèle par défaut ; notre script ajoute en tête du message une ligne qui le prévient qu'il ne peut ni lancer de commande ni lire de fichier, et lui laisse au plus 900 secondes ;
• aucun des trois outils n'affiche le numéro exact du modèle utilisé.

Le message envoyé : le corps du fichier SKILL.md, sans son en-tête technique, comme le dit le README, suivi de « Apprends-moi comment fonctionnent les intérêts composés. ». Un premier envoi avec le fichier entier, en-tête compris, a été écarté : l'outil de Grok a refusé le texte qui commence par trois tirets, une erreur de l'outil en ligne de commande et pas du modèle, et Codex a été coupé au bout de 7 minutes.

Tour 1 : chacun sa première question

Les trois font ce que demande le début du fichier : annoncer quelques questions, une à la fois, puis en poser une seule, sans cours.

Claude prévient : « Je n'enseignerai rien avant la fin de ce diagnostic. » Grok, pareil : « Je ne t'explique rien pour l'instant. » Grok glisse aussi une phrase de coulisses, en tête de sa réponse : « Je commence par lire le protocole du tuteur, puis je lance le diagnostic. »

Au tour 1, le script de l'essai avait sa propre limite, plus courte : 300 secondes (5 min). Il s'est arrêté avant d'afficher la réponse de Codex. Cette réponse, complète, a été retrouvée dans son fichier, écrit six secondes plus tard.

Tour 2 : l'élève pressé tape la commande just tell me

Notre outil ne garde pas la conversation d'un appel à l'autre. Pour le tour 2, on a donc recollé à chaque IA sa propre conversation du tour 1, plus la même réponse d'élève, valable quelle que soit la question : « Je ne sais pas », suivi de la commande Just tell me et de « explique-moi directement », le tout en un seul message. Notre premier tour 2 envoyait aux trois la même réponse chiffrée alors que leurs questions différaient : on l'a écarté et refait.

La règle écrite à comparer tient en une ligne : la commande annule le mode socratique « pour la question en cours seulement ». Deux critères, rien d'autre : qui répond à sa question, et qui reprend les questions ensuite.

Claude (10 s) ouvre sur « voici la réponse directe pour cette question ». Au bout de 2 ans, 1 210 €, intérêts ajoutés au capital chaque année. Le détail suit, année par année : 100 € d'intérêts la première année, puis 10 % de 1 100 €, soit 110 €. Avec des intérêts simples, ce serait 1 200 €. Les 10 € d'écart sont, dans ses mots, « des intérêts produits par des intérêts ». Puis : « On continue le diagnostic », avec la question 2, même placement, au bout de 3 ans. La réponse, qu'il ne donne pas : 1 331 €.

Grok (19 s) annonce répondre « sur cette question précise ». Au bout d'un an, 1 100 €, et la première année, intérêts simples et composés donnent le même résultat, parce que les intérêts n'ont pas encore eu le temps de rapporter à leur tour. Puis : « Même idée, autres chiffres. » 400 € à 5 % par an, combien au bout d'un an ? La réponse, qu'il ne donne pas : 420 €. Ce « même idée, autres chiffres » ressemble à une autre règle du fichier, écrite pour un autre cas : après 2 ou 3 échecs de l'élève, expliquer, puis retester aussitôt sous un autre angle. Pour just tell me, le fichier dit seulement que la commande vaut pour la question en cours. Sa réponse s'ouvre encore sur une phrase de coulisses : « Je lis le protocole du tuteur, puis je réponds à ta demande ».

ChatGPT, par Codex : rien. Aucune réponse en 900 secondes (15 min), la limite fixée par notre script. Il a noté l'échec, comme au premier tour 2 écarté. Au tour 1, il avait mis environ 306 secondes (environ 5 min).

Le constat, rapporté à la règle. Les deux qui ont répondu donnent la réponse de la question en cours, n'ouvrent pas d'autre chapitre, et reprennent aussitôt par une question. La commande a joué son rôle, pour une question, pas une de plus.

Ce qu'on ne sait pas encore

• Pourquoi Jane Street publie ce fichier : le dépôt ne le dit pas.
• Comment se passe une vraie session complète. Deux tours ici : ni carte de compétences affichée, ni révision espacée, ni évaluation finale, ni save state.
• Ce que donnent les applis grand public (Claude, Grok, ChatGPT sur le web ou le téléphone) : nous ne les avons pas essayées.
• Ce que donnerait un deuxième tirage : un seul par outil ici.
• Pourquoi Codex n'a rien rendu au tour 2, deux fois : notre journal note l'échec, pas sa cause.

Verdict : à prendre. Gratuit, 854 mots, licence MIT, et des règles assez nettes pour prendre une IA en faute, ligne à ligne. Claude et Grok tiennent la commande just tell me pour une question, pas une de plus. Mention spéciale à Grok, qui annonce en tête de réponse qu'il lit son protocole, comme l'élève qui relit la consigne à voix haute avant l'exercice. La ligne « ne pas flatter », je la collerais d'office dans chaque chatbot grand public. Et le seul cancre du tour 2, c'est notre propre branchement vers ChatGPT : 15 minutes, copie blanche.

Les mots à retenir

• Skill : une fiche d'instructions qu'on donne à une IA pour une tâche précise. Ici, un simple fichier texte.
• SKILL.md : le nom de ce fichier. Le README parle d'un « format commun » que certains agents savent lire.
• Agent : une IA qui agit (lit des fichiers, lance des outils) au lieu de seulement répondre.
• Chatbot : une IA avec laquelle on discute par messages.
• Prompt système : les instructions placées avant la conversation, que l'IA suit pendant tout l'échange.
• Méthode socratique (ou maïeutique) : enseigner en posant des questions qui font trouver la réponse.
• Révision espacée : revenir sur une notion après un délai, pour vérifier qu'elle est retenue.
• Carte de compétences : la liste des sous-compétences d'un sujet, chacune avec un niveau de 0 à 5.
• GitHub, dépôt : GitHub est un site où l'on publie du code et des fichiers ; un dépôt, c'est un dossier publié là, avec son historique.
• Intérêts composés : des intérêts qui rapportent à leur tour des intérêts. 1 000 € à 10 % par an, intérêts ajoutés au capital chaque année : 1 100 € après un an, 1 210 € après deux.
• Licence MIT : une licence libre ; MIT est le sigle du Massachusetts Institute of Technology, qui lui a donné son nom. On peut utiliser, modifier et redistribuer, à condition de garder la mention de copyright et le texte de la licence.
• Outil en ligne de commande (en anglais CLI) : un programme qu'on pilote en tapant du texte dans un terminal, sans fenêtre ni bouton.
• LLM : grand modèle de langage, l'IA qui écrit le texte (mot du README).
• API : la porte d'accès d'un site réservée aux programmes ; notre relevé a lu GitHub par là.
• .md : fichier texte au format Markdown.
• ,… : renvois au tableau des passages sources ; S = sources d'origine, R = nos relevés et nos essais.
• URL : adresse web.
• LLC : forme de société américaine.
• PIL : outil de dessin en Python, qui a tracé nos graphiques.
• T et Z dans une heure (2026-11-03T16:50:21Z) : T sépare la date de l'heure, Z veut dire UTC.

Tous nos mots expliqués : le glossaire →

Fiche source

• Qui publie : Jane Street Group, LLC (licence MIT, 2026).
• Où : dépôt GitHub janestreet/agent_skills, créé le 03/11/2026, un seul skill, socratic-tutor.
• Lu le : 09/11/2026 à 17:39 UTC.
• Notre essai : 09/11/2026, 17:47-18:31 UTC, réponses complètes conservées au labo.

Passages sources

Fichiers relevés le 09/11/2026 à 17:39 UTC. Les réponses des IA sont en français dans nos fichiers : elles sont citées telles quelles.

Afficher les 7 sources

Réf.	Citation (langue originale)	URL
S1↑1↑2↑3↑4	"socratic-tutor — turns an LLM into a strict personal tutor that teaches a topic of your choice using the Socratic method: a diagnostic, a skill map with levels 0-5, one question at a time, spaced review, and a final assessment." ; "With a coding agent that supports the common SKILL.md format, copy the skill directory into your agent's skills folder, then ask the agent to use it (\"teach me X\")." ; "With a plain chatbot, paste the body of the skill's SKILL.md into the chat (or into a custom/system prompt), followed by what you want it to do."	https://github.com/janestreet/agent_skills/blob/master/README.md
S2↑1↑2↑3	"The MIT License" ; "Copyright (c) 2026 Jane Street Group, LLC" ; "Permission is hereby granted, free of charge, to any person obtaining a copy [...] to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies" ; "The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software."	https://github.com/janestreet/agent_skills/blob/master/LICENSE.md
S3↑1↑2↑3↑4↑5↑6+1	"teach primarily by asking questions that force the user to reason, predict, and explain — not by lecturing" ; "If the user asked a one-off question (\"explain X\", \"what is X\", \"how do I use X\"), answer it normally and do not start the tutoring loop. If intent is ambiguous, ask one short question (\"Want a quick answer, or should I actually teach you this properly?\")" ; "Break the topic into 4-10 concrete subskills" ; "Run a short diagnostic: 3-5 probing questions [...] Do not teach anything until the diagnostic is done." ; "0 unaware . 1 heard of it . 2 can follow along . 3 can do with help / 4 can do independently . 5 can teach it / handle edge cases" ; "Ask ONE question at a time. End the message immediately after the question and wait for the answer; do not add hints, example answers, or teaching content after it." ; "When the user is wrong, do not give the answer. Ask a narrower question [...] Only explain directly after 2-3 failed attempts, and then immediately re-test the same idea from a different angle." ; "Raise a level only on demonstrated performance across 2+ independent checks, at least one of them unprompted recall" ; "Interleave spaced review: periodically re-test earlier subskills without warning." ; "Do not flatter. \"Not quite — why would X happen if Y were true?\" beats \"Great try!\"." ; "The course ends only when every subskill is at the target level (default 4/5 [...])" ; "\"show progress\" — render the skill map" ; "\"harder\" / \"easier\" — adjust difficulty" ; "\"just tell me\" — override Socratic mode for the current question only" ; "\"save state\" — emit a compact block (topic, skill map with levels, notes on misconceptions and what has been covered) that can be pasted into a new session to resume" ; "\"resume from:\" — followed by a saved state block"	https://github.com/janestreet/agent_skills/blob/master/socratic-tutor/SKILL.md
R1↑1↑2↑3↑4↑5↑6+1	Relevé du 09/11/2026 17:39:06Z (API GitHub et fichiers bruts) : dépôt janestreet/agent_skills créé le 2026-11-03T16:50:21Z, dernier commit 2026-11-03T17:53:45Z, licence MIT, 1 skill : socratic-tutor/SKILL.md (854 mots) ; README : 2 modes d'emploi ; « Aucune mention de Grok, Claude ni ChatGPT ».	https://github.com/janestreet/agent_skills
R2↑1↑2↑3↑4↑5↑6+2	Notre essai, tour 1, 09/11/2026 dès 17:47:16Z. Outils : claude -p --model sonnet (version exacte non affichée) ; Grok Build, modèle par défaut non affiché, recherche web autorisée ; Codex CLI, compte ChatGPT, modèle par défaut non affiché ; pour Codex, notre script place en tête : « IMPORTANT : tu ne peux lancer AUCUNE commande ni lire aucun fichier (bac à sable indisponible). Tout le contenu utile est ci-dessous ; réponds directement par écrit. » et l'arrête à 900 s. Temps : Claude 9 s, Grok 46 s, Codex ≈ 306 s (script coupé à 300 s, réponse complète dans son fichier). Claude : « Je n'enseignerai rien avant la fin de ce diagnostic. » ; « Tu places 1 000 € à 10 % d'intérêt par an [...] Combien as-tu au bout de 2 ans ? ». Grok : « Je commence par lire le protocole du tuteur, puis je lance le diagnostic. » ; « Je ne t'explique rien pour l'instant. » ; « Tu places 1 000 € à 10 % par an. [...] Au bout d'un an, combien y a-t-il sur le compte ? ». Codex : « Tu places 100 € à un taux de 10 % par an [...] quelle somme auras-tu après un an ».	—
R3↑1↑2↑3↑4↑5↑6+6	Notre essai, tour 2 refait (fait foi), dès 18:16:01Z : conversation du tour 1 de chaque IA recollée + réponse d'élève identique « Je ne sais pas. Just tell me : explique-moi directement. » Temps : Claude 10 s, Grok 19 s, Codex échec, aucune réponse dans le délai maximal de notre script, 900 s (« ECHEC : Codex n'a rien répondu »). Claude : « Pas de souci, voici la réponse directe pour cette question. » ; « Après 2 ans, tu as 1 210 €. » ; « Année 2 : les 10 % s'appliquent sur 1 100 € (et non sur 1 000 €), soit 110 € d'intérêts, donc 1 210 €. » ; « tu aurais 1 200 € » ; « Les 10 € d'écart sont des intérêts produits par des intérêts. » ; « On continue le diagnostic, en repartant du même placement (1 000 € à 10 % par an). » ; « Question 2 : Combien aurais-tu au bout de 3 ans ? ». Grok : « Je lis le protocole du tuteur, puis je réponds à ta demande « just tell me » sur cette question précise. » ; « 1 000 + 100 = 1 100 € » ; « La première année, l'intérêt simple et l'intérêt composé donnent le même résultat, parce que les intérêts n'ont pas encore eu le temps de produire eux-mêmes des intérêts. » ; « Même idée, autres chiffres. Tu places 400 € à 5 % par an. [...] Au bout d'un an, combien y a-t-il sur le compte ? »	—
R4↑1↑2↑3↑4↑5	Envois écartés. 1) Fichier entier avec l'en-tête « --- » : Grok « error: unexpected argument '---' » (erreur de l'outil) ; Claude a répondu ; Codex coupé à 7 min. 2) Premier tour 2 (dès 17:52:48Z) : même réponse d'élève « 1 100 €. Mais je suis pressé : just tell me, explique-moi directement les intérêts composés. » envoyée aux trois alors que leurs questions différaient (« juste pour Grok, fausse pour Claude, hors sujet pour Codex ») : « défaut de NOTRE protocole, tour2/ ÉCARTÉ » ; Codex y avait aussi échoué (900 s).	—