Imaginez que l’on vous confie un article de sociologie publié dans un journal à comité de lecture. On vous donne la description des méthodes, le jeu de données brut, et on vous interdit formellement de consulter le code, les résultats finaux, même l’article lui-même.Votre mission : reproduire, cellule par cellule, les chiffres que les auteurs ont publiés. C’est exactement l’épreuve qu’ont soumise un groupe de chercheurs à quatre architectures d’agents LLM et quatre grands modèles de langage, sur 48 papiers de sciences sociales dont la reproductibilité avait été vérifiée manuellement. Le résultat, publié sur arXiv, tient en une phrase : les agents arrivent à récupérer l’essentiel des résultats publiés, mais échouent de manière spectaculaire — et instructive — sur un tiers des cas.
Le protocole : zéro triche, zéro raccourci
Ce qui distingue cette étude des travaux antérieurs sur la reproduction automatisée, c’est l’isolement informationnel radical. Les agents précédents avaient accès au code source et aux résultats finaux : ils pouvaient, en substance, « copier-coller » la logique existante. Ici, le système d’agentic reproduction fonctionne autrement. Un premier module extrait une description structurée des méthodes depuis le papier. Un second module, qui ne voit ni le code original, ni les tableaux de résultats, ni le texte intégral, réimplémente la chaîne de calcul à partir de cette seule description et des données brutes. Un troisième module compare ensuite les sorties reproduites aux résultats publiés, au niveau de chaque cellule de tableau. Enfin, une étape d’attribution d’erreurs remonte la chaîne de traitement pour identifier où, précisément, la divergence est née.
- Quatre scaffolds d’agents et quatre LLMs ont été évalués sur un corpus de 48 papiers.
- Chaque papier avait fait l’objet d’une vérification manuelle préalable de sa reproductibilité.
- La comparaison est déterministe et cellulaire : pas de tolérance statistique, pas de « c’est à peu près pareil ».
Ce que les chiffres disent — et ce qu’ils taisent
Le constat principal est nuancé. Sur l’ensemble du corpus, les agents parviennent à reconstruire une large part des résultats publiés. La performance, toutefois, varie considérablement selon trois axes : le modèle de langage utilisé, l’architecture d’agent choisie, et le papier lui-même. Autrement dit, il n’existe pas de « bon agent » universel ; il existe des combinaisons modèle-scaffold qui fonctionnent mieux sur certains types de méthodes que sur d’autres.
Plus intéressant encore : l’analyse des racines des échecs révèle une dualité. Une partie des erreurs provient effectivement des agents — mauvaise interprétation d’une instruction, choix d’un algorithme différent, oubli d’une transformation de variable. Mais une autre part, non négligeable, s’explique par l’underspecification du papier lui-même. Des étapes de prétraitement, des seuils arbitraires, des choix de variables omis dans la section méthodes : autant d’ambiguïtés qu’aucun agent, aussi performant soit-il, ne peut combler. En d’autres termes, l’échec n’est pas toujours celui de la machine. Parfois, c’est celui du texte.
Un miroir pour les sciences sociales en Afrique
La crise de reproductibilité n’est pas un phénomène réservé aux laboratoires anglo-saxons. Dans de nombreuses universités du continent africain, la publication de résultats de terrain — enquêtes démographiques, études économiques, analyses sociologiques — souffre des mêmes maux : méthodes insuffisamment décrites, données non partagées, code absent des dépôts publics. Les contraintes structurelles y sont réelles : accès limité aux données, faible visibilité des revues locales, charge administrative qui pèse sur la rigueur méthodologique.
L’émergence d’agents capables de reconstituer un pipeline d’analyse à partir d’une simple description de méthode pourrait, à terme, servir d’outil d’audit et de pédagogie. Un doctorant à Dakar, à Accra ou à Kigali pourrait soumettre la section méthodes de son manuscrit à un agent et vérifier, avant soumission, que chaque étape est suffisamment explicitée pour être reproduite par un tiers. Ce n’est pas de la science-fiction : les briques techniques existent déjà. Ce qui manque, c’est l’adoption, la formation, et une volonté institutionnelle de faire de la reproductibilité un critère d’évaluation, pas une formalité.
- L’underspecification identifiée par l’étude est un risque majeur dans tout contexte de publication où la revue de pairs est moins structurée.
- Les outils d’extraction de méthodes structurées pourraient devenir des assistants de rédaction pour les chercheurs africains, réduisant la charge de clarification méthodologique.
- La comparaison cellulaire déterministe offre un critère objectif, indépendant de la subjectivité d’un relecteur, pour valider une reproduction.
Et si le problème n’était pas l’IA, mais le papier ?
Là où cette étude dérange, c’est dans sa conclusion implicite. Si des agents capables de coder, d’optimiser, de déboguer échouent à reproduire un résultat, ce n’est pas forcément un échec de l’agent. C’est peut-être un signal que la communauté scientifique produit encore trop de papiers « opaques » — des articles dont la valeur scientifique repose sur une intuition implicite, un choix de variable jamais justifié, un seuil arrondi « parce que ça marche ».
Les LLM n’ont pas résolu la crise de reproductibilité. Mais ils l’ont rendue visible, mesurable, et, surtout, assignable. On sait désormais où ça casse. La question qui reste ouverte, et qui concerne autant les éditeurs que les auteurs, est la suivante : combien de temps encore allons-nous publier des résultats que même une machine compétente ne peut pas reproduire ?