On a demandé à 11 grands modèles de tirer des dés : quasi personne n’a réussi
Dix sur onze. C’est le score, en apparence anodin, qui résume l’un des audits les plus révélateurs jamais menés sur les grands modèles de langage. Dans une étude publiée sur arXiv, une équipe de chercheurs a soumis 11 LLM de pointe à un exercice d’une apparente simplicité : générer des échantillons tirés de distributions statistiques connues. Le résultat ? En mode « requêtes indépendantes », dix de ces modèles n’ont validé aucune des quinze distributions testées. Le hasard, cet ennemi juré de la prédictibilité, reste hors de portée de machines qui, pourtant, dominent la conversation.
Le protocole : deux façons de demander du bruit
Les auteurs ont conçu un double protocole pour isoler les mécanismes de défaillance. Dans le premier, dit Batch Generation, un modèle produit mille échantillons en une seule réponse — comme si un étudiant répondait à toute une page d’exercice d’un coup. Dans le second, Independent Requests, le modèle reçoit mille sollicitations séparées, sans mémoire de l’une à l’autre, simulant un pipeline stochastique en production.
L’asymétrie est brutale. Le batch atteint un taux médian de validité statistique de 7 % — médiocre, mais pas nul. Les requêtes indépendantes, elles, s’effondrent : la quasi-totalité des modèles échoue sur l’ensemble des distributions. Autrement dit, dès que l’on retire au modèle la possibilité de « voir » ses propres générations précédentes pour ajuster, sa capacité à échantillonner correctement disparaît. Il ne possède pas, en interne, un vrai mécanisme de tirage aléatoire conforme à une loi de probabilité donnée.
- Le taux de réussite en batch (7 % médian) montre que le modèle « triche » en s’appuyant sur le contexte de sa propre réponse.
- L’effondrement en mode indépendant prouve l’absence d’un échantillonneur natif et fonctionnel.
- La fidélité de l’échantillonnage se dégrade de façon monotone à mesure que la complexité de la distribution augmente et que la taille de l’échantillon N croît.
Pourquoi cela dépasse largement le laboratoire
La question n’est pas académique. À mesure que les LLMs s’intègrent dans des pipelines stochastiques — simulation de Monte-Carlo, génération de données synthétiques, construction de jeux de questions à choix multiples, prompting de modèles image — la capacité à échantillonner fidèlement devient une exigence fonctionnelle. Les chercheurs ont démontré deux biais concrets en aval : les modèles échouent à imposer une distribution uniforme des positions de réponse correcte dans la génération de QCM, et violent systématiquement les cibles démographiques dans la synthèse de prompts text-to-image avec contraintes d’attributs.
En Afrique, où les équipes de recherche et les startups s’appuient de plus en plus sur des LLMs pour des applications critiques, cette limite prend une dimension particulière. Un centre d’épidémiologie qui utilise un modèle pour générer des cohortes simulées de patients, une startup agro-technologique qui simule des scénarios de rendement de cultures par échantillonnage stochastique, ou une plateforme éducative qui produit des examens à choix multiples : dans chaque cas, le biais statistique invisible se traduit en décisions faussées. Le cas de l’Institut Panafricain des Sciences des Données, qui forme des milliers d’étudiants annuellement à l’analyse probabiliste, illustre bien l’ironie : on enseigne le tirage aléatoire correct, tandis que les outils que les apprenants manipulent en violation systématique de ces principes.
- En santé publique, une simulation mal échantillonnée peut sous-estimer ou surévaluer la prévalence d’une maladie dans une région donnée, faussant l’allocation des ressources.
- Dans l’éducation, un générateur de QCM biaisé sur les positions de réponse correcte donne un avantage artificiel à des stratégies de devinette, invalidant les résultats d’évaluation.
- Pour les équipes de data science en Afrique, la lection est directe : externaliser tout échantillonnage probabiliste vers des bibliothèques spécialisées (NumPy, RandomTools, etc.) et ne jamais déléguer cette tâche au LLM lui-même.
Et alors, que fait-on ?
Les auteurs sont clairs : les LLMs actuels ne disposent pas d’un échantillonneur interne fonctionnel. Tant que cette absence persistera, toute application exigeant des garanties statistiques — un tirage uniforme, une loi de Student, une distribution de Poisson — devra recourir à des outils externes dédiés. Le LLM reste un excellent manipulateur de langage ; il n’est pas un générateur de hasard. Confondre les deux, c’est construire des systèmes fragiles sur un socle qui, sous la pression d’un test rigoureux, se révèle creux.
La question qui demeure, et qui concerne directement quiconque intègre ces modèles dans un workflow de production : avez-vous audité la distribution réelle de vos échantillons générés ? Ou faites-vous simplement confiance à une machine qui, à en croire ces chiffres, ne sait même pas imiter un dé ?
Sources
