Zéro sur le thermostat, mais la chaleur reste là : la temperature de fond des LLM
Ce matin, vous lancez la même question à votre modèle de langage. Température réglée à zéro. Mode déterministe. Et pourtant, la réponse qui s’affiche diffère de celle obtenue hier. Pas une virgule de plus, pas un mot de moins. Juste un angle légèrement différent. Ce n’est pas un bug. C’est un fantôme qui a un nom : la ‘température de fond’. Et des chercheurs viennent de lui donner une définition rigoureuse.
Le zéro qui n’en est pas un
Dans la pratique, la température est le bouton que l’on tourne pour contrôler l’aléa d’un LLM. À T = 1, les sorties sont variées. À T = 0, on attend une réponse unique, reproductible, identique à chaque appel. Or, un travail récent du Thinking Machines Lab a mis en lumière un fait que beaucoup d’ingénieurs soupçonnaient sans oser le formuler : même à température nulle, les sorties divergent. La même entrée peut produire des textes différents selon la façon dont le code s’exécute.
Le papier que nous commentons ici — une note courte publiée sur arXiv — ne se contente pas de constater ce phénomène. Il lui donne un nom propre, une notation mathématique (T_bg) et surtout un protocole empirique pour le mesurer. Les auteurs proposent d’estimer cette température de fond en comparant les sorties du modèle réel à celles d’un système de référence idéal, dans un environnement d’inférence donné. En clair : on quantifie la ‘chaleur résiduelle’ que le matériel et le logiciel injectent dans le calcul, même quand on a demandé le silence.
- La température de fond T_bg n’est pas un paramètre que l’utilisateur règle. Elle émerge de l’environnement d’exécution : le matériel, la taille du batch, la version des bibliothèques.
- Elle est mesurable, donc actionnable : un protocole permet de l’estimer sur n’importe quel modèle, quel que soit le fournisseur.
- Les auteurs ont mené des expériences pilotes sur un panel représentatif des principaux fournisseurs de LLM, confirmant que le phénomène est systémique et non isolé.
Trois coupables discrets
Le Thinking Machines Lab avait déjà identifié trois sources d’indéterminisme à l’œuvre dans les pipelines d’inférence. Le papier formalise chacune avec précision.
- La variation de taille de batch. Quand plusieurs requêtes sont groupées pour saturer le GPU, l’ordre et le regroupement des calculs changent. Résultat : des arrondis flottants différents, donc des sorties différentes.
- La non-invariance des kernels. Les routines de calcul optimisées pour le matériel ne garantissent pas la même opération dans le même ordre d’itérations. Deux appels ‘identiques’ peuvent traverser des chemins de calcul légèrement distincts.
- La non-associativité de l’arithmétique en virgule flottante. En IEEE 754, (a + b) + c n’est pas toujours égal à a + (b + c). Une réorganisation apparemment innocente de l’ordre des additions suffit à déplacer le résultat d’un ulp, et ce petit écart se propage.
Aucun de ces trois effets ne constitue une erreur. Tous relèvent des spécifications du standard. Et pourtant, leur cumulation produit un bruit que la littérature antérieure traitait comme un artefact mineur. La température de fond, c’est précisément ce bruit, rendu mesurable.
Pourquoi l’Afrique devrait s’en emparer
La reproductibilité des modèles n’est pas qu’un débat de laboratoire. C’est une question de confiance, et la confiance est monnaie rare dans les écosystèmes numériques africains en construction. Trois dynamiques rendent ce sujet particulièrement sensible sur le continent.
D’abord, les infrastructures de calcul en Afrique sont souvent partagées, hétérogènes et contraintes. Un laboratoire universitaire à Dakar ou à Accra qui forme un modèle sur un cluster de 8 GPU, puis le déploie sur deux machines cloud distinctes, subira des variations de batch size et de kernels que ses pairs mieux équipés ne rencontreront jamais. La température de fond y sera structurellement plus élevée. Mieux la mesurer, c’est pouvoir isoler ce qui relève du modèle de ce qui relève de la machine.
Ensuite, les startups africaines qui intègrent des LLMs dans des applications sensibles — diagnostic médical assisté, assistance juridique en langues locales, tri de réclamations bancaires — ont besoin de garantir que le comportement du modèle est stable dans le temps. Un client qui obtient deux réponses légèrement différentes pour la même requête ne reviendra pas. La quantification de T_bg offre un outil de certification que ces équipes peuvent intégrer dans leur pipeline de contrôle qualité.
Enfin, la communauté de recherche en IA en Afrique, encore jeune, a tout à gagner d’un cadre formel pour documenter ses résultats. Publier un benchmark sans préciser l’environnement d’inférence, c’est laisser une porte ouverte à la reproductibilité fragile. T_bg propose un vocabulaire commun, un protocole standard, et c’est exactement ce qui manque pour que les études publiées par des équipes africaines soient aussi comparables que celles issues de grands laboratoires.
Ouverture
La température de fond est un concept d’apparence abstraite, presque philosophique : il existe une incertitude que l’on ne contrôle pas parce qu’elle n’est pas dans le modèle, elle est dans la machine. Mais ses implications sont très concrètes.
- Les benchmarks publiés gagneraient à mentionner T_bg en plus de la température nominale, pour que les comparaisons soient justes.
- Les fournisseurs de LLM pourraient, à terme, exposer un indicateur de stabilité qui reflète cette température résiduelle, comme un ‘indice de dérive’ visible dans la documentation API.
- Pour les équipes africaines de data science, intégrer cette métrique dans les rapports d’évaluation serait un signal fort de rigueur scientifique, différenciant sur la scène internationale.
- La question reste ouverte : T_bg est-elle stable dans le temps, ou dérive-t-elle avec les mises à jour de pilotes et de frameworks ? Le protocole proposé ouvre la porte à une surveillance continue.
Prochaine fois que votre LLM vous surprendra avec une réponse légèrement différente, vous saurez pourquoi. Et surtout, vous saurez comment le mesurer. La vraie question, c’est de savoir qui, dans votre chaîne, est prêt à l’assumer.
Sources
