Pourquoi votre LLM échoue sur une question mais réussit sur une reformulation : la science vient d’y voir clair
Vous demandez à un grand modèle de langage de résumer un article, il rate le coche. Vous reformulez la même question en y glissant deux exemples, et soudain la réponse est limpide. Cette instabilité, souvent qualifiée de ‘sensibilité au prompt’, agace les développeurs depuis des années. Une étude publiée sur arXiv en 2026 vient de proposer une explication mécanique étonnamment élégante : à l’intérieur du modèle, quelques têtes d’attention agissent comme des petits cartographes lexicaux qui ‘écrivent’ littéralement la tâche en cours, et c’est leur degré d’activation qui détermine si le modèle répond bien ou non.
Les ‘têtes lexicales’, ces neurones qui nomment la tâche
Les auteurs ont comparé deux familles de prompts très différentes. D’un côté, les instructions naturelles : ‘Voici un texte, résume-le en trois phrases.’ De l’autre, les démonstrations par exemples : on colle trois paires entrée-sortie et le modèle infère la tâche. Les performances varient considérablement d’un style à l’autre. Pourtant, en inspectant les têtes d’attention internes, ils ont repéré un sous-ensemble récurrent : des têtes dont la sortie neuronale encode, en langage quasi littéral, la nature de la tâche à accomplir. Les chercheurs les baptisent ‘lexical task heads’.
- Ces têtes apparaissent quel que soit le style de prompt utilisé, ce qui suggère qu’elles constituent un langage interne stable du modèle.
- Plus elles sont activées, plus la réponse finale est cohérente ; moins elles le sont, plus le modèle dérive.
- Certaines erreurs proviennent d’un ‘bruit’ : des représentations de tâches concurrentes qui diluent le signal principal.
Ce que cela change concrètement pour ceux qui construisent avec l’IA
Jusqu’ici, la sensibilité au prompt était traitée comme un artefact à contourner par l’ingénierie prompt : multiplier les essais, ajouter des contraintes, changer la formulation. L’étude inverse la perspective. Si l’on comprend quel mécanisme interne doit être activé, on peut concevoir des prompts qui ‘ciblent’ directement ces têtes lexicales plutôt que de parier sur la chance. Pour une équipe produit qui intègre un LLM dans un service client, cela signifie moins d’essais-erreurs et plus de diagnostic précis : si le modèle rate systématiquement un type de demande, c’est probablement que la représentation de cette tâche n’atteint pas le seuil d’activation suffisant.
Pour les chercheurs en NLP africain, cette découverte ouvre une piste particulièrement pertinente. Des projets comme No Language Left Behind de Meta ou les initiatives menées par des laboratoires à l’Université de Kigali et à l’École normale supérieure d’Abidjan travaillent à faire comprendre des langues ouest- et australes aux LLM. La question n’est plus seulement ‘le modèle connaît-il le swahili ?’ mais ‘les têtes lexicales sont-elles calibrées pour des structures syntaxiques africaines, souvent polysynthétiques ou à tons ?’. Si la variabilité comportementale s’explique par une sous-activation de ces têtes, alors adapter l’architecture ou les données d’entraînement à la morphologie des langues africaines pourrait réduire drastiquement les erreurs, sans multiplier les prompts.
Une faille élégante : quand deux tâches se battent dans le réseau
Le point le plus surprenant de l’étude est sans doute celui sur les échecs. Les auteurs montrent qu’un prompt peut activer simultanément des représentations de tâches qui s’opposent. Le modèle ne se trompe pas par ignorance ; il se trompe par confusion. Comme un traducteur qui hésiterait entre deux langues à la fois et produirait un texte hybride incohérent. Cette observation explique pourquoi certaines reformulations ‘magiques’ fonctionnent : elles éliminent la tâche concurrente et laissent le signal principal se concentrer.
- Conception de prompts : privilégier des formulations qui réduisent l’ambiguïté de tâche plutôt que d’empiler des contraintes.
- Diagnostic d’erreurs : tester si une même question reformulée de manière minimaliste change la réponse, signe d’un conflit de représentations.
- Formation interne : montrer aux équipes que la variabilité n’est pas un bug aléatoire mais un signal lisible dans les couches attentionnelles.
Ouverture
On savait que les LLMs étaient capricieux. On ignorait qu’ils avaient un petit dictionnaire interne qui, selon son volume, faisait tout ou rien. Cette cartographie des têtes lexicales rapproche les modèles de ce qu’on attend d’un système lisible : des mécanismes identifiables, des causes d’erreurs nommées, des leviers d’action concrets. La prochaine question est vertigineuse : si l’on peut lire la tâche encodée, peut-on aussi l’écrire directement, bypassant le prompt lui-même ? Et dans un contexte où l’Afrique cherche à faire dialoguer ses 2 000 langues avec la génération automatique, cette capacité à ‘cibler’ les têtes sans dépendre d’un anglais omniprésent dans les prompts pourrait devenir un avantage décisif. Qui, dans votre organisation, est prêt à ouvrir le capot plutôt que de relancer le prompt pour la trentième fois ?
Sources
