Quand un détail sans importance fausse l’évaluation d’un risque psychiatrique par une IA
Imaginez un patient dont le dossier médical est parfaitement rempli, les indicateurs cliniques cohérents, le diagnostic posé. Puis, dans un coin du formulaire, quelqu’un a coché ‘allergique aux fruits exotiques’. Ce détail, cliniquement inutile, suffit à déstabiliser une IA chargée d’estimer son risque d’hospitalisation. C’est exactement ce qu’a mis en lumière une étude publiée sur arXiv, qui a soumis quatre grands modèles de langage à un même échantillon de profients synthétiques, en y ajoutant progressivement du ‘bruit’ médical — des variables qui n’auraient jamais dû compter. Résultat : le score de risque prédictif a augmenté de manière statistiquement significative, et la variabilité des réponses a explosé.
Un audit méthodique, pas un test informel
La plupart des évaluations d’IA en santé mentale se limitent à vérifier si un modèle ‘répond bien’ sur un jeu de données propre. Cette étude change la logique. Les auteurs ont construit 50 profils de patients synthétiques, chacun portant 15 variables cliniquement pertinentes. Ensuite, ils ont injecté jusqu’à 50 variables cliniquement inutiles : des informations décoratives qui, dans un vrai dossier, n’influenceraient aucune décision médicale. Le tout a été soumis à quatre modèles — Gemini 2.5 Flash, LLaMa 3.3 70b, Claude Sonnet 4.6 et GPT-4o mini — et à quatre reformulations de prompt : neutre, logique, centrée sur l’impact humain, et formulée en jugement clinique.
- Le protocole n’évalue pas la justesse du diagnostic, mais la stabilité prédictive face au bruit contextuel.
- Chaque modèle a été testé dans chaque condition de prompt, ce qui permet d’isoler l’effet du bruit de celui de la formulation.
- Le critère mesuré est l’écart absolu moyen du score de risque d’hospitalisation, premier pas de toute décision clinique assistée par IA.
Le bruit ne fait pas que ‘perturber’ : il déplace la décision
Le constat principal est sans ambiguïté. L’ajout de variables sans pertinence médicale a produit une augmentation statistiquement significative du score moyen de risque d’hospitalisation pour les quatre modèles, et ce, sous les quatre formulations de prompt. Autrement dit, ce n’est pas un artefact d’un modèle ou d’une phrase mal tournée. C’est un comportement structurel : les LLMs intègrent du signal là où il n’y en a pas, et cela se traduit par une instabilité prédictive mesurable.
Plus subtil, la manière dont cette instabilité évolue dépend à la fois du modèle et du prompt. Un même modèle ne réagit pas identiquement à un prompt ‘logique’ et à un prompt ‘impact humain’. Les auteurs parlent d’une trajectoire de l’instabilité ‘model-dependent’ : le bruit ne pousse pas toujours dans la même direction, et l’amplitude varie. C’est un signal d’alerte fort pour quiconque envisage un déploiement clinique sans couche d’audit systématique.
Pourquoi la psychiatrie est le terrain le plus exposé
En oncologie ou en radiologie, les entrées sont largement quantitatives : un scanner, une analyse de sang, une taille de tumeur. En psychiatrie, la matière première est le récit, l’affect, le contexte social. C’est précisément le type d’information qu’un LLM traite avec une fluidité ‘naturelle’, mais aussi avec une vulnérabilité accrue au bruit. Un détail anecdotique, une formulation émotionnelle, une information marginale glissée dans le dossier peut être perçu par le modèle comme un signal sémantique à pondérer, alors qu’un clinicien expérimenté le laisserait de côté.
L’étude ne prétend pas que ces modèles sont inutiles en psychiatrie. Elle démontre qu’il n’existe pas, à ce jour, de méthode systématique pour quantifier leur stabilité attributive dans un domaine aussi indeterminate. Or, l’évaluation du risque d’hospitalisation est souvent la toute première tâche qu’on confie à une IA en santé mentale, avant tout autre raisonnement clinique.
Et quand le contexte manque, que se passe-t-il ?
En Afrique, où les infrastructures de santé mentale sont structurellement sous-dotées, la tentation d’accélérer par le numérique est réelle. Des initiatives émergent pour digitaliser les dossiers, déployer des chatbots d’orientation, ou former des professionnels à l’aide par IA. Or, les résultats de cet audit soulignent un paradoxe : plus le contexte est pauvre ou hétérogène — et c’est souvent le cas dans les systèmes de santé à ressources limitées —, plus le bruit contextuel risque de dégrader la fiabilité d’un outil LLM. Un modèle entraîné sur des dossiers structurés occidentaux ne sait pas forcément identifier, dans un dossier africain, ce qui est cliniquement pertinent et ce qui ne l’est pas. Sans protocole d’audit localisé, le risque de biais prédictif se double d’un biais de généralisation.
Cela ne condamne pas l’usage de ces outils. Cela impose, avant tout déploiement, une démarche d’évaluation de l’instabilité attributive, menée sur des cohortes représentatives du contexte local, avec des formulations de prompt adaptées à la langue et à la pratique clinique en vigueur.
Ouverture
La question n’est plus de savoir si un LLM peut produire un score de risque. C’est de savoir si ce score mérite d’être lu, une fois qu’on a mesuré à quel point il bouge quand on change un seul mot du prompt ou qu’on ajoute une ligne au dossier. En psychiatrie, où la décision d’hospitaliser engage la liberté d’une personne, cette question n’est pas un luxe méthodologique. Elle est une condition de confiance. Et cette confiance, on ne la mesure pas une fois : on l’audite en continu, modèle par modèle, contexte par contexte. Reste à savoir si les équipes cliniques, les régulateurs et les éditeurs de logiciels sont prêts à faire de cet audit une étape non négociable, plutôt qu’une ligne de code en pied de page.
Sources
