Et si on arrêtait d’expliquer les réseaux de neurones pixel par pixel ?
Regardez n’importe quelle image classifiée par un réseau de neurones : un colibri, une tige de riz, un papillon morpho. Ce qui fait que le modèle reconnaît l’oiseau, ce n’est jamais un seul pixel isolé. C’est la manière dont des dizaines, des centaines de pixels *collaborent* — leurs bords, leur texture, leur disposition relative. Pourtant, la grande majorité des outils d’explication que les chercheurs utilisent pour comprendre ces modèles traitent chaque pixel comme une entité indépendante. C’est un peu comme essayer de comprendre une phrase en analysant lettre par lettre, sans jamais relever les mots. C’est précisément ce que le framework H-Sets, publié sur arXiv, vise à corriger.
Le flou des attributions marginales
En intelligence artificiable, on appelle ‘attribution de caractéristiques’ la technique qui, après qu’un classifieur a donné son verdict, pointe les régions de l’image qui ont le plus pesé dans la décision. Les méthodes classiques — Integrated Gradients, SHAP appliquées aux images, Grad-CAM — se concentrent sur les effets marginaux : à quoi contribue *chaque* pixel, tout seul ? Loin d’être anecdotique, cette limitation est documentée dans la littérature. Or, sémantiquement, un oiseau n’est pas la somme de ses pixels ; c’est un assemblage relationnel. Deux pixels pris isolément ne veulent rien dire, mais ensemble, dans un arrangement précis, ils dessinent une aile. H-Sets part de ce constat simple pour proposer un changement de paradigme : plutôt qu’attribuer à chaque pixel, attribuer à des *ensembles* de pixels qui interagissent localement.
Un framework en deux actes, guidé par les hessiennes
Le nom ‘H-Sets’ vient de deux ingrédients techniques. D’abord, la matrice hessienne : un objet mathématique qui capture comment le gradient d’une fonction *change* d’un point à l’autre. Concrètement, là où le gradient indique la pente, la hessienne indique la courbure. Appliquée à l’entrée d’un réseau de neurones, elle révèle quels pixels, quand ils bougent ensemble, produisent un effet disproportionné sur la sortie — c’est-à-dire quels pixels *interagissent*.
Le premier acte de H-Sets est une détection. En calculant les hessiennes sur des portions localisées de l’image, le framework identifie des paires de pixels qui coopèrent. Puis, par un processus de fusion récursive, ces paires sont regroupées en ensembles sémantiquement cohérents. Pour ancrer ce regroupement dans la géométrie de l’image, les auteurs s’appuient sur Segment Anything (SAM), le modèle de segmentation de Meta, comme prior spatial — tout en précisant que n’importe quelle autre segmentation peut le remplacer.
Le second acte est l’attribution. Une fois les ensembles identifiés, H-Sets leur attribue une importance via IDG-Vis, une extension à l’échelle des ensembles d’Integrated Directional Gradients. IDG-Vis intègre les gradients directionnels le long de trajectoires dans l’espace des pixels, puis agrège le résultat à l’aide des dividendes de Harsanyi — un outil issu de la théorie des jeux coopératif qui décompose une contribution collective en parts individuelles non redondantes. Le coût computationnel supplémentaire, lié au calcul des hessiennes, est localisé à l’étape de détection et, selon les auteurs, produit des cartes de saillance nettement plus épurées.
Quatre architectures, deux jeux d’images, un signal net
Les auteurs ont évalué H-Sets sur quatre familles d’architectures — VGG, ResNet, DenseNet et MobileNet — sur deux ensembles de données : ImageNet (1 000 classes d’objets) et CUB-200 (200 espèces d’oiseaux, un benchmark réputé exigeant pour la discrimination fine). Le résultat principal est double. Les cartes de saillance obtenues sont plus *creuses* : moins de zones colorées, donc une explication plus lisible pour un humain. Et elles sont plus *fidèles* : quand on masque les régions pointées par H-Sets, la confiance du modèle chute davantage que lorsque l’on masque des régions choisies par les méthodes de référence. En d’autres termes, H-Sets pointe les endroits qui comptent réellement, pas simplement ceux qui sont statistiquement corrélés à la sortie.
Et pour l’Afrique, où est l’intérêt ?
La question de l’interprtabilité n’est pas qu’un exercice académique. Dans plusieurs contextes africains, la confiance dans un modèle d’IA image passe par la capacité à expliquer *pourquoi* il a tranché.
- Agriculture de précision : des outils de détection de maladies foliaires (mil, maïs, cacao) déployés en contexte rural ont besoin d’explications visuelles compréhensibles par des agronomes de terrain, pas seulement de scores de confiance. Un framework qui isole les ensembles de pixels réellement discriminants aide un technicien à vérifier que le modèle ne s’appuie pas sur un artefact de l’image (une tache, un fond non pertinent).
- Santé et imagerie médicale : en imagerie dermatologique ou radiologique, les régulateurs et les praticiens exigent une traçabilité des zones qui ont conduit au diagnostic. Une explication fondée sur des interactions de pixels, plutôt que sur un simple heatmap flou, rapproche l’IA de la logique clinique — un enjeu direct pour les systèmes de triage déployés dans les centres de santé primaires.
- Télédétection environnementale : la classification de types de végétation ou de déforestation à partir d’imagerie satellite repose sur des textures et des patterns multi-pixels. Des attributions à l’échelle des ensembles permettent de vérifier qu’un modèle de détection de déforestation s’appuie bien sur la structure de la canopée et non sur un biais spectral local.
Ces applications ne sont pas encore massivement documentées dans la littérature africaine, mais la direction est claire : plus l’explication est fine et fidèle, plus elle peut être transmise à un non-spécialiste, plus elle inspire la confiance nécessaire à l’adoption.
Une limite assumée, un coût mesuré
Les auteurs ne passent pas leur temps à masquer le principal inconvénient de leur approche : le calcul des hessiennes est coûteux en mémoire et en temps de calcul, surtout sur de grands réseaux. Ils le reconnaissent explicitement dans l’article et le qualifient de ‘cible coûteuse’ localisée à la phase de détection. Pour des applications en temps réel sur mobile, cette contrainte reste un frein. Mais pour l’analyse a posteriori — auditer un modèle, former un clinicien, valider un classifieur agricole avant déploiement — le ratio coût/bénéfice devient très favorable.
La vraie question qu’H-Sets pose n’est pas tant technique qu’épistémologique : jusqu’à quand allons-nous expliquer des modèles de vision comme si le sens était pixelaire, alors que la perception humaine — et probablement la perception des réseaux — est structurelle ? Les hessiennes ouvrent une porte vers des explications qui ressemblent davantage à la manière dont nous, humains, voyons le monde : en formes, en relations, en ensembles.
Et si la prochaine grande avancée en interprtabilité ne venait pas d’un réseau plus grand, mais d’un regard plus collectif sur les pixels qui composent l’image ?
Sources
