Les mèmes haineux ciblant la communauté LGBTQ+ échappent souvent à la détection grâce à des manipulations subtiles de leur image ou de leur légende. Notre étude, baptisée Rainbow Noise, crée un benchmark inédit pour évaluer la robustesse des détecteurs face à ces attaques. Nous avons combiné quatre types d’attaques sur les légendes et trois altérations d’images, testées sur le dataset PrideMM. Deux détecteurs de pointe, MemeCLIP et MemeBLIP2, ont été soumis à ce test, et nous avons introduit un module léger, le Text Denoising Adapter (TDA), pour améliorer la résistance de MemeBLIP2.

Une vulnérabilité révélée

MemeCLIP a montré une certaine résilience, sa performance déclinant graduellement face aux manipulations. MemeBLIP2, quant à lui, s’est montré extrêmement vulnérable aux modifications de légendes, son traitement du langage étant fortement perturbé.

Le TDA : une solution prometteuse

L’intégration du TDA a radicalement transformé les performances de MemeBLIP2. Ce module léger a non seulement corrigé sa faiblesse face aux attaques sur les légendes, mais l’a rendu plus robuste que MemeCLIP. Cette réussite souligne l’importance de solutions ciblées pour renforcer la sécurité des systèmes multimodaux.

L’importance du texte et de l’architecture

Nos analyses montrent que tous les modèles s’appuient fortement sur le texte pour la détection. Cependant, l’architecture du modèle et les données utilisées pour son entraînement jouent un rôle crucial dans sa robustesse.

Conclusion : un défi permanent

Rainbow Noise expose les faiblesses des détecteurs de mèmes haineux actuels. L’étude met en avant le potentiel des modules légers comme le TDA pour améliorer leur sécurité. Néanmoins, le défi reste entier : la complexité des manipulations et l’innovation constante des auteurs de mèmes haineux exigent une recherche continue pour développer des systèmes de détection plus robustes et capables d’anticiper les nouvelles stratégies d’évitement.