Abstract
Nous proposons dans cet article une méthode expérimentale permettant d'identifier dans quelle mesure un réseau de neurones (ici le U-Net) utilise des relations spatiales directionnelles entre des objets d'une scène pour les segmenter et les reconnaître. Ce travail s'inscrit dans la ligne de la recherche d'explications aux prédictions d'un réseau de neurones.
Introduction
Dans le domaine de l'intelligence artificielle explicable (XAI), l'analyse se concentre souvent sur les régions de l'image qui activent les prédictions d'un réseau de neurones convolutionnel (CNN). Cependant, la manière dont ces réseaux appréhendent la structure spatiale d'une scène reste moins explorée. Bien qu'il soit admis que les CNN apprennent implicitement des relations spatiales via leurs champs récepteurs, cette capacité n'a pas été rigoureusement isolée. Cette étude examine si une architecture U-Net standard peut apprendre que l'identité d'un objet dépend non seulement de ses caractéristiques locales, mais aussi de sa position relative par rapport à d'autres objets.
Matériels et Méthodes
L'approche expérimentale repose sur un environnement synthétique contrôlé utilisant le jeu de données Nuage d’Objets Structurés (NOS). Construit à partir d'images de Fashion-MNIST, chaque scène contient trois "Objets d'Intérêt" (OI) : une chemise (cible), un pantalon et un sac, disposés selon un triangle rectangle spécifique.
Deux configurations principales sont testées :
- Facile : Les objets de "bruit" appartiennent à une classe distincte (chaussures). Le réseau peut se fier uniquement aux caractéristiques locales pour identifier la cible.
- Stricte : Les objets de bruit sont de la même classe que la cible (autres chemises). Pour segmenter correctement la chemise cible, le réseau doit impérativement reconnaître sa relation spatiale avec le sac et le pantalon.
Résultats et Analyse
L'étude révèle que le raisonnement relationnel est particulièrement exigeant en termes de données. Dans la configuration "Facile", le U-Net atteint une performance quasi parfaite avec seulement 100 images. En revanche, dans la configuration "Stricte", il échoue massivement jusqu'à ce que la taille de l'ensemble d'entraînement ($D$) atteigne 10 000 échantillons ou plus.
Convergence et Performance
Comme illustré dans le tableau de la Figure 2, pour la tâche "Stricte" avec $D=1000$, seuls 6 modèles sur 25 convergent. Avec $D=50 000$, ce nombre monte à 22/25, atteignant une précision de 0,91 et un rappel de 0,90. Les exemples visuels montrent que sans convergence, le réseau confond souvent les objets de bruit avec la cible ou produit des segmentations fragmentées. Ces résultats prouvent que le U-Net peut intégrer des contraintes géométriques de manière implicite, sans modules relationnels dédiés, à condition de disposer d'un volume de données suffisant.
Conclusion
Cette recherche démontre que les architectures CNN classiques comme le U-Net sont capables de raisonnement spatial directionnel. Cependant, cet apprentissage de "haut niveau" est beaucoup plus coûteux en données que la simple reconnaissance de motifs locaux. Ce travail souligne l'importance de la taille des jeux de données pour l'émergence de capacités de raisonnement structurel au sein des modèles de vision par ordinateur.
Summary updated