Optimisation avec information visuelle

Utilisation d’une information visuelle

Nous allons commencer dans cette partie par établir des correspondances, pour notre cas particulier, entre les mécanismes de l’attention visuelle et un processus de segmentation séquentielle tel celui que nous utilisons, et qui sera décrit dans la deuxième partie de ce chapitre. Nous allons également voir quel critère dérivé d’une information visuelle nous pouvons intégrer dans ce processus.

Attention visuelle et segmentation séquentielle

Nous avons décrit dans le chapitre 2 la notion d’attention visuelle. Les modèles du système visuel font en général apparaître deux étapes et deux types de mécanisme, respectivement attentionnel et pré-attentionnel. D’une manière simplifiée, l’objectif de l’étape pré-attentionnelle est de guider l’étape attentionnelle en sélectionnant les parties de l’image dites saillantes, c’est-à-dire qui « attirent l’œil ». La notion de saillance est généralement associée à la présence de discontinuités de caractéristiques de bas niveau dans l’image. La sélection qui est effectuée permet au processus attentionel de se focaliser sur une partie restreinte de la scène. Cette partie peut être un objet ou une zone de l’image. La restriction de la phase attentionnelle à une zone réduite de l’image permet de réduire le coût de traitement de cette zone. Nous proposons alors d’effectuer un rapprochement entre les différentes étapes du processus de segmentation séquentielle, la sélection de la séquence de segmentation et la segmentation ellemême, et les deux phases des modèles de l’attention visuelle. La phase attentionnelle où une zone restreinte de l’image est analysée avec attention correspond à la segmentation d’un objet. La sélection d’une zone à segmenter revient donc à guider l’attention visuelle, et correspond donc à l’étape pré-attentionnelle. Le tableau 5.1 présente en détail le parallèle effectué entre les deux notions. Il existe différentes théories des mécanismes pré-attentionnels. Dans certaines approches, les interactions entre les deux étapes attentionnelles et pré-attentionnelles sont plus complexes et imbriquées. D’ailleurs, l’unité attentionnelle n’est pas toujours une région de l’image, mais parfois un objet. Le chapitre 2 présente les expériences qui ont mis en évidence une sélection autre que spatiale lorsque l’observateur a une tâche spécifique à accomplir. La tâche de l’observateur dans notre cas n’est pas comparable aux tâches de haut niveau qui peuvent être demandées à un observateur, comme de compter le nombre de personnages d’une scène, ou le nombre de passes d’un groupe de personnages jouant avec un ballon comme dans l’expérience illustrée dans la figure 2.3. Notre tâche n’est donc pas comparable, et avant de pouvoir éventuellement effectuer ce genre de tâche, il nous faut d’abord voir et reconnaître ce qu’il y a dans l’image. Nous nous intéressons donc plutôt aux processus d’exploration de l’image guidés par les données uniquement, comme la théorie très répandue de l’intégration de caractéristiques. 

 Saillance et difficulté de segmentation

Les approches précédentes ne tiennent pas compte de la difficulté intrinsèque de segmentation de chacune des structures, c’est-à-dire que la segmentation de chacune des structures est considérée avec une égale difficulté. Mais l’expérience de segmentation montre que cela n’est pas forcément vrai, et que la difficulté varie en fonction des structures et des images. Ces difficultés peuvent varier en fonction de plusieurs critères comme la forme, l’homogénéité, la texture, le contraste ou les contours d’une structure. Des règles génériques peuvent toujours être construites, par exemple : « cet objet est plus difficile à segmenter que cet autre objet » mais ce type de règle n’est pas toujours vrai, même dans un domaine d’application restreint. Nous avons présenté dans le chapitre 2 la notion générique de saillance, et plus spécifiquement dans la partie 2.3 comment l’information de saillance est estimée par le système décrit par Itti et al. (1998). L’information de saillance dans ce système est dérivée de l’étude des discontinuités de certaines caractéristiques dans l’image : intensité, oppositions de couleur et orientations. 109 En effet, pour chaque caractéristique étudiée, les cartes de discontinuité générées reflètent la différence de niveau entre un point et son voisinage. Il s’agit donc d’une information de type gradient (ou une approximation locale du gradient de l’image filtrée pour représenter une caractéristique). Cette information est calculée selon différents niveaux d’échelles, puis fusionnée dans une carte unique. Cette carte unique représente donc les discontinuités d’une caractéristique donnée, et pour différents niveaux d’échelle. Toutes ces cartes sont ensuite fusionnées pour donner la carte de saillance. Les algorithmes de segmentation d’image ont pour objectif de poser une frontière entre des régions d’une image, et en général cette frontière représente une discontinuité. Dans une application pour la segmentation des structures cérébrales, le problème est plutôt de savoir où placer une frontière, car les bords sont souvent flous et mal définis. Nous considérons donc que l’information de saillance est directement reliée aux difficultés de segmentation d’un objet en considérant qu’un objet avec un contour plus saillant, c’est-à-dire présentant une discontinuité plus marquée, sera plus aisé à segmenter qu’un objet comportant un contour moins saillant. Cependant, la saillance peut donner plus d’information. En effet, certaines tumeurs cérébrales par exemple sont très saillantes. Une forte saillance peut donc indiquer non seulement une zone plus aisée à segmenter, mais si nous disposons, via un apprentissage par exemple, de la distribution moyenne de saillance pour une zone, alors nous pouvons également détecter une anomalie comme une pathologie. Nous proposons d’étudier la saillance d’une image segmentée, afin de vérifier empiriquement si le niveau de saillance d’un objet correspond à la difficulté notoire de le segmenter.

Apprentissage de la saillance

Nous souhaitons étudier dans cette partie les zones de la carte de saillance correspondant aux structures cérébrales comprises dans le modèle. Chaque carte de saillance est calculée sur une image complète. Mais grâce aux segmentations des images utilisées pour calculer la saillance, nous avons masqué la carte de saillance pour nous intéresser aux zones correspondant aux structures. L’objectif de cette partie est de construire un critère fondé sur la saillance qui sera utilisé dans les parties suivantes. Nous allons également effectuer un apprentissage des distributions de saillance. En fonction de l’objectif de segmentation choisi, certaines parties d’un objet peuvent être plus intéressantes que d’autres. Si nous considérons un algorithme recherchant les contours, alors la zone la plus importante à prendre en compte est le contour de l’objet et son entourage immédiat. Mais nous allons regarder l’information de saillance, qui est calculée à différents niveaux d’échelle. L’information du contour est donc située sur une zone plus large que le contour. De plus, si nous considérons la taille des structures, petite par rapport à la taille du cerveau, il faut s’intéresser à l’information de saillance dans tout l’objet, ainsi que dans une couronne autour de l’objet, correspondant typiquement à une dilatation de l’objet par une boule unitaire en 6-connexité. Pour chaque image c ∈ K, la carte de saillance SMc est calculée sur l’image complète selon la méthode adaptée aux images IRM décrite dans la partie 2.4. La saillance SALOc correspondant à un objet Oc de cette image est extraite en utilisant le masque dilaté de cet objet sur la carte de saillance : ∀x ∈ S, SALOc (x) = min(δ1(Oc)(x), SMc(x)) , où S représente l’espace de l’image. La saillance d’un objet est donc représentée dans cet espace. Nous pouvons alors calculer un histogramme h de la saillance d’un objet, en calculant l’histogramme de SALOc . Les cartes de saillance sont normalisées dans un intervalle [0, 1]. Le nombre N de niveaux de quantification de l’histogramme est fixé arbitrairement à 100. h[i] = X x∈S 1i(SALOc (x)) ,