Gérer les occultations par méthode variationnelle

Fonctionnelle d’énergie

On rappelle que le domaine de image de référence est rectangulaire, noté Ω ⊂ R 2 . La paire stéréoscopique considérée est donnée par (IL,IR) : ce sont des images en couleur RGB, dont les valeurs sur chaque canal sont comprises entre 0 et 255. Les caméras associées sont supposées en mouvement fronto-parallèle. La disparité u est donc une fonction définie sur Ω, à valeurs dans l’intervalle de disparité Idisp ⊂ R, connu. On supposera dans un premier temps que u appartient à l’espace W1,2 (Ω; Idisp) des fonctions d’énergie finie, dérivables et dont la dérivée est intégrable sur Ω. On adopte ici la méthode proposée par Pock et coll. dans [12]. Il s’agit d’une méthode globale : on définit une fonctionnelle d’énergie E sur l’ensemble des fonctions W1,2 (Ω; Idisp). Celle-ci encode les propriétés de la fonction de disparité que l’on recherche, en ce sens que E(u) sera d’autant plus grand que u ne satisfait pas ces propriétés. Si la fonctionnelle E est correctement choisie, la disparité de la scène la plus probable sera donnée par un minimiseur de E. L’approche choisie par [12] est une approche variationnelle : la fonctionnelle d’énergie prend la forme E(u) = Z Ω f  x,u(x),∇u(x)  dx. Le lagrangien f est supposé continu en ses deux premières variables et convexe en sa troisième variable. 

Corrélation d’intensité combinée à la corrélation de gradient

Puisque la combinaison de la corrélation d’intensité et la corrélation de gradient a montré son efficacité [8, 13], nous choisissons pour la mesure de dissimilarité une variante de la mesure utilisée dans [13, 14]. On rappelle que l’idée est de sommer la mesure AD et la corrélation des gradients dans une combinaison convexe, dont le coefficient α est choisi égal à 0,9 dans [13, 14]. L’intérˆet est de tirer parti des performances des deux corrélations. Malheureusement, l’utilisation d’un gradient revient essentiellement à comparer des voisinages. En effet, si le gradient de l’image est calculé à l’aide d’un opérateur linéaire de différences finies, alors il s’agit de comparer deux quantités a(p,{p ′ }) et a(q,{q ′ }), dépendant respectivement linéairement des voisins p ′ de p et des voisins q ′ de q. Or, on sait que la comparaison de voisinages provoque de l’adhérence près des discontinuités de scène. Nous proposons donc de modifier le poids de la corrélation de gradient dans le coˆut de corrélation, selon la position du pixel considéré : plus le pixel p est situé près d’une discontinuité de scène, moins la corrélation de gradient doit jouer. Cette approche implique de connaˆıtre la carte de disparité, ce qui est évidemment exclu. Une manière de procéder est donc de considérer les discontinuités d’intensité, qui, si elles ne co¨ıncident pas avec les discontinuités de scène, les contiennent.

Une contrainte de pente pour gérer l’occultation

Le terme de régularisation Ereg+vis que nous proposons possède en réalité deux composantes distinctes, une première for¸cant la régularisation proprement dite de la disparité et une seconde traduisant une contrainte de visibilité : Ereg+vis(u) = Ereg(u) + Evis(u). Terme de régularisation On choisit d’utiliser la régularisation TV (variation totale), dont nous considérons ici la version isotrope : E TV iso reg (u) = Z Ω k∇u(x)k dx = k∇uk1 2 . Cette régularisation a été introduite en  par Rudin, Osher et Fatemi dans un modèle de débruitage qui porte depuis le nom de modèle ROF. L’intérˆet principal de ce terme est le suivant : si on étend l’ensemble des fonctions admissibles u à un espace plus grand (voir le paragraphe Extension aux fonctions BV), alors ce terme produit des solutions régulières, tout en préservant certaines discontinuités [3]. Généralement, suivant le poids accordé à ce terme, les solutions sont constantes par morceaux.

Terme de visibilité

Dans l’analyse proposée à la section 2.2, on a montré que, si l’ordre était préservé dans les images, alors la largeur de l’occultation dans l’image de référence est exactement égale au saut de disparité autour de l’occultation. Par ailleurs, nous avons établi que la disparité ne peut pas avoir une pente horizontale excédant 1 sans violer les contraintes de visibilité. De ces deux remarques, on déduit que, si on interpole les occultations de manière affine sur la ligne, alors la pente de la disparité interpolée vaut exactement 1 dans les zones occultées et est strictement inférieur à 1 dans les zones non occultées.

Extension aux fonctions BV

Les fonctions de l’espace W1,2 (Ω; R) ne peuvent présenter aucune discontinuité le long d’une ligne [3] : en d’autres termes, de telles fonctions ne peuvent pas modéliser des contours d’objets. Or, la scène étant composée d’objets distincts, les images et la carte de disparité présentent de telles ruptures de discontinuités (appelées bords ou contours). L’étude menée dans 2.2 assure qu’elles correspondent, dans la disparité, à des désoccultations. C’est pourquoi il est intéressant d’étendre le domaine de définition de la fonctionnelle E à l’ensemble BV (Ω; Idisp) des fonctions à variations bornées (voir par exemple [7] pour plus de précisions sur l’espace BV). Le terme de fidélité reste bien défini pour ces fonctions. En revanche, le terme de régularisation/visibilité n’est a priori pas défini dans le cas ou u n’est pas différentiable. On remarque alors que Evis est une fonction convexe de ∇u, ce qui permet, grace à [2], de l’appliquer à la mesure de Radon Du associée aux variations de u.