« Plane Sweep » Notre contribution

Ce chapitre constitue notre contribution principale à la méthode des Plane Sweep. Nous y développerons d’une part le principe de fonctionnement et d’autre part un état de l’art complet. Nous présenterons aussi le cheminement de pensée qui nous a mené jusqu’à cette méthode. Ceci permettra au lecteur de faire lien entre les Plane Sweep et d’autres techniques de rendu à base de vidéos. Ensuite, nous exposerons notre nouvelle approche et les avantages qu’elle présente. Nous détaillerons les possibilités qui en découlent, notamment au niveau de la gestion des occlusions. Enfin, nous proposerons un bilan concernant la méthode des Plane Sweep en analysant ses points forts et ses faiblesses. Il existe plusieurs variantes de l’algorithme des Plane Sweep. Ce chapitre est consacré à une explication générale de cette méthode et n’est donc spécifique à aucune variante en particulier. Cette description est faite en deux temps, elle commence par une explication détournée ayant pour but de montrer notre cheminement de pensée et de relier cette méthode aux autres techniques existantes. La seconde partie est alors consacrée à une description détaillée de la méthode des Plane Sweep à proprement parler.

Etant donné un ensemble de caméras calibrées Cami, nous voulons générer une image correspondant au point de vue d’une caméra virtuelle Camx définie par l’utilisateur. L’idée générale consiste à traiter les pixels de Camx indépendamment les uns des autres, comme pour un lancé de rayons. Pour un pixel p de Camx traité, le but est d’estimer la profondeur pz de p. Pour simplifier le problème, il est préférable de borner l’ensemble des possibilités de profondeur sur une portion de droite correspondant au volume supposé de la scène. En déplaçant un point virtuel px sur cette portion de droite, il suffit de comparer les projetés de px sur chacune des caméras Cami et de les comparer. Si leurs couleurs sont suffisamment cohérentes, le point px traité est un candidat potentiel comme valeur finale pour pz. Comme le montre la figure 70, cette méthode revient donc à comparer des portions de droites épipolaires sur chacune des images de référence. Une fois la caméra virtuelle placée, cette méthode commence donc par définir un plan near et un plan far encadrant la scène. L’espace ainsi défini est discrétisé par des plans parallèles. Imaginons un point M situé à la fois sur un plan et sur la surface d’un objet de la scène (figure 72), alors ce point sera vu par les caméras de référence avec la même couleur. Ce n’est en général pas le cas d’un point M situé sur un plan mais hors de la surface d’un objet de la scène (figure 73). Un point situé sur un plan qui est vu par toutes les caméras de référence avec la même couleur est donc un point appartenant potentiellement à la surface d’un objet de la scène.

Durant la phase de rendu, chaque plan est donc traité de façon indépendante. Sur chacun de ces plans sont projetées les images de référence. Pour chaque point du plan correspondant à un pixel de la caméra virtuelle, un score est calculé en fonction de la cohérence entre les couleurs provenant de chaque image projetée. Une fois tous les points du plan traités, on les projette sur la caméra virtuelle (figure 74). Si le point projeté sur un pixel px de la caméra virtuelle a un score meilleur que le score courant, alors on procède à une mise à jour de la couleur et du score. C’est Collins [C96] qui en 1996 introduit la méthode des Plane Sweep. Il utilise des vues aériennes de bâtiments sur lesquelles il effectue une détection de contours. Il applique ensuite la méthode des Plane Sweep sur les images binaires obtenue afin de reconstruire la géométrie des bâtiments (figure 76). VComme pour toutes les méthodes, la première chose à faire est de définir la position et les paramètres de la caméra virtuelle. Il faut ensuite définir un plan min et un plan max encadrant la scène. Cette scène est ensuite découpée en plans. Sur chacun de ces plans sont projetés les images provenant des caméras. Les auteurs signalent qu’il s’agit d’une homographie et qu’il est possible de l’appliquer directement sur la carte graphique à l’aide de register combiners.