Un système pour la recherche visuelle de sources iconographiques

Dans ce chapitre nous allons présenter un système pour la recherche visuelle de sources iconographiques qui exploite à fond toute la richesse informationnelle que nous ajoutons aux images au travers de l’approche décrit dans les chapitre 4, 5 et 6. Dans le domaine de la documentation architecturale et archéologique, différents travaux de recherche ont produit des systèmes pour la consultation d’archives d’images en utilisant de l’information 3D. Par exemple [Kodabayashi R. et al. 2005] proposent une méthode pour la recherche de photographies qu’utilise des points de vue tridimensionnels comme requêtes. La recherche basée sur les points de vue 3D est utilisée pour recherche différentes images relatives au même objet archéologique. Le système défini le point de vue d’une image comme « la position et l’orientation de l’appareil à partir desquels la photo a été prise ». Comme la réalité est tridimensionnelle, la position et orientation de la caméra servent à fournir des coordonnées 3D. Le point de vue est associé à l’image sous forme de métadonnées et enregistré dans une archive numérique. La recherche d’images est conduite alors en s’appuyant sur la similarité du point de vue. Un type de recherche dans Photosynth [Snavely N., 2006] est “montre-moi les photographies de cet objet”, où l’objet en question peut être sélectionné directement dans une photographie ou dans le nuage de points. Ce type de recherche est appliqué aux vidéos dans [Sivic J., 2003]. Avec ce système d’exploration de photos, l’utilisateur sélectionne un objet en dessinant un rectangle entourant une région de l’image courante ou dans un nuage de points. Tous les points se situant à l’intérieur de l’enveloppe sont sélectionnés. La fonction que classe les images trouvées est base sur trois critères : 1) les points sélectionnés sont visibles, 2) l’objet est vu à partir d’un bon angle, 3) l’objet apparaît dans ses détails.

L’exploration des images dans l’espace 3D a également été étudiée dans ce projet. L’utilisateur peut déplacer la caméra virtuelle en toutes les directions et peut aussi contrôler le zoom et la rotation. Ceci permet à l’utilisateur de se déplacer librement dans la scène et fournit une voie simple pour recherche des points de vue intéressant et trouver des photographies correspondantes. A tout moment, l’utilisateur peut cliquer sur une pyramide visuelle dans la vue principale et la camera virtuelle se déplace jusqu’au point de vue de l’image sélectionnée. Les bases de données permettent aujourd’hui de gérer plusieurs types d’informations nécessaires à différents supports de documentation. De plus, des nouveaux moteurs d’affichage 3D permettent une interaction spatiale en temps réel avec les nuages de points et les maquettes résultantes des phases de traitement. Aujourd’hui, il apparaît donc essentiel de s’intéresser aux relations que l’on peut établir entre les informations métriques et photographiques à l’intérieur d’une scène 3D.  Ceci est le propos à la base du développement de “Nubes Imago”, un système de consultation sur Internet pour la recherché visuelle de sources iconographiques relative à la morphologie des édifices patrimoniaux. Les fonctionnalités actuellement implémentées au sein de ce système sont l’accès et la manipulation de reconstructions tridimensionnelles d’édifices (modèles 3D, nuages de points et photographies) au sein d’une scène 3D interactive. L’objectif de ce projet est de fournir aux utilisateurs (architectes, archéologues, historiens, grand public, etc.) une manière effective pour accéder à l’information (en particulier à l’iconographie) relative d’un édifice historique en fonctions de critères spatiaux, morphologiques et sémantiques.

Architecture du système

Comme notre système est un module de la plateforme NUBES [De Luca et al. 2010], l’architecture du système s’inscrit dans la structure générale de ce projet. Il s’agit d’une base de données développée en MySQL, une scène 3D interactive développée en Virtools DEV, puis une application Web développée en PHP. La scène 3D est intégrée à l’intérieur de l’application Web sous forme d’un plug-in qui communiqué avec l’application PHP/MySQL au travers de commandes Javascript. La figure 65 explique le dialogue entre les parties de notre système. Les pages dynamiques PHP de l’application sont utilisées comme support pour la formulation des requêtes, ainsi que pour l’insertion et la modification des données iconographiques stockées dans la base de données MySQL.