Gant de données vs. Cam3D pour la manipulation et la navigation en environnement virtuel

La première étude nous a permis de mettre en évidence les avantages et les inconvénients d’un système de capture de mouvements sans marqueurs pour une tâche simple et courante (i.e., la sélection d’objets). Nous avons décidé de continuer dans cette voie pour répondre à notre problématique générale, en évaluant des tâches plus complexes et en améliorant notre système. Nous avons, pour l’étude précédente, utilisé une caméra time-of-flight de type « SwissRanger SR 4000 » dont la limite principale était la résolution, ce qui avait pour conséquence principale de limiter l’amplitude des mouvements de l’utilisateur. Cette caméra avait été choisie car son framerate était de 60FPS et sa résolution était l’une des meilleures par rapport à ses concurrentes lors de nos développements et de l’expérimentation. Lors de l’analyse des résultats de notre première étude, un nouveau périphérique est apparu sur le marché, destiné en premier lieu aux applications ludiques (les jeux vidéo sur Xbox 360 de Microsoft). Ce périphérique, nommé Kinect, est constitué d’une caméra couleur de résolution 640 x 480, de microphones, d’accéléromètres et surtout d’une caméra 3D de résolution 640×480 fonctionnant à 30 images par seconde. Étant données les caractéristiques de cette caméra, et la naissance d’une communauté de développeurs, nous avons décidé d’avoir recours à cette caméra pour l’étude présentée dans ce chapitre.

Très rapidement, l’utilisation de la Kinect a été détournée par des particuliers afin qu’elle puisse fonctionner sur ordinateur. Voyant les possibilités offertes par ce périphérique dans des domaines autres que le ludique, ainsi que le fort intérêt manifesté par les communautés de programmeurs et de chercheurs pour ce nouveau périphérique, la société qui fabrique ces caméras a décidé de mettre en accès libre les pilotes ainsi que l’algorithme permettant de capturer les mouvements du corps. Pour cela, un squelette est appliqué sur chaque utilisateur et il est possible de « tracker » jusqu’à 16 personnes simultanément. Nous avons donc décidé d’utiliser la Kinect pour améliorer le système basé initialement sur la caméra SR 4000. Les développements qui ont été menés permettent désormais au système de capturer les mouvements de tous les membres de l’utilisateur ; nous avons par ailleurs limité le nombre de personnes pouvant travailler simultanément à 2 car au-delà la résolution ne permet pas à trois personnes de travailler côte à côte sans se gêner. Par ailleurs, notre système permet de détecter si chacune des mains est ouverte ou fermée. Pour cette deuxième étude, nous avons décidé de ne faire manipuler qu’une seule personne à la fois, l’aspect collaboratif n’étant pas traité dans le cadre de nos travaux. Il sera néanmoins possible dans des travaux futurs.

L’objectif de cette seconde étude est d’aller plus loin dans l’interaction avec l’environnement virtuel. En effet, si la première étude permettait à l’utilisateur de réaliser des tâches de sélection dans un environnement virtuel en 3 dimensions, cette seconde étude s’intéresse en plus aux actions de désélection, déplacement, rotation et redimensionnement d’objets ainsi qu’à la navigation en environnement virtuel. Ainsi, nous aurons couvert l’ensemble des actions courantes de manipulation en environnement virtuel. Les interactions sont réalisées avec une main ou de manière bi-manuelle, selon l’action choisie et sont réalisées avec un taux de rafraîchissement de 30 FPS, rendant possible une interaction 3D temps réel en environnement virtuel tels qu’expliqués par (Bowman et al., 2004; Coquillart et al., 2003). Cette expérimentation vise à montrer d’une part que le système développé avec la Kinect permet d’obtenir des résultats a minima équivalents aux systèmes couramment utilisés en réalité virtuelle, comme des capteurs magnétiques (en ce qui concerne la position dans l’espace des mains) et des gants de données (pour détecter l’ouverture ou la fermeture des mains), tout en améliorant le confort, l’efficacité et l’efficience ressentis par les utilisateurs. D’autre part, nous nous attacherons à démontrer que les modalités d’interaction développées dans notre système sont efficaces, intuitives et adaptées aux tâches de déplacement, de redimensionnement, de rotation et de navigation demandées à l’utilisateur.