Une taxonomie des interfaces actuelles de capture des mouvements

La complexité de la main humaine est telle qu’à l’heure actuelle, il est très difficile (voire impossible) de la reproduire mécaniquement à l’identique. Par ailleurs, comme l’a montré Bernstein, pour accomplir la plupart des actes moteurs, il n’existe pas qu’une seule façon de faire mais une infinité. Cela revient à dire que le système moteur humain est redondant et qu’il dispose en général de plus de degrés de liberté qu’il n’est vraiment nécessaire. La capture de mouvements décrit l’activité d’analyser et d’exprimer le mouvement humain en termes mathématiques (Bray, 2006). La tâche de capture de mouvements peut être divisée en plusieurs phases distinctes : l’initialisation, le tracking, l’estimation de pose et la reconnaissance de gestes. La capture de mouvements a été réalisée pour la première fois par Eadweard Muybridge en 1887 dans ses travaux intitulés : « Animal Locomotion ». D’après (Menache, 1999) : « Motion Capture is the process of recording a live motion event and translating it into usable mathematical terms by tracking a number of key points in space over time and combining them to obtain a single 3D representation of the performance ». La capture des mouvements de la main peut s’appuyer sur des techniques que nous qualifions de « logicielles » et de « matérielles ». Pour les premières, la capture ne se fait pas uniquement de façon logicielle, il reste bien entendu une interface physique qui permet de capturer un flux vidéo ou de données 3D. Cependant, cette dernière reste simple et la majorité du travail repose sur le traitement d’images et plus généralement sur la vision par ordinateur. Pour les secondes, il s’agit de systèmes de capture qui peuvent être de natures diverses : électromagnétiques, mécaniques, optiques ultrasoniques, etc. Nous ne nous intéresserons pas, dans cet état de l’art, aux surfaces tactiles multipoints, dans la mesure où elles ne permettent pas, tout comme les souris classiques, de travailler en trois dimensions de façon directe. Nous ne traiterons donc que des systèmes permettant de travailler (en même temps) sur 3 degrés de liberté, au minimum. Ces systèmes peuvent être catégorisés selon de nombreux critères, cependant nous avons décidé de les organiser selon 3 principaux : les degrés de libertés qu’ils offrent, la présence ou non de retour d’effort et leur transparence. Nous allons dans un premier temps définir ces notions, puis nous ferons une taxonomie détaillée de ces systèmes. 3.1 Critères de catégorisation D’après (Hayward & Astley, 1996), les périphériques peuvent être classés en 3 groupes, selon leur nombre de degrés de liberté : – les interfaces possédant peu de degrés de liberté contrôlés (2 à 3). On les appelle alors LDOF (Low Degree of Freedom Device) ; – les interfaces pour lesquelles un grand nombre de degrés de liberté contrôlés est possible (4 à 6) aussi appelées (HDOF : High Degree of Freedom Device) ; – les interfaces à très grand nombre de degrés de liberté contrôlés (plus de 6), on les appelle (VHDOF : Very High Degree of Freedom Device). Le second critère a trait à la présence ou non de retour d’efforts, également appelé retour kinesthésique. D’après le traité de la réalité virtuelle (Meseure & Kheddar, 2006), cela « correspond aux forces et aux déplacements qui s’opposent aux mouvements d’un objet quelconque que l’on manipule interactivement. Ces forces sont principalement ressenties par l’opérateur au niveau de ses articulations (poignée, coude, épaule, etc.) »

Solutions à base de capteurs 

Type de capteurs Il existe plusieurs types de capteurs

D’une part, ceux dits « incrémentaux », utilisant le même principe de fonctionnement que le joystick. C’est-à-dire que le déplacement de l’objet contrôlé se fait dans le sens où l’on pousse le senseur et ce de façon incrémentale. Autrement dit, lorsque l’objet (par exemple une souris 3D) est en butée, le déplacement continue dans la même direction. La vitesse est proportionnelle à l’amplitude du mouvement ou à la force appliquée. La rotation se fait également à une vitesse proportionnelle à celle générée par l’utilisateur (Flückiger, 1998). Les capteurs mesurant les déplacements sont généralement basés sur un système optique (photorécepteurs et diodes). D’autre part, il existe d’autres senseurs qui sont dits « absolus ». Ces derniers sont composés d’un élément mobile qui se déplace dans l’espace et dont la position est calculée par rapport à un élément de base fournissant une référence fixe. Les moyens de positionnement peuvent être dans la majorité des cas mécanique, magnétique, optique ou à ultrasons (Flückiger, 1998). L’ensemble des capteurs détaillés dans les parties suivantes est représenté dans la Figure 10. Des illustrations de chaque périphérique présenté dans cette partie sont regroupées sur la Figure 12 page 32 (pour les capteurs VHDOF) et sur la Figure 23 page 61 (pour les capteurs HDOF) Figure 10 : Capteurs regroupés par catégories .

Les capteurs « Very High Degree of Freedom »

Exosquelettes

Un des moyens les plus connus pour capturer les mouvements des mains consiste à utiliser des exosquelettes (par exemple ceux utilisés pour les gants à Effet Hall), des armatures et des articulations solidaires d’interrupteurs, de potentiomètres ou d’autres systèmes mécaniques complexes comme des fils retenus par des moteurs ou encore des vérins. L’avantage de ces systèmes est la précision des mesures qui en résultent (les données rotationnelles fournies en temps réel sont d’une très grande fiabilité, un codeur optique pouvant comporter plusieurs centaines de milliers de traits par tour). Cependant, cette précision est obtenue au détriment du poids, de l’autonomie et de la liberté de mouvements des utilisateurs, gênés par des liaisons filaires la plupart du temps. Les données sont cependant plus faciles à manipuler que celles des mouvements isolés nécessitant un appel à la cinématique inverse (comme dans le cas des systèmes optiques par exemple). Les systèmes utilisant des exosquelettes ont également l’avantage de ne pas induire de problèmes d’occlusion et fournissent par conséquent, à tout moment, des données sans pertes de signal. Enfin, un autre avantage important est la possibilité d’appliquer un retour d’effort. D’autres périphériques existent mais ils n’apportent cependant pas d’innovation particulière par rapport à ceux listés ici. Ce sont la plupart du temps des périphériques similaires, qui utilisent les mêmes principes ou technologies tout en essayant d’en améliorer les caractéristiques. Périphériques à système mécanique Parmi les périphériques les plus utilisés on trouve par exemple le DHM (Dextrous Hand Master), qui utilise des capteurs à effet Hall. Il a été originellement créé par le Utah/MIT en 1987. Il possède 20 ddl avec une précision allant jusqu’à 0,5 degré et pèse environ 300 grammes. Contrairement aux gants de type « DataGlove » (5DT) et « PowerGlove » (Nintendo), qui ne mesurent que la flexion des doigts, le DHM est capable de mesurer les flexions de chaque phalanges et se révèle à la fois plus précis et moins sensible à la taille de la main de l’utilisateur. Il est en revanche relativement lourd et nécessite une liaison filaire. De plus, il ne permet pas de connaître la position de la main de l’utilisateur dans l’espace ; il faut donc l’associer à un capteur supplémentaire pour déterminer sa position et son orientation. De nombreux travaux et études ont été réalisés sur ce type de périphérique. Une évaluation de ce périphérique a été réalisée par (Sturman & Zeltzer, 1994). Une seconde version plus précise (Makower et al., 1990), développée et vendue par (Sturman, 1992) utilisait un total de 20 capteurs à effet Hall comme potentiomètres pour déterminer la flexion des 3 articulations de chaque doigt, l’abduction/adduction pour chacun d’eux et 4ddl pour le pouce. Ce périphérique pouvait donc être utilisé pour la reconnaissance de gestes et de postures complexes, en revanche un temps conséquent était nécessaire pour l’installation et la désinstallation. D’autres versions améliorées ont depuis été créées par le laboratoire de Biorobotique de l’université McGill au Québec (Rohling & Hollerbach, 1993) ou encore par le laboratoire de robotique de Paris (Turki & Coiffet, 1995; Tzafestas & Coiffet, 1997). Enfin, des versions simplifiées et allégées (possédant par exemple 10 ddl et pesant 130g (Noaman et al., 2008)) et/ou sans fils ont vu le jour. Le prix d’un DHM oscillait entre 15000$ et 18000$ dans les années 1990.