Conception et évaluation d’IHMs de RA

IHMs en RA

Une IHM constitue la principale interface avec laquelle un utilisateur va interagir avec un ordinateur. La bonne conception de cet intermédiaire est donc nécessaire pour rendre accessible et efficace le travail sur une machine. . Son rôle est simple, il s’agit de lier des entrées utilisateurs issues de capteurs physiques (souris, écran tactile, images d’une caméra) à des actions sur l’ordinateur représentées par un résultat en sortie (affichage, son, commande) via une technique d’interaction (Billinghurst et al., 2005). La technique d’interaction est donc une méthode qui permet de traduire ces entrées en commandes : par exemple, le même mouvement avec une souris peut déplacer un curseur ou translater un objet le long d’un axe, ou encore un même déplacement de deux doigts sur un écran tactile peut faire une rotation ou un zoom sur un objet. Elle est également une métaphore qui permet à l’utilisateur d’associer ses actions avec des résultats sur l’ordinateur. Il existe de nombreux dispositifs d’entrée,de sortie et de techniques d’interaction, le défi étant de : « combine these together in a way that is most appropriate to the desired task, facilitates ease of use and learning and provides a high level of user performance and satisfaction » (Billinghurst et al., 2005).

Un des but de la recherche en IHM est de réduire cet écart entre les éléments physiques et d’affichages (Van Dam, 1997). Jacob et al. (2008) rappellent que les IHMs ont traversé plusieurs générations visant à chaque fois une utilisation plus simple, plus directe et plus proche des actions quotidiennes. Les ordinateurs s’utilisaient, avant les années 1960, par des cartes de commandes qui imprimaient alors leurs résultats. Puis ils ont été utilisés par ligne de commande via des terminaux jusque dans les années 1980. Enfin, les IHMs graphiques se sont démocratisées , suivants le paradigme WIMP : un ensemble de fenêtres (windows), d’icônes (icons) et de menus (menus) accessibles par un appareil de pointage (pointing device), comme une souris. Ces IHMs sont excellentes pour des applications graphiques en 2D, mais limitées pour celles en 3D, entre autres . Van Dam (1997) appela alors à développer une nouvelle génération d’IHMs post-WIMP, c’est-à-dire contenant des techniques d’interactions non dépendantes de fenêtre, icônes ou de menu en 2D. L’objectif étant de diversifier les types d’IHMs pour proposer le plus adapté selon les besoins de l’utilisateur .

Si de nombreuses IHMs post-WIMP ont par la suite été développées, comme celles désormais bien connues des téléphones intelligents à écrans tactiles (Jacob et al., 2008), aucun paradigme n’est encore établi pour la RA (Van Krevelen & Poelman, 2010). Billinghurst et al. (2015) classent celles de RA en plusieurs catégories :

– Navigateurs d’informations : affichant de l’information en RA sur l’environnement réel. Ce sont principalement les IHMs que l’on retrouve dans les applications pour téléphones intelligents   : elles permettent simplement d’afficher du contenu en sur impression de l’environnement réel, l’utilisateur se déplaçant simplement pour le voir sous différents angles. Des IHMs WIMP sont souvent utilisées, mais ce type d’interfaces est limité dans les interactions avec le contenu virtuel en 3D.

– Interfaces en 3D : utilisant des techniques d’interactions en 3D pour manipuler le contenu dans l’espace.

– Interfaces tangibles : utilisant des objets réels pour interagir avec du contenu virtuel.

– Interfaces naturelles : utilisant les mouvements du corps de l’utilisateur, par exemple des commandes gestuelles.

– Interfaces multimodales : utilisant simultanément des commandes vocales et gestuelles.

Pour Billinghurst et al. (2015), toutes ces IHMs importent et appliquent des techniques d’interactions WIMP, de la RV ou des écrans tactiles. En ce sens, elles atteignent seulement les première et deuxième étapes du processus de Billinghurst et al. (2005) qui décrit les étapes de développement d’un paradigme d’IHM pour un nouveau média :

1. développement de prototypes;
2. adoption de techniques d’interactions d’autres types d’IHM;
3. développement de métaphores et paradigmes d’IHMs adaptés au média;
4. développement de modèles théoriques pour ces paradigmes.

La RA présente pourtant un excellent média, car l’écart entre les éléments physiques et d’affichage (le contenu virtuel) y est très réduit. Cela permettrait de fondre la présence de l’ordinateur dans l’environnement de l’utilisateur sans le restreindre sur un écran. Une bonne IHM de RA permettrait alors de manipuler naturellement et efficacement du contenu virtuel en 3D avec des techniques d’interactions basées sur des objets physiques, des commandes vocales ou des gestes utilisés au quotidien (Billinghurst et al., 2005). C’est pourquoi il est important de consacrer un effort de recherche pour atteindre cette troisième étape, comme nous souhaitons le faire avec notre concept de téléphone à écran étendu, en utilisant des IHMs en 3D, les IHMs naturelles et les IHMs tangibles. Enfin, on remarque que la classification des IHMs de RA de Billinghurst et al. (2015) se concentre quasi exclusivement sur les techniques d’interactions. Pourtant, les données affichées ont toute leur importance, et il s’agit également de dépasser les concepts de fenêtre, menu et icônes des IHMs WIMP.

IHMs en 3D et IHMs naturelles

Les IHMs en 3D sont importées des recherches de la RV et dans les environnements virtuels (EV) en 3D. La recherche sur les EVs explore les interfaces et les interactions avec du contenu en 3D affiché sur un écran (et non de manière immersive comme en RA). Bowman et al. (2004) classent les techniques d’interactions en trois catégories : (1) navigation, (2) sélection (un ou plusieurs objets) et (3) manipulation (translation et rotation). Seules ces deux dernières sont applicables à la RA, le contenu virtuel étant aligné et intégré avec l’environnement réel, l’utilisateur se déplace simplement lui-même pour y naviguer.

De nombreux dispositifs d’entrée ont été développés pour les IHMs en 3D : des souris 3D, des joysticks, des stylos suivis en 3D ou des dispositifs haptiques (avec retour de force, donnant l’illusion de toucher le contenu virtuel). Tous permettent de sélectionner et manipuler avec précision du contenu virtuel; on parle alors de degrés de libertés (degrees of freedom ou DoF en anglais) pour caractériser les manipulations possibles, avec un degré par dimension donc maximum trois pour la translation et trois pour la rotation : une souris standard permet donc 2 DoFs, quand les dispositifs d’entrées des visiocasques de RV sont suivis avec 6 DoFs . Cependant, tous ces dispositifs présentent l’inconvénient d’occuper les mains de l’utilisateur : en RA, les espaces de visualisation et d’interaction sont donc séparés  et les techniques d’interactions avec les objets virtuels sont alors différentes de celles avec les objets réels (Billinghurst et al., 2015) .