Conception et développement de composants logiciels et matériels pour un dispositif ophtalmique

Conception et développement de composants logiciels et matériels pour un dispositif ophtalmique

La lunette active

Une paire de lunettes est un dispositif courant, dont les propriétés (correction ou degré d’obscurcissement) n’évoluent généralement pas au fil du temps. Les lunettes dotées de verres autochromes sont néanmoins un contre-exemple : avec ces dispositifs, l’adaptation du degré d’obscurcissement du verre à la luminosité de l’environnement est obtenue par un procédé chimique, laissant peu de marges de manœuvre à un pilotage fin. L’arrivée récente de verres dont l’obscurcissement est pilotable électriquement (verres électrochromes) change la donne en fournissant l’opportunité d’agir sur le verre finement. Néanmoins, elle rend nécessaire l’intégration de capacités de perception et de raisonnement sur la lunette afin de déterminer la commande adéquate, d’autant plus si le verre est pilotable de manière localisée (grâce à l’adressage de différentes cellules électrochromes). L’intégration d’une source énergétique sur les lunettes est par là même rendue nécessaire et peut prendre différentes formes telles que batterie ou système de récupération d’énergie cinétique ou électromagnétique. Parallèlement à ces considérations, la paire de lunettes ne doit par gêner la vision et doit couvrir le champ le plus large possible. Devant être portée sur le nez en permanence, son poids et son encombrement doivent être réduits et son apparence doit être attrayante. Dans le cas où les lunettes disposent de capacités dynamiques, la vitesse de réaction du système doit être compatible avec le système visuel humain. Ces considérations ont servi de point de départ à la thèse et de nombreux autres usages ont par la suite été envisagés en plus de l’obscurcissement piloté, par exemple : correction adaptative (en fonction de la distance visée dans la scène), affichage d’information (en fonction du contexte), redirection de capacités sensorielles (affichage de texte obtenu par reconnaissance vocale pour une personne déficiente auditive), etc.

Réalité Virtuelle/Augmentée

Les technologies de réalité virtuelle et plus récemment de réalité augmentée sont devenues accessibles au grand public, principalement dans le domaine du divertissement mais également dans différents domaines professionnels. Elles connaissent aujourd’hui une évolution très rapide. Bien que visant potentiellement différents sens (vision, audition, odorat, toucher et même goût), les systèmes les plus répandus visent à l’immersion de l’utilisateur via le sens de la vision, par le biais de casques ou lunettes. Alors qu’un dispositif de réalité virtuelle propose à son porteur l’affichage d’un modèle synthétique de la scène en le privant de sa perception de Confidentiel 2 Table des matières l’environnement réel, un dispositif de réalité augmentée doit permettre l’intégration d’éléments synthétiques dans sa perception de l’environnement réel, ce qui soulève de nombreuses contraintes supplémentaires. Grâce aux nouvelles capacités d’affichages procurées par la lunette active, cette thèse s’intéresse à la problématique de la réalité augmentée mais en considérant des contraintes propres aux applications visées et en ne tentant pas dans ce domaine de concurrencer les géants de l’industrie du jeu. Au lieu de cela, la thèse considère les lunettes comme un système robotique doté de capacités de perception et d’analyse de l’environnement, de prise de décision et d’action, ce système devant également prendre en compte des considérations d’autonomie énergétique.

Laboratoire commun OPERA

C’est dans le contexte énoncé précédemment que le laboratoire commun OPERA (OPtique EmbaRquée Active) composé du LAAS-CNRS (Laboratoire d’Analyse et d’Architecture des Systèmes), et de l’entreprise Essilor, leader mondial dans la production de verres et d’équipements ophtalmiques, mène des recherches sur les “lunettes actives”, c’est-à-dire des lunettes équipées de “fonctionnalités dynamiques ou actives”. Au sein du LAAS-CNRS, différentes équipes impliquées travaillent sur différents aspects (photonique, technologie, électronique…) L’équipe Robotique, Action, Perception (RAP) étudie spécifiquement les lunettes actives en utilisant des approches propres aux systèmes robotiques.

Table des matières

Introduction
1 Contexte de l’étude : la vision instrumentée
1.1 Le système visuel humain
1.1.1 Composition et fonctionnement de l’œil
1.1.2 Rappels d’optique pour la modélisation de l’œil
1.1.2.1 Points principaux et points nodaux
1.1.2.2 Modèles optiques de l’œil
1.1.3 La rétine et le rôle des photorécepteurs
1.1.4 Les mouvements de l’œil
1.1.5 La perception 3D
1.2 Les lunettes du futur
1.2.1 Dispositif ophtalmique et nouveaux usages
1.2.2 Définition de la réalité augmentée et de la réalité virtuelle
1.2.3 Technologies, Contraintes, Opportunités
1.2.3.1 Applications potentielles et complexité
1.2.3.2 Technologies
1.2.3.3 Contraintes et opportunités
A Contraintes d’embarquabilité
B Contraintes pour le confort visuel
C Opportunités
1.3 Un système robotique embarqué
1.3.1 Des scénarios types aux fonctions embarquées
1.3.2 Architectures logicielles robotiques pour le prototypage de fonctions
1.3.2.1 Architecture modulaire
1.3.2.2 Interfaces de communication
1.3.3 Résumé – Vue d’ensemble
1.4 Objectifs de la thèse
2 Composants matériels et logiciels
2.1 Affichage de contenu
2.1.1 Casques de réalité augmentée
A Les VST-HMDs
B Les OST-HMDs
2.1.2 Limitations des dispositifs de réalité augmentée
2.1.2.1 Limitations des affichages sur des HMDs
A Résolution
B Champ de vue
C Conflit convergence-accommodation
D Luminosité et Contraste
E Différence de point de vue
2.1.2.2 Contraintes inhérentes à la réalité augmentée
A Temps réel, latence et fréquence d’affichage
B Estimation de la pose du dispositif d’affichage
2.1.2.3 Contraintes d’embarquabilité d’un HMD
2.1.3 Conclusion
2.2 Perception de l’environnement
2.2.1 Modélisation des caméras
2.2.1.1 Modèle trou d’épingle
2.2.1.2 Modèle trou d’épingle avec distorsion : “Plump bob”
2.2.1.3 Étalonnage
2.2.1.4 Modèle pour caméra à large champ de vue
A Modèle fisheye
B Modèle génériques pour caméras omnidirectionnelles
2.2.1.5 Conclusion
2.2.2 Perception 3D
2.2.2.1 Capteurs passifs et actifs
A Les caractéristiques des systèmes actifs
B Les caractéristiques des systèmes passifs
2.2.2.2 Perception 3D par stéréovision
A Principe
B Calcul de cartes de disparité
C Stéréovision sur une séquence d’images
2.2.2.3 Autres techniques basées sur des capteurs passifs
A Caméras plénoptiques
B Perception 3D basée sur des techniques
d’apprentissage
2.2.2.4 Conclusion
2.3 Localisation des lunettes dans la scène
2.3.1 Localisation dans un environnement maîtrisé
2.3.1.1 Systèmes sans caméra embarquée
2.3.1.2 Systèmes avec caméra(s) embarquée(s)
A Systèmes basés marqueur
B Systèmes basés modèle 3D
2.3.2 Localisation dans un environnement inconnu
2.3.2.1 SLAM basé primitives géométriques
A Méthodes basées filtrage
B Méthodes basées ajustement de faisceaux
2.3.2.2 SLAM direct
2.3.3 Conclusion
2.4 Détection et suivi du regard du porteur
2.4.1 Techniques d’oculométrie (suivi du regard, eye-gaze tracking)
2.4.2 Techniques basées caméra et extraction d’éléments caractéristiques
2.4.2.1 Éléments caractéristiques détectés
2.4.2.2 Méthodes basées interpolations
A Les PCCR et autres techniques s’appuyant
sur les reflets
B L’usage de la pupille ou de l’iris seul
C Les limites de ces méthodes
2.4.2.3 Méthodes basées modèle 3D
2.4.3 Oculomètre basse consommation
2.4.4 Conclusion
2.5 Rendu synthétique de l’environnement et affichage d’information augmentée
2.5.1 Deux procédés de synthèse d’image
2.5.1.1 Incrustation d’objets synthétiques
2.5.1.2 Affichage de contenu synthétique construit à partir
de la scène
2.5.2 Rendu d’une image par DIBR pour un autre point de vue
2.5.2.1 Synthèse d’images intermédiaires
A “Direct 3D warping”
B Maillage triangulaire
C Inverse 3D warping
D Fusion des images cibles intermédiaires
2.5.2.2 Remplissage de zones vides
A Remplissage des cracks
B Remplissage des trous dus aux occlusions
2.5.2.3 Génération de nouvelles vues par des techniques
d’apprentissage automatique
2.5.2.4 Limite du DIBR
2.5.3 Conclusion
2.6 Étalonnage du dispositif
2.6.1 Modèle de projection
2.6.2 Étalonnage d’un OST-HMD
2.6.2.1 Méthodes basées sur l’alignement de points
2.6.2.2 Méthodes basées caméras
2.6.2.3 Méthodes avec adaptation dynamique au regard du
porteur
2.6.3 Étalonnage d’un VST-HMD
2.6.4 Conclusion
2.7 Conclusion
3 Proposition d’un oculomètre basse consommation
3.1 Prototypage virtuel d’un oculomètre basse consommation
3.1.1 Exigences pour l’optique embarquée
3.1.2 Une solution basée photodiodes et apprentissage automatique
3.1.2.1 Sélection d’un assemblage de photodiodes
3.1.2.2 Synthèse d’un algorithme pour estimer la direction
du regard
3.1.3 Simulation de l’oculomètre dans un environnement synthétique
3.1.3.1 Synthèse d’images du visage et de l’œil
3.1.3.2 Simulation de l’assemblage de photodiodes
A Assemblage de photodiodes
B Photodiode
3.2 Tests sur données synthétiques
3.2.1 Définition des hyperparamètres du réseau
3.2.1.1 Méthodes pour l’évaluation et la comparaison de réseaux de neurones
3.2.1.2 Prétraitement des données d’entrée
3.2.1.3 Initialisation des poids et fonction d’activation
3.2.1.4 Fonction de perte
3.2.1.5 Définition d’une architecture de réseau de neurones
3.2.1.6 Dimensionnement du nombre d’époques et de la
taille de la base de données
3.2.2 Premiers résultats et analyse
3.2.2.1 Estimation de la direction du regard
3.2.2.2 Estimation de la pose de l’œil
3.2.3 Évaluation de différents assemblages de photodiodes
3.2.3.1 Variation de l’angle d’ouverture des photodiodes
3.2.3.2 Variation du nombre de photodiodes
3.2.3.3 Variation de l’orientation des photodiodes
3.2.3.4 Variation de l’organisation spatiale des photodiodes
3.2.3.5 Test avec filtre
3.2.3.6 Conclusion sur l’assemblage à considérer
3.3 Tests sur données réelles
3.3.1 Banc de test et procédure d’acquisition de données
3.3.2 Oculomètre basé caméras pour le banc de test
3.3.3 Simulation des photodiodes à partir d’images réelles
3.4 Conclusion
3.5 Perspectives
4 Prototypage et évaluation
4.1 Banc de test basé sur un VST-HMD
4.1.1 Description générale
4.1.1.1 Composants logiciels et matériels
A Système d’affichage et banc stéréoscopique
large champ de vision
B Estimation de la direction du regard
C Localisation des lunettes dans la scène
D Perception 3D de la scène
4.1.1.2 Architecture logicielle
4.1.2 Synthèse d’images par DIBR pour le point de vue de l’utilisateur
4.1.2.1 Calcul de la carte de profondeur
4.1.2.2 Étape de « 3D warping »
4.1.2.3 Remplissage des zones vides
4.1.3 Projection de contenu augmenté ou altéré
4.1.4 Suivi du regard
4.1.4.1 Implémentation d’un algorithme basé interpolation
4.1.4.2 Implémentation d’un algorithme basé modèle 3D
4.1.5 Premiers tests, résultats et performances
4.1.5.1 Test du VST-HMD par une application
4.1.5.2 Performance temporelle actuelle sur CPU
4.1.5.3 Test et analyse de la perception 3D
4.1.6 Perspectives
A Déport des traitements d’images sur GPU
B Ajout d’une centrale inertielle pour améliorer la localisation du SLAM et augmenter la fréquence
C Réduction de la latence par la synthèse d’image prédictive
D Amélioration de la qualité des images synthétisées par DIBR
E Adaptation des algorithmes au modèle de
caméra omnidirectionnelle
F Ré-étalonnage automatique et régulier du
banc de stéréovision
G Amélioration de l’oculomètre basé modèle3D
4.1.7 Conclusion
4.2 Banc de test basé sur un OST-HMD
4.2.1 Dispositif et composants logiciels
4.2.1.1 Choix des composants matériels
4.2.1.2 Architecture logicielle
4.2.2 Tests et résultats d’étalonnage d’OST-HMD
4.2.2.1 Méthode d’étalonnage manuelle
4.2.2.2 Single Point Active Alignment Method
4.2.2.3 Single Point Active Alignment Method et oculométrie
4.2.2.4 Évaluations et résultats
4.2.3 Limites du système actuel et perspectives
4.2.3.1 Oculométrie
4.2.3.2 Étalonnage
4.2.3.3 Applications sur le banc de test
4.3 Prototype de lunettes avec obscurcissement automatique des verres
4.3.1 Choix des capteurs de luminosité
4.3.2 Choix d’une commande du verre en fonction de la luminosité
4.3.3 Test sur simulateur et mise en place du prototype
4.3.4 Perspectives
4.4 Conclusion
Conclusion
A Bref historique de la réalité augmentée
A.1 Avant 20
A.2 Depuis 20
A.3 Positionnement d’ Essilor
Bibliographie