Protocole d’évaluation de la qualité et de l’ergonomie de l’application mobile

L’objectif principal est d’évaluer la qualité et l’ergonomie de notre application mobile qui intègre un système d’aide à la décision pour le choix d’interventions numériques de santé. Ce chapitre présente le protocole et les résultats de l’évaluation de l’ergonomie et la qualité de cette application à l’aide du questionnaire « Users Mobile Rating Scale » (uMARS) (Stovanov SR et al., 2015) combiné à un questionnaire de satisfaction auprès de futurs utilisateurs en vue d’identifier les améliorations à apporter. 

Type d’étude et plan expérimental

Nous avons procédé à une évaluation de la qualité de l’application en demandant aux futurs utilisateurs potentiels de tester et d’évaluer l’application. Nous avons organisé 20 sessions en ligne avec 1 à 5 utilisateurs. Chaque session a commencé par une démonstration de l’application, puis par le test de l’application par des évaluateurs. À la fin de la période de test, les opinions des évaluateurs ont été recueillies sous forme électronique et lors de discussions ouvertes. L’évaluation se déroule en 5 étapes d’une durée totale estimée en moyenne à 45 min : L’évaluation a été réalisée en ligne et a duré entre 30 minutes et 1 heure, selon les sessions. Elle a suivi un processus en 5 étapes : À l’étape 1, les évaluateurs ont rempli un formulaire en ligne sur les informations sociodémographiques. Les questions ont été adaptées pour garantir l’anonymat, et aucune information personnelle n’a été enregistrée (par exemple, l’âge a été demandé sous forme d’intervalle d’âge pour éviter toute ré identification). À l’étape 2, les évaluateurs ont regardé une courte démonstration de l’application. À l’étape 3, les évaluateurs ont utilisé et testé l’application. Ils étaient libres de tester l’application comme ils le souhaitaient. Les étapes 1,2 3 sont détaillées en annexes D2-3. À l’étape 4, les évaluateurs ont rempli le formulaire en ligne de l’uMARS infra et ont répondu à 3 questions supplémentaires sur la satisfaction. Le formulaire uMARS contient 26 éléments pour évaluer la qualité de l’application : 5 éléments concernent l’engagement de l’application, 4 éléments concernent la fonctionnalité de l’application, 3 éléments concernent l’esthétique, 4 éléments concernent l’information sur l’application, 4 éléments concernent la qualité subjective de l’application et 6 éléments concernent l’impact perçu de l’application. La qualité globale de l’application est ensuite évaluée en calculant un score moyen d’éléments uMARS pour les catégories engagement, fonctionnalité, esthétique et information. – Section A : Score moyen de l’engagement – Section B : Score moyen de la fonctionnalité 48 https://www.has-sante.fr/jcms/c_2681915/fr/referentiel-de-bonnes-pratiques-sur-les-applications-et-les-objets-connectes-en-santemobile-health-ou-mhealth  – Section C : Score moyen l’esthétique – Section D : Score moyen de l’information présente dans le système La note moyenne de qualité est obtenue par la moyenne des sections A à D. Le questionnaire de l’échelle uMARS de l’étape 4 est présentée infra : Section A Est-ce que l’application vous donne envie de l’utiliser ? o Pas attractive du tout o Surtout ennuyeuse o Assez attractive pour divertir l’utilisateur pendant un bref moment (<5 minutes) o Modérément attractive, divertirait l’utilisateur pendant un certain temps (5 à 10 minutes au total) o Très divertissante et attractive, encouragerait une utilisation fréquente o Est-ce que l’application est intéressante à utiliser ? o Pas intéressante du tout o Sans intérêt o Ni intéressante ni sans intérêt, engagerait l’utilisateur pendant un bref moment (<5 minutes) o Moyennement intéressante, engagerait l’utilisateur pendant un certain temps (5-10 minutes au total) o Très intéressante, impliquerait l’utilisateur dans une utilisation fréquente Est-ce qu’elle fournit toutes les options de personnalisation ? o N’autorise aucune personnalisation ou nécessite la saisie d’un paramètre à chaque fois o Ne permet pas une personnalisation suffisante o Permet la personnalisation de base pour fonctionner correctement o Permet de nombreuses options de personnalisation o Permet une adaptation complète aux caractéristiques et/ou préférences de la personne Est-ce qu’elle permet à l’utilisateur d’entrer des données ? o Pas de fonctions interactives et / ou pas de réponse aux interactions de l’utilisateur o Interactivité insuffisante o Fonctions interactives de base pour fonctionner correctement o Offre une variété de fonctionnalités interactives /notifications o Très haut niveau de réactivité grâce aux fonctionnalités interactives Est-ce que le contenu de l’application (information visuelle, langage, design) est approprié pour l’audience ciblée ? o Complètement inapproprié o Inapproprié o Acceptable mais non ciblé o Approprié avec quelques améliorations o Parfaitement ciblé, aucun problème trouvé.