La création de métaphores sonores et la sonification du geste d’écriture

 Création de métaphores sonores évoquant un geste humain

Les études présentées dans les chapitres précédents nous ont permis d’identifier les invariants perceptifs relatifs à l’évocation d’un geste humain qui frotte sur une surface. On sait désormais créer des sons qui contiennent une information acoustique relative à la reconnaissance auditive d’un geste. Par ailleurs, le paradigme action Ñ objet tel que nous l’avons présenté dans le chapitre 1 dans le contexte du contrôle intuitif de la synthèse permet d’envisager la création de sons inouïs que l’on pourrait appeler métaphores sonores en associant des actions et des objets physiquement incongrus. Cette possibilité est envisageable dans la mesure où l’implémentation source-filtre permet de croiser les informations relatives à l’action, contenues essentiellement dans la source, et les informations relatives à l’objet, contenues essentiellement dans le filtre. Peut-on par exemple créer le son d’une personne en train de frotter sur du vent ? En utilisant les connaissances sur le geste, on peut même envisager de frotter le vent de différentes façons, par exemple le frotter de façon fluide ou bien saccadé. En linguistique, une métaphore correspond à une transformation du signifié, i.e. le sens d’un mot, par un usage du signifiant, i.e. le signal acoustique de parole correspondant au mot, dans un contexte différent de celui dans lequel il est utilisé habituellement 1 . Ainsi, une métaphore sonore pourrait être définie comme la création d’un son évoquant une action particulière, comme frotter de façon fluide, sur un objet que l’on ne peut a priori pas frotter, par exemple le vent ou l’eau (voir figure 5.1). Pour la génération de l’action, qui est essentiellement caractérisée par le signal source, on peut s’appuyer sur les résultats du chapitre 2 qui montrent qu’en appliquant un filtrage passe-bas contrôlé par des profils de vitesse particuliers, on peut évoquer différents types de gestes, et en particulier des gestes fluides. En modifiant la valeur de l’exposant de la loi en puissance reliant la vitesse à la courbure de la forme, on peut de plus envisager de changer le type de geste et le rendre par exemple plus saccadé. Pour la contribution de l’objet, différentes façons peuvent être envisagées pour évoquer des objets liquides ou aériens. Pour les liquides par exemple, il est possible de remplacer le résonateur solide par un résonateur correspondant à une goutte d’eau que l’on peut synthétiser très simplement (van den Doel, 2005) et ensuite générer le son évoquant une personne qui frotte de l’eau en appliquant le même processus de synthèse que pour le cas des solides. La contribution de l’objet se trouve également dans le bruit utilisé en entrée du modèle de synthèse, en effet, du point de vue solide, ce bruit correspond à la surface de l’objet vue par l’excitateur. On peut donc également envisager de remplacer le bruit, correspondant à la surface vue par l’objet frottant dans le cas solide pas une texture stationnaire d’eau qui coule et ensuite lui appliquer le processus de filtrage passe-bas ou passe-bande reliée à la vitesse du geste pour évoquer le fait de frotter sur une surface liquide. Pour les sons aérodynamiques, (Farnell, 2010; Verron et al., 2010) ont proposé de modéliser la dynamique interne du vent par un banc de filtres passe-bande évolutifs permettant d’évoquer soit un souffle constant soit des rafales. Ici on peut ainsi envisager de contrôler ce banc de filtres résonnants par une dynamique gestuelle afin d’évoquer le son d’une personne qui frotte le vent

Vers l’apprentissage d’un geste expert avec le son : une nouvelle écriture

La section précédente a mis en évidence une première application des travaux présentés dans cette thèse pour le design et le contrôle des synthétiseurs. Dans cette section, nous allons présenter une seconde application qui concerne l’apprentissage d’un geste avec pour support la modalité auditive. Plus particulièrement, on souhaite évaluer si un retour sonore permettrait d’apprendre plus facilement un nouveau geste d’écriture. Pour sonifier un geste et plus particulièrement un geste d’écriture, il est nécessaire de définir un geste de référence vers lequel un geste doit tendre pour atteindre une bonne qualité. Cette référence est définie par rapport à des variables caractéristiques du geste d’écriture qui vont être présentées.

Variables caractéristiques du geste d’écriture

Une étape nécessaire pour mettre en place une stratégie de sonification et d’apprentissage d’un geste par le biais du son est de définir les variables les plus caractéristiques de ce type de geste. Dans les chapitres 2, 3, et 4, on a mis en évidence que le profil de vitesse d’un geste était caractéristique du geste du point de vue sonore, c’est donc une variable importante à considérer pour la sonification d’un geste d’écriture. Par ailleurs, une étude menée par Danna et al. (2013a) a permis d’établir un descripteur caractérisant la qualité de l’écriture chez les enfants dysgraphiques (nous nous intéresserons plus tard à cette pathologie). Ce descripteur caractérise la disfluence (disfluency) du mouvement d’écriture. Plus particulièrement, un mauvais geste d’écriture peut être caractérisé par un mouvement très peu fluide qui présente des pics de vitesse en quantité très supérieure à celui d’un bon geste d’écriture (voir figure 5.3). En pratique, le nombre de pics surnuméraires correspond à la différence de pics de vitesse entre le profil de vitesse filtré passe-bas 2 à 10 Hz et celui filtré à 5 Hz (voir figure 5.3). Danna et al. (2013a) ont alors pu observer que les profils de vitesse des enfants qui présentent des troubles de l’écriture présentaient un nombre de pics surnuméraires significativement supérieur à ceux des enfants normo-scripteurs. Cette variable caractérise donc bien la qualité d’un geste d’écriture et peut donc être intégrée dans un processus de sonification d’un geste d’écriture.

Stratégie de sonification : la métaphore du couinement

La stratégie de sonification vise donc à informer le scripteur de la qualité de son geste, en particulier si une vitesse minimale d’exécution est atteinte ou pas (ayant pour conséquence une plus grande fluidité du mouvement). Nous avons ainsi choisi d’illustrer cette distinction par des retours sonores différents : lorsque le scripteur produit un bon geste d’écriture (avec une vitesse correcte), un son de frottement (comme ceux utilisés dans les chapitres précédents) est généré. En revanche, 2. Le filtrage passe-bas a l’effet d’un lissage. 5.2 Vers l’apprentissage d’un geste expert avec le son : une nouvelle écriture 129 FIGURE 5.3 – Exemples de productions graphiques et de profils de vitesse associés à un bon geste d’écriture (gauche) et à un mauvais geste d’écriture (droite) (d’après Danna et al. (2013a)) chez les enfants normo-scripteurs et dysgraphiques. On voit clairement que le profil de vitesse à un mauvais geste a plus de pics de vitesse surnuméraires que celui associé à un mauvais geste. Les points correspondent aux pics de vitesse des profils. lorsqu’il est trop lent, un son de couinement, souvent ressenti comme un son plutôt désagréable, et évoquant par exemple au son d’une mine qui crisse, est généré. Nous avons proposé une méthode pour synthétiser ces sons et les contrôler intuitivement en accord avec le paradigme action Ñ objet (Thoret et al., b), cette méthode va être rappelée dans la section suivante.