Caractérisation des énoncés utilisateur

Ce chapitre introduit le cadre expérimental défini par l’utilisation du service 3000 ainsi que les différentes problématiques liées à l’utilisation des corpus réels. Le cha- pitre est divisé en cinq sections. Dans la première section 4.1, nous faisons une analyse des énoncés utilisateur et nous posons les problématiques liées au comportement du système sur différents types d’énoncés. Dans la section 4.2, nous présentons les mo- dèles de langage et acoustique utilisés par le SRAP ainsi que le lexique de l’application. Une description des données expérimentales (corpus d’apprentissage, de développe- ment et de test) est réalisée dans la section 4.3. La section 4.4 présente les problèmes liées à l’évaluation au niveau mot des corpus réels et décrit plusieurs méthodes de nor- malisation des données. La dernière section 4.5 est consacrée à l’évaluation au niveau interprétation sur le corpus de test. Pour le service 3000 on distingue deux types de dialogues. Certains utilisateurs ap- pellent afin d’activer des services auxquels ils ont déjà souscrit, comme le nombre de minutes utilisées ou le transfert de leur numéro de téléphone. Pour ce type de demande l’utilisateur est, ensuite, transféré vers un service vocal dédié à ces tâches spécifiques. Dans ce cas, le service 3000 peut être vu comme un service de routage qui redirige, de manière efficace, les utilisateurs, en exploitant éventuellement leur profil utilisa- teur pour des informations complémentaires. Ces utilisateurs sont assez familiers avec le système et l’utilisent régulièrement. Ils sont plus prédisposés à utiliser des phrases courtes ou seulement des mots clés et l’interaction avec le système est rapide (entre deux et trois tours de parole avant d’être redirigés vers le service demandé). Ce type de dialogue représente 80% des appels sur le service 3000. Pour les 20% restants, l’interac- tion avec l’utilisateur est entièrement gérée par le service 3000 lui même. Ces dialogues proviennent généralement des utilisateurs demandant des informations sur certains services ou des utilisateurs qui cherchent à s’abonner à un nouveau service. Pour ce type de dialogue, la longueur moyenne de la phrase est plus élevée ainsi que le nombre moyen de tours de parole. Les utilisateurs sont moins familiers avec l’application et le nombre moyen de disfluences ainsi que de mots hors vocabulaire (les mots qui ne sont pas couverts par le lexique de l’application) augmente.Un autre aspect important pour ce deuxième type de dialogue est le taux assez élevé de commentaires de la part des utilisateurs. Un commentaire est une phrase pronon- cée par l’utilisateur qui est considérée comme étant hors du domaine de l’application. On distingue plusieurs catégories de commentaires. L’utilisateur peut se parler à lui même (« oh non, j’en ai marre de ce truc »), peut être surpris (« qu’est-ce que je dois dire main- tenant ? »), peut être énervé (j’ai déjà dit ça ») ou peut même insulter le système. On dis- tingue aussi un type de commentaire que nous appelons « aparté », lorsque l’utilisateur parle à une tierce personne se trouvant à coté de lui (« va ranger ta chambre »). Les com- mentaires peuvent constituer une phrase entière mais il existe aussi des commentaires qui peuvent se retrouver avec de l’information utile dans le même énoncé.Le problème se pose lorsque le système essaie de décoder et d’interpréter ces phrases. Comme elles sont hors du domaine de l’application, une partie des mots utilisés sont des mots hors vocabulaire, mais plus important, le module de compréhension n’est pas capable de les interpréter. Dans le meilleur des cas, une phrase qui est un commen- taire génère une incompréhension de la part du système qui demandera à l’utilisateur de répéter. Mais il peut y avoir aussi le cas opposé, où une telle phrase génère une interprétation (les mots reconnus peuvent allumer des concepts auxquels correspond une règle d’interprétation) ce qui peut conduire le DM dans une mauvaise direction. Ce dernier cas oblige l’utilisateur à revenir en arrière et à répéter sa demande et donne l’impression que le système a commis une erreur, ce qui n’est pas le cas. Il existe aussi la possibilité qu’une phrase contenant des commentaires mais aussi de l’information utile ne puisse pas être interprétée par le système qui génère une réponse d’incompréhen- sion. Dans tous ces cas, un autre problème majeur outre le comportement du système est le traitement de la phrase prononcée par l’utilisateur. Nous allons montrer que ces traitements peuvent être très complexes et coûteux en termes de temps de calcul et de ressources utilisées et nous allons proposer, dans le chapitre 7, différentes stratégies afin de contourner ce problème.Afin de mieux analyser un système de compréhension de la parole, il est important de ne pas se contenter d’évaluer les performances du système dans son ensemble mais plutôt d’observer son comportement sur les différents types de messages auxquels il est confronté.