Application de CBSEAS au résumé d’opinions

Les premières applications du résumé automatique ont concerné les dépêches de presse et les articles scientifiques(Mani et Maybury, 1999). Ces applications ont vite trouvé leur place dans l’industrie pour aider aux tâches de veille : veille d’information, veille scientifique – toutes composantes de la veille stratégique. Rapidement, les industriels ont pris conscience des avantages considérables qu’ils pou- vaient tirer des nouvelles ressources électroniques telles que les blogs ou les forums. De telles ressources ouvertes, correctement exploitées, peuvent aider à comprendre les besoins et les attentes de toute une population, et également à analyser les opinions concernant des produits, des personnalités ou même des propositions politiques. L’ana- lyse d’opinion a ainsi connu un essor scientifique considérable ces dernières années. tante pose le problème de la lisibilité des résultats. Il est donc nécessaire de les condenser afin de les rendre accessibles. C’est pourquoi la campagne d’évaluation TAC 2008 s’est intéressée au résumé d’opinions au travers de la tâche « pilote » 1 Opinion Summariza- tion.Participer à une campagne d’évaluation automatique telle que TAC 2008, sur une tâche novatrice adaptée à des nouveaux besoins, a permis de situer notre système par rapport aux autres systèmes existants, et surtout de le confronter à des données réelles.

La tâche « Résumé d’opinions » de TAC 2008

La tâche « Résumé d’opinions » de TAC 2008 est inspirée d’un scenario applicatif réa- liste, dans lequel un utilisateur souhaite connaître les opinions exprimées à propos d’une entité clairement identifiée (une personne, un produit, une organisation, un fait de so- ciété…). Les dépêches de presse contiennent parfois ce type d’informations. Cependant, celles-ci sont des sources secondaires formulées par des journalistes. Les opinions conte- nues dans des dépêches de presse sont donc des informations secondaires. Des ressources telles que les blogs permettent à l’utilisateur de disposer d’opinions non déformées. C’est pourquoi TAC 2008 a proposé de réaliser des résumés d’opinion à partir de blogs. Dans ce scenario, l’utilisateur cherche des réponses à plusieurs questions spécifiques sur une entité donnée ou sur ses caractéristiques. Nous appellerons un jeu de questions à propos d’une même entité un « sujet ». L’utilisateur souhaite comme résultat final un résumé des réponses trouvées dans les blogs à ces questions, où les informations redondantes ne sont pas répétées, mais éliminées . Ce résumé doit être bien organisé et sa lecture aisée. Le nombre de caractères en sortie ne doit pas dépasser 7000 fois le nombre de questions. Par exemple, pour un sujet qui comporte comporte trois questions, le résumé peut comprendre jusqu’à 21000 caractères 2.

La tâche de résumé d’opinions consiste à coupler une analyse d’opinion avec un système de questions/réponses. Les sujets et les questions proviennent d’une tâche de question/- réponse qui lui est antérieure. Lors de TAC 2008, les sujets étaient au nombre de 25 et étaient constitués d’une à trois questions. Les systèmes doivent, pour chaque sujet, produire en sortie un texte qui résume les réponses à toutes les questions de ce sujet. Les documents associés à chaque sujet sont ceux dans lesquels au moins une réponse à une question a été trouvée par les assesseurs de NIST et les participants à la tâche de question/réponse qui a précédé la tâche de résumé d’opinions. Afin de permettre aux participants qui ne maîtrisent pas les tâches de question/ré- ponse, les éléments de réponse apportés par les systèmes de question/réponse étaient fournis par NIST. Ces éléments, appelés snippets, pouvaient être utilisés par les sys- tèmes de résumé automatique ; cependant, leur utilisation devait être précisée lors de l’envoi des résultats à TAC, car elle permet d’améliorer de façon significative la qualité des résultats.Afin de participer à la tâche la plus réaliste possible, nous avons décidé de ne pas utiliser les snippets fournis en option par NIST. En effet, il paraît assez impropable qu’en condition réelle, un système puisse utiliser des requêtes utilisateur, des documents pertinents et des snippets. L’idée de coupler un moteur de recherche à un système de résumé automatique semble plus vraisemblable que de mettre à disposition d’un système de résumé automatique, un système de question/réponse.est inférieur à un seuil (0.35). Les mots fréquents sont les 100 mots les plus fréquents en anglais, qui consistuent approximativement la moitié des textes écrits(Fry et al., 2000). Le seuil de 0.35, fixé empiriquement, permet une certaine souplesse quant à la sélection de phrases qui n’emploient pas un vocabulaire courant, tout en éliminant celles qui sont écrites dans un anglais plus qu’approximatif.