Cours traitement automatique du langage naturel (TALN), tutoriel & guide de travaux pratiques en pdf.

Les différents niveaux d’analyse en TALN

L’analyse d’un système TALN

A ce niveau, deux études formelles ont été menées. L’une peu ancienne, au niveau de la morphologie et de la syntaxe, et l’autre beaucoup plus récente au niveau de la sémantique et de la pragmatique linguistique. A noter qu’on confond souvent la sémantique lexicale, qui explique le sens d’unités individuelles, et la sémantique propositionnelle qui étudie le sens d’énoncés dans son ensemble et à qui on peut lui donner une valeur de vérité.

Analyse morphologique

La morphologie : interprète comment les mots sont structurés et quels sont leurs rôles dans la phrase. Cette analyse consiste à une segmentation du texte en unités élémentaires auxquelles sont attachées des connaissances dans le système : une fois cette segmentation effectuée, ce n’est plus le texte qui est manipulé, mais une liste ordonnée d’unités. Pour le traitement d’un texte numérique : on part d’une chaîne de caractères typographiques, et on essaie de la segmenter de manière à ce que chaque partie corresponde à une unité classée dans le système.
Remarque : il y a des phénomènes (concernant le choix et le statut des unités) qui sont répertoriés de longue date par les linguistes : qui conduisent à s’interroger sur la notion de mot : élisions1, amalgames, flexions, dérivations, compositions,…

Analyse syntaxique

C’est une partie de la grammaire qui traite la manière dont les mots peuvent se combiner pour former des propositions et de l’enchaînement des propositions entre elles. Cela consiste à associer, à la chaîne découpée en unités, une représentation des groupements structurels entre ces unités ainsi que des relations fonctionnelles qui unissent les groupes d’unités (voir Fig.3).

Analyse sémantique

Le niveau sémantique est encore beaucoup plus complexe à décrire et à formaliser que les niveaux précédemment énoncés. De ce fait, peu d’outils de traitement reste opérationnel ou du moins, concernent des applications très réduites où l’analyse sémantique se limite à un domaine parfaitement étroit ; par contre, il reste beaucoup à apprendre sur la manière de construire en grandeur réelle des analyseurs sémantiques généraux qui couvriraient la totalité de la langue arabe et seraient indépendants d’un domaine d’application particulier.
La phrase est l’unité d’analyse principale que prend en charge le traitement sémantique afin de représenter sa partie significative. Ces phrases, dont l’analyseur sémantique doit décrire le sens, se composent d’un certain nombre de mots identifiés par l’analyse morphologique, et regroupés en structures par l’analyse syntaxique. Ces mots et ces structures constituent autant d’indices pour le calcul du sens : on pourrait dire, que le sens résulte de la double-donnée du sens des mots et du sens des relations entre ces mots.

Analyse contextuelle

La phrase traitée hors contexte, c’est-à-dire isolé de son texte, n’a peut être pas le même sens que dans son contexte. L’analyse sémantique de la phrase isolée, nous amène à représenter la partie de la signification des mots dans cette phrase, elle n’épuise donc pas ce que l’on peut appeler la signification complète d’un texte, à savoir les relations existantes entre les phrases du texte telles que l’humain l’appréhende lors d’un processus de compréhension. C’est ainsi qu’intervient l’analyse contextuelle qui consiste à trouver la signification « réelle » des phrases liées aux conditions positionnelles et contextuelles d’utilisation des mots.

Le sens

Le sens est partout dans le traitement automatique des langues : il faudrait parler des aspects :
→ Lexicaux (quels liens existent entre les mots et leurs sens ?),
→ Syntaxiques (quel sens est porté par les structures dans lesquelles ces mots interviennent?),
→ Sémantiques bien sûr (comment sont représentées, obtenues et traitées des significations ?)
→ Contextuelles (quelles sont les influences des connaissances sur le monde et la situation pour déterminer le sens ?)…

Le problème du sens

Qu’est ce que le mot « sens » ? Tout le monde répondra à première vue que c’est « approfondir un peu », c’est-à-dire aller plus loin que « le sens d’un terme, que veut-il évoquer ? ». Plusieurs interprétations du sens du mot « sens » peuvent exister. Toutes ces définitions dévoilent le flou qui couvre ce domaine, mais permettent aussi de souligner une différence entre le sens fondamental et le sens interprété, lié également à la prise en considération ou non du contexte [JPM-00]. En effet, une grande partie des travaux en intelligence artificielle et surtout en traitement automatique des langues suppose (implicitement ou non) la possibilité de calculer un sens littéral (qui relève de ce qui est alors appelé sémantique), puis de l’interpréter selon les connaissances générales sur le monde de référence, le contexte et les caractéristiques des interlocuteurs (on parle alors de contextuel).
Fig. 4 : Calcul du sens
Bien entendu, cela pose la question de l’existence d’un niveau linguistique indépendant, que certains remettent en cause en arguant de l’impossibilité de séparer l’interpréteur de la chose interprétée. D’autres contestent l’existence des acceptations énumérées dans les dictionnaires pour défendre le sens littéral… Cette hypothèse est si commode pour les traitements automatiques qu’elle est à peu près systématique même si sa validité psychologique reste incertaine. Mais, même ici, on trouvera un certain flou dans les catégories possibles ; ainsi peut-on distinguer (sans qu’il s’agisse le moins du monde d’une partition), voir figure 5 :
Fig. 5 : Différentes catégories de la sémantique
La sémantique veri-conditionnelle précise les conditions de vérité de l’expression traitée (on parle aussi parfois de référence virtuelle…).
La sémantique intentionnelle voit une expression comme l’ensemble des propriétés théoriques que possèdent les concepts correspondants.
La sémantique extensionnelle décrit une expression comme l’ensemble des objets ou situations du monde que cette expression désigne (on parle aussi de sémantique dénotationnelle ou référentielle).
La sémantique componentielle cherche à décomposer les mots en éléments de sens plus primitifs, puis étudie leurs possibilités de combinaison.
La sémantique procédurale décrit le sens d’une expression comme l’ensemble des actions à effectuer pour trouver l’objet désigné.
La sémantique argumentative (liée aux notions de supposition et de présupposition) dépasse la description d’actes de langage isolés pour étudier leurs enchaînements dans le discours et les connecteurs correspondants.