TRAITEMENT AUTOMATIQUE DES LANGUES

Phonétique

La phonétique n’est pas absente du TAL, mais elle est très liée à l’analyse du signal et à celle de la parole, des domaines que nous avons fait le choix de ne pas traiter ici car l’analyse linguistique y est extrêmement réduite. Il s’agit en effet, en premier lieu, d’analyser les sons, qui ne sont pas des unités linguistiques signifiantes en elles-mêmes, contrairement aux morphèmes.

Analyse morphosyntaxique

Pour le TAL, la morphosyntaxe correspond avant tout au fait de déterminer la catégorie (nom, verbe…) des mots dans leur contexte et, éventuellement, d’autres traits de nature morphologique. La difficulté de la tâche provient du fait que les mots sont ambigus (« sinistre » peut ainsi être un nom, un adjectif ou un verbe, « le » peut être un déterminant ou un pronom, etc.). Il s’agit donc de lever l’ambiguïté en fonction du contexte dans lequel le mot se trouve placé. Mais ce contexte est lui-même constitué d’autres mots qui risquent à leur tour d’être ambigus… Il faut toutefois noter que, globalement, il existe peu de phrases par nature ambiguës en dehors des exemples classiques des livres de linguistique, tels que « Le boucher sale la tranche », qui peut avoir deux sens différents, suivant qu’on analyse « sale » (et donc « tranche ») comme un verbe ou comme un adjectif.

En pratique, la catégorie d’un mot peut souvent être déterminée en fonction de celle à laquelle appartient chacun des quelques mots qui le précédent, la taille du contexte à prendre en compte variant en fonction du mot à désambiguïser. Souvent, les deux mots précédents peuvent suffire à prédire avec une assez bonne fiabilité la catégorie du mot suivant, étant donné qu’il s’agit d’opérer un choix parmi un ensemble de catégories répertoriées dans un dictionnaire.

Les performances varient justement en fonction de la langue, des ressources disponibles : si on ne dispose pas d’un dictionnaire très complet de la langue à analyser, l’analyseur est confronté à de nombreux mots inconnus qui font obligatoirement chuter les performances globales. Pour le français ou l’anglais, sur des corpus de presse, on dispose d’analyseurs ayant des performances de l’ordre de 0,95 à 0,98, c’est-à-dire que 95 à 98 % des étiquettes posées sur les mots sont valides (un nom bien identifié en tant que nom, un verbe en tant que verbe, etc.). Il s’agit de scores élevés, surtout si on prend en compte le fait qu’inévitablement certains de ces mots sont des mots « inconnus », c’est-à-dire non répertoriés dans le dictionnaire. Le système doit alors inférer une catégorie possible, en fonction du contexte et éventuellement de la morphologie du mot. Il faut malgré tout garder à l’esprit que 95 % d’étiquettes correctes, cela veut dire 5 % de mots mal étiquetés,[...]