photo JY Antoine
Jean-Yves ANTOINE
English version Deutsch Portugese Brezhonneg
Accueil Recherche Publications Enseignement Histoire de l'Art


> Recherche > Dialogue et TALP
Dialogue Homme-Machine et Traitement du Langage Parlé

 icone Présentation


Le Traitement Automatique du Langage Parlé (TALP) vise l'analyse robuste de la structure linguistique (syntaxe, sémantique, pragmatique) des énoncés de parole spontanée, à partir de transcriptions (séquence ou treillis de mots) obtenues par reconnaissance automatique de la parole. Deux difficultés principales sont rencontrées
  • Présence des erreurs de reconnaissance, qui corrompent fortement les transcriptions,
  • Présence de disfluences orales (répétitions, reprises, incises...) qui cassent la régularité syntaxique des énoncés.
Pour surmonter ces problèmes, nous mettons en oeuvre une stratégie incrémentale d'analyse robuste (robust parsing ou incremental shallow parsing).  L'énoncé est soumis à des traitements successifs qui répondent aux mêmes exigences :
  • Analyse superficielle, au sens où la profondeur des représentations élaborées ne s'accroit que légèrement d'un niveau à l'autre : par exemple, l'analyse syntaxique est décomposée en une étape de chunking (segmentation en constituants syntaxiques minimaux) suivie par une recherche de rattachement des chunks,
  • architecture robust parsing

  • Traitements sous-spécifiés et analyse non destructrice : on ne prend de décision qu'en cas de forte confiance. Par exemple, on peut choisir de conserver une ambiguïté qui sera levée par un niveau ultérieur, plutôt que de faire une erreur, 
  • Indépendance conceptuelle de chaque niveau : les connaissances manipulées font sens par elles-mêmes,
  • Mise en oeuvre à l'aide de techniques d'analyse efficaces sous forme de machines à états finis (par exemple).

Détection linguistique des émotions


Depuis 2008, nous travaillons à l'application de ces traitements à une nouvelle problématique : la détection des émotions véhiculées par un message oral. La plupart des recherches menées sur ce sujet très en vogue portent sur l'analyse de la prosodie du signal de parole. A l'opposé mais de manière complémentaire, nous travaillons ici sur le contenu propositionnel du message en nous basant sur une hypothèse de compositionnalité de l'émotion portée par un message : les mots lexicaux possèdent une valeur émotionnelle fixe (que les psycholinguistes savent déterminer dans le cadre de normes lexicales) tandis que les verbes et adjectifs agissent comme des prédicats affectant une valeur émotionnelle à partir de celle de leurs arguments. La structure sémantique de l'énoncé a donc une importance dans le calcul de l'émotion. Ces travaux sont donc une continuation de nos recherches en compréhension automatique de la parole. En collaboration avec Jeanne Villaneau nouvelle image et Dominique Duhaut nouvelle image, de l'Université Européenne de Bretagne, nous avons développé un système symbolique de détection des émotions (EmoLogus) qui détermine la valence (positif, négatif, neutre) et l'intentsité de l'émotion portée par un énoncé oral.

Nous travaillons désormais à passer à une caractérisation contextuelle de l'émotion, en intégrant le contexte courant du discours ainsi qu'une étape de résolution des références anaphoriques. Cette recherche recoupe donc des travaux antérieurs que j'avais entamé sur la résolution des co-références. Agata Savary nouvelle image (LI, Université Tours) et Arielle Syssau-Vaccarella (Université Montpellier 3) sont également impliquées dans ce travail.

Pour en savoir plus : Wikipedia

 icone Travaux et projets


  • Compréhension de la parole spontanée pour le dialogue homme-machine - Le dialogue étant centré sur une tâche précise, la connaissance de l'univers du discours (relations pragmatiques entre concepts) permet de contourner certaines difficultés dues aux disfluences. Notre démarche incrémentale autorise toutefois la mise en place d'une première étape d'analyse syntaxique de surface générique, ce qui nous permet d'étudier des domaines d'applications plus riches qu'usuellement (renseignement touristique complexe, par exemple). Elle permet également une modélisation des disfluences plus fine que les approches classiques par détection de motifs (cf. travaux de Shriberg ou Heeman).
    • système ROMUS à base de transducteurs à états finis : doctorat de Jerome Goulian (2002) document PDF : thèse J. Goulian
    • système LOGUS utilisant le lambda-calcul : doctorat de Jeanne Villaneau nouvelle image (2003) document PDF
  • Projet EPAC nouvelle fenêtre (ANR Masse de Données, 2007-2010) - Généralisation à la langue générale des travaux précédents :  segmentation en chunks et détections d'entités nommées sur de grands flux de parole conversationnelle (TV, radio),
  • Projet EMOTIROB nouvelle fenêtre(ANR Robotique ; 2007-2010) - Extension de nos travaux à la détection des émotions : systèmes de compréhension de parole pour un robot compagnon émotionnel destiné à des enfants en hospitalisation longue. Réalisation du système EmoLogus de détection des émotions basés (pour la partie compréhension de parole) sur le système logique LOGUS (Doctorat de Marc Le Tallec en co-encadrement avec Jeanne Villaneau nouvelle image et Dominique Duhaut nouvelle image).

 icone Sélection de publications


  • Marc LE TALLEC, Jeanne VILLANEAU, Jean-Yves ANTOINE, Dominique DUHAUT (2011) Affective Interaction with a Companion Robot for vulnerable Children: a Linguistically based Model for Emotion Detection Proc. LTC’2001, Language Technology Conference, Poznan, Poland. 445-450. [HAL-00664618]document PDF LREC'2008
  • Marc LE TALLEC, Jeanne VILLANEAU, Jean-Yves ANTOINE, Agata SAVARY, Arielle SYSSAU-VACARELLA A  (2010) Emologus - a compostional model of emotion detection based on the propositionnal content of spoken utterances Proc. 13th International Conference on Text, Speech and DialogueTSD'2010, Brno, Czech Republic, sept. 2010 In LNCS/LNAI 6231, Springer, ISBN: 978-3-642-15759-2 [HAL-00536786] introduction article ACM TASSESTS.
  • Yannick Estève, Thierry Bazillon, Jean-Yves Antoine, Frédéric Béchet, Jérôme Farinas (2010) The EPAC corpus: manual and automatic annotations of conversational speech in French broadcast news. Proc. 9th European conference on Language Resources and Evaluation, LREC’2010, Valetta, Malta, May 2010.  
  • Jeanne VILLANEAU, Jean-Yves ANTOINE (2009) Deeper spoken language understanding for man-machine dialogue on broader application domains: a logical alternative to concept spotting. Proc. Workshop on the Semantic Representation of Spoken Language, SRSL’2009, EACL’2009, Athens, Greece, April 2009 document PDF LREC'2008. pp. 50-57. [ACM Portal[LREC2010_650] introduction article ACM TASSESTS.]
  • Jean-Yves ANTOINE, Abdenour MOKRANE, Nathalie FRIBURGER (2008) Automatic rich annotation of large corpus of conversational transcribed speech, Proc. 8th European conference on Language Resources and Evaluation. LREC'2008, Marrakesh, Maroc (à paraître) document PDF LREC'2008  [LREC_2008-172] [HAL-00484046]
  •  Jeanne VILLANEAU, Olivier RIDOUX, Jean-Yves ANTOINE (2004) LOGUS : un système formel de compréhension de l'oral spontané, RIA, Revue d'Intelligence Artificielle, 18(5/6). document PDF article RIA'2004  
  • Jeanne VILLANEAU, Jean-Yves ANTOINE, Olivier RIDOUX (2004) Logical approach to natural language understanding in a spoken dialog system, Proc. 7th International Conference on Text Speech and Dialog, TSD'2004, Brno, Tchéquie. pp. 637-644. [HAL-00484116]
  • Jeanne VILLANEAU, Jean-Yves ANTOINE (2004) Categorial grammars used to partial parsing of spoken language, Proc. Categorial Grammars'2004, Montpellier, France document PDF article CG'2004  
  • Jerome GOULIAN, Jean-Yves ANTOINE, Franck POIRIER (2003) How NLP techniques can improve speech understanding. ROMUS: a robust chunk based message understanding system using link grammars. Proc.  Eurospeech'2003,  Genève, Suisse, pp. 2773-2776. article PDF Eurospeech 2003  
  • Jean-Yves ANTOINE, Jerome GOULIAN, Jeanne VILLANEAU (2003) Quand le TAL robuste s’attaque au langage parlé : analyse incrémentale pour la compréhension de la parole spontanée. Actes TALN'2003, Batz-sur-Mer, France. pp. 25-34. article TALN 2003 
  • Jeanne VILLANEAU, Jean-Yves ANTOINE (2001) Combining syntax and pragmatic knowledge for the understanding of spontaneous spoken sentences. Proc. 4th Conference on Logical Aspects of Computational Linguistics, LACL'2001, Le Croisic, France. In P. de Groote, G. Morrill, C. Retore (Eds.) LNAI 2099, Springer Verlag, pp. 279-295. document PDF article LACL 2001  

Dialogue Homme-Machine et Traitement du Langage Parlérappel haut de page
Retour en haut de page

Jean-Yves ANTOINE - Dernière modification : 11 mars 2012