Recherche (Traitement Langage Parlé) : Jean-Yves Antoine

icone Présentation

Le Traitement Automatique du Langage Parlé (TALP) vise l'analyse robuste de la structure linguistique (syntaxe, sémantique, pragmatique) des énoncés de parole spontanée, à partir de transcriptions (séquence ou treillis de mots) obtenues par reconnaissance automatique de la parole. Deux difficultés principales sont rencontrées

Présence des erreurs de reconnaissance, qui corrompent fortement les transcriptions,
Présence de disfluences orales (répétitions, reprises, incises...) qui cassent la régularité syntaxique des énoncés.

Pour surmonter ces problèmes, nous mettons en oeuvre une stratégie incrémentale d'analyse robuste (robust parsing ou incremental shallow parsing). L'énoncé est soumis à des traitements successifs qui répondent aux mêmes exigences :

Analyse superficielle, au sens où la profondeur des représentations élaborées ne s'accroit que légèrement d'un niveau à l'autre : par exemple, l'analyse syntaxique est décomposée en une étape de chunking (segmentation en constituants syntaxiques minimaux) suivie par une recherche de rattachement des chunks,

architecture robust parsing

Traitements sous-spécifiés et analyse non destructrice : on ne prend de décision qu'en cas de forte confiance. Par exemple, on peut choisir de conserver une ambiguïté qui sera levée par un niveau ultérieur, plutôt que de faire une erreur,
Indépendance conceptuelle de chaque niveau : les connaissances manipulées font sens par elles-mêmes,
Mise en oeuvre à l'aide de techniques d'analyse efficaces sous forme de machines à états finis (par exemple).

Détection linguistique des émotions

Depuis 2008, nous travaillons à l'application de ces traitements à une nouvelle problématique : la détection des émotions véhiculées par un message oral. La plupart des recherches menées sur ce sujet très en vogue portent sur l'analyse de la prosodie du signal de parole. A l'opposé mais de manière complémentaire, nous travaillons ici sur le contenu propositionnel du message en nous basant sur une hypothèse de compositionnalité de l'émotion portée par un message : les mots lexicaux possèdent une valeur émotionnelle fixe (que les psycholinguistes savent déterminer dans le cadre de normes lexicales) tandis que les verbes et adjectifs agissent comme des prédicats affectant une valeur émotionnelle à partir de celle de leurs arguments. La structure sémantique de l'énoncé a donc une importance dans le calcul de l'émotion. Ces travaux sont donc une continuation de nos recherches en compréhension automatique de la parole. En collaboration avec Jeanne Villaneau et Dominique Duhaut , de l'Université Européenne de Bretagne, nous avons développé un système symbolique de détection des émotions (EmoLogus) qui détermine la valence (positif, négatif, neutre) et l'intentsité de l'émotion portée par un énoncé oral.

Nous travaillons désormais à passer à une caractérisation contextuelle de l'émotion, en intégrant le contexte courant du discours ainsi qu'une étape de résolution des références anaphoriques. Cette recherche recoupe donc des travaux antérieurs que j'avais entamé sur la résolution des co-références. Agata Savary (LI, Université Tours) et Arielle Syssau-Vaccarella (Université Montpellier 3) sont également impliquées dans ce travail.

Pour en savoir plus : Wikipedia

Emotions (théories psychologiques)

icone Travaux et projets

Compréhension de la parole spontanée pour le dialogue homme-machine - Le dialogue étant centré sur une tâche précise, la connaissance de l'univers du discours (relations pragmatiques entre concepts) permet de contourner certaines difficultés dues aux disfluences. Notre démarche incrémentale autorise toutefois la mise en place d'une première étape d'analyse syntaxique de surface générique, ce qui nous permet d'étudier des domaines d'applications plus riches qu'usuellement (renseignement touristique complexe, par exemple). Elle permet également une modélisation des disfluences plus fine que les approches classiques par détection de motifs (cf. travaux de Shriberg ou Heeman).
- système ROMUS à base de transducteurs à états finis : doctorat de Jerome Goulian (2002)
- système LOGUS utilisant le lambda-calcul : doctorat de Jeanne Villaneau (2003)
Projet EPAC (ANR Masse de Données, 2007-2010) - Généralisation à la langue générale des travaux précédents : segmentation en chunks et détections d'entités nommées sur de grands flux de parole conversationnelle (TV, radio),
Projet EMOTIROB (ANR Robotique ; 2007-2010) - Extension de nos travaux à la détection des émotions : systèmes de compréhension de parole pour un robot compagnon émotionnel destiné à des enfants en hospitalisation longue. Réalisation du système EmoLogus de détection des émotions basés (pour la partie compréhension de parole) sur le système logique LOGUS (Doctorat de Marc Le Tallec en co-encadrement avec Jeanne Villaneau et Dominique Duhaut ).

icone Sélection de publications

Marc LE TALLEC, Jeanne VILLANEAU, Jean-Yves ANTOINE, Dominique DUHAUT (2011) Affective Interaction with a Companion Robot for vulnerable Children: a Linguistically based Model for Emotion Detection Proc. LTC’2001, Language Technology Conference, Poznan, Poland. 445-450. [HAL-00664618]

Marc LE TALLEC, Jeanne VILLANEAU, Jean-Yves ANTOINE, Agata SAVARY, Arielle SYSSAU-VACARELLA A (2010) Emologus - a compostional model of emotion detection based on the propositionnal content of spoken utterances Proc. 13th International Conference on Text, Speech and Dialogue, TSD'2010, Brno, Czech Republic, sept. 2010 In LNCS/LNAI 6231, Springer, ISBN: 978-3-642-15759-2 [HAL-00536786] .
Yannick Estève, Thierry Bazillon, Jean-Yves Antoine, Frédéric Béchet, Jérôme Farinas (2010) The EPAC corpus: manual and automatic annotations of conversational speech in French broadcast news. Proc. 9th European conference on Language Resources and Evaluation, LREC’2010, Valetta, Malta, May 2010.

Jeanne VILLANEAU, Jean-Yves ANTOINE (2009) Deeper spoken language understanding for man-machine dialogue on broader application domains: a logical alternative to concept spotting. Proc. Workshop on the Semantic Representation of Spoken Language, SRSL’2009, EACL’2009, Athens, Greece, April 2009 . pp. 50-57. [ACM Portal[LREC2010_650] .]

Jean-Yves ANTOINE, Abdenour MOKRANE, Nathalie FRIBURGER (2008) Automatic rich annotation of large corpus of conversational transcribed speech, Proc. 8th European conference on Language Resources and Evaluation. LREC'2008, Marrakesh, Maroc (à paraître) [LREC_2008-172] [HAL-00484046]
Jeanne VILLANEAU, Olivier RIDOUX, Jean-Yves ANTOINE (2004) LOGUS : un système formel de compréhension de l'oral spontané, RIA, Revue d'Intelligence Artificielle, 18(5/6).
Jeanne VILLANEAU, Jean-Yves ANTOINE, Olivier RIDOUX (2004) Logical approach to natural language understanding in a spoken dialog system, Proc. 7th International Conference on Text Speech and Dialog, TSD'2004, Brno, Tchéquie. pp. 637-644. [HAL-00484116]

Jeanne VILLANEAU, Jean-Yves ANTOINE (2004) Categorial grammars used to partial parsing of spoken language, Proc. Categorial Grammars'2004, Montpellier, France
Jerome GOULIAN, Jean-Yves ANTOINE, Franck POIRIER (2003) How NLP techniques can improve speech understanding. ROMUS: a robust chunk based message understanding system using link grammars. Proc. Eurospeech'2003, Genève, Suisse, pp. 2773-2776.
Jean-Yves ANTOINE, Jerome GOULIAN, Jeanne VILLANEAU (2003) Quand le TAL robuste s’attaque au langage parlé : analyse incrémentale pour la compréhension de la parole spontanée. Actes TALN'2003, Batz-sur-Mer, France. pp. 25-34.
Jeanne VILLANEAU, Jean-Yves ANTOINE (2001) Combining syntax and pragmatic knowledge for the understanding of spontaneous spoken sentences. Proc. 4th Conference on Logical Aspects of Computational Linguistics, LACL'2001, Le Croisic, France. In P. de Groote, G. Morrill, C. Retore (Eds.) LNAI 2099, Springer Verlag, pp. 279-295.