Mes recherches dans le domaine de l'aide au handicap et aux personnes dépendantes concernent aussi bien le Traitement Automatique des Langues Naturelles (TALN) que l'Interaction Homme-Machine (IHM). Elles se focalisent sur deux domaines d'intervention :

• l'aide à la communication, par l'intermédiaire de claviers virtuels, pour des personnes lourdement handicapées
• l'aide au contrôle d'environnement domotique pour des personnes handicapées ou dépendantes

Aide à la communication pour personnes handicapées

---

L'aide à la communication orale ou écrite pour personnes handicapées relève de la communication médiée par ordinateur. Elle concerne en priorité des personnes lourdement handicapées (Infirmes Moteurs Cérébraux, scléroses SLA, syndrôme d'enfermements, myopathes, tétraplégiques trachéomisés etc...) ne pouvant plus contrôler leurs membres et ayant perdu l'usage de la parole, mais peut être également utile à d'autres personnes (design for all). Pour communiquer, ces personnes utilisent alors un clavier virtuel qui s'affiche sur un écran d'ordianteur et qui est piloté par un dispositif physique adapté au(x) geste(s) que peut encore maîtriser l'utilisateur (joytick micro-gravité, contacteur simple, détecteur de souffle etc...). La saisie des messages se fait généralement caractère par caractère, à l'aide d'un pointeur défilant automatiquement sur le clavier virtuel. Les messages composés peuvent être vocalisés par une synthèse de parole.
La communication avec ces systèmes de suppléance est très lente et rapidement fatigante pour l'utilisateur. C'est pourquoi nous travaillons à l'intégration de techniques de prédiction linguistique pour accélérer la saisie de message. Deux types d'améliorations sont visées :

• Réduire le temps d'accès à une touche à l'aide d'uneprédiction de lettres,
• Limiter le nombre de saisies en complétant le texte en cours de saisie à l'aide d'uneprédiction de mots.

La prédiction repose sur des modèles markoviens de langage avancés permettant par exemple la considération de la structure syntaxique de l'énoncé, ou son adaptation au contexte sémantique du discours. La portée de ces recherche est donc plus générale que celle de l'aide à la communication pour personnes handicapées. A titre d'exemple, elle concerne ainsi directement la saisie sur interfaces limitées.
La question de l'ergonomie des claviers virtuels pour le prise en compte optimal de l'aide apportée par la prédiction est également une question essentielle. Elle fait l'objet actuellement du doctorat de Samuel Pouplin , par exemple.

Aide à la personne dans un environnement domotisé

---

Qu'elles souffrent des handicaps moteurs lourds, ou qu'elle soient simplement âgées, par exemple, les personnes dépendantes rencontrent des difficultés à réaliser des gestes quotidiens dans leur environnement : ouvrir une porte, allumer un dispositif électrique, descendre des volets roulants ou allumer une lampe... Toutes ces actions de contrôle de l'environnement peuvent être pilotés à partir d'une interface logicielle, du moment où l'appartement où vit la personne est domotisé. On parle alors d'habitat intelligent (smart home en anglais).
En pratique, deux difficultés principales se présentent pour l'utilisateur d'un habitat intelligent :

• Des actions aussi simples que changer de pièce peuvent demander tout un ensemble d'action (ouvrir une porte, fermer la lumière dans la pièce que l'on quitte, déplacer son fauteuil roulant jusqu'à la nouvelle pièce, refermer la porte, allumer la lumière dans la pièce atteinte) qui peuvent être pénibles à réaliser pour une personne aux capacités motrices réduites. Dans le cadre de ma délégation CNRS au sein du laboratoire Lab-STICC, je travaille sur le projet DANAH dont la finalité est de proposer des scenarii de haut-niveau correspondant à des séquences de tâches répétitives accessibles via un unique bouton sur l’interface de contrôle de l'environnement. Il est aussi possible de déclencher automatiquement des alertes ou des actions suivant certaines valeurs de capteurs ou bien de faire de la reconfiguration en cas de panne d’appareils. Mon intervention dans ce domaine concerne plus particulièrement l'ergonomie de l'interface de contrôle de l'environnement DANAH.
• La définition de scenarri de haut-niveau adapté à chaque utilisateur est une activité difficile qui peut être conduite par un ergothérapeuthe mais par également par supervision automatique des actions de l'utilisateur. Cette dernière solution requiert le plus souvent l'utilisation de multiples capteurs. Dans le cadre de sa de doctorat (en cours), Willy Allègre cherche au contraire à ne considérer que les logs domotiques de l'environnement, grâce une modélisation et une anlyse sémantique de l'environnement. Dans le cadre de ma délégation CNRS, je collabore avec Willy sur la question de cette modélisation à base d'ontologies ainsi que sur l'ergonomie d'un outil de modélisation de l'environnement qui sera déployé au centre de rééducation de Kerpape où il sera utilisé par les ergothérapeuthes du centre.

Travaux et projets

---

Nous développons depuis 2000 un système d'aide à la communication pour personnes handicapées appelé Sibylle . Sibylle est un prototype opérationnel qui est utilisé en routine au Centre Mutualiste de Rééducation Fonctionnnelle de Kerpape (Mutualité du Morbihan) et à la FRATH de Papeete. Notre collaboration avec le centre de Kerpape (Jean-Paul Departe) porte sur l'ergonomie du système, tandis que deux thèses ont permis la mise en place d'une prédiction linguistique très efficace :

• modèle structurel de langage à base de chunks pour la prédiction de mots : doctorat de Igor Schadle (2003)
• adaptation du ML au thème du discours par analyse sémantique latente (LSA) : doctorat de Tonio Wandmacher (2008)

• Projet ESAC_IMC (Fondation Motrice , 2006-2007) - Utilisation des systèmes d'aide à la communication par des patients souffrants de troubles langagiers associés.
• Projet VOLTAIRE (AFM , 2008-2009) - Intégration du moteur de prédicteur de Sibylle dans le clavier open sourceCVK / CiViKey et évaluation par la PFNT de l'Hôpital de Garches.
• Projet EMOTIROB (ANR Robotique ; 2007-2010) - S'il n'est pas destiné prioritairement aux personnes handicapées, ce projet de conception d'un robot compagnon émotionnel destiné à des enfants en hospitalisation longue pourrait être utilisé avec des enfants autistes.

Sélection de publications

---

• Samuel POUPLIN, Johanna ROBERTSON, Jean-Yves ANTOINE, Antone BLANCHET, Jean-Lou KAHLOUN, Philippe VOLLE, Justine BOUTEILLE, Frédéric LOFASO, Djamel BENSMAIL (2014) Effect of a Dynamic Keyboard and Word Prediction Systems on Text Input Speed in Patients with Functional Tetraplegia Journal of Rehabilitation Research and Development, 51(3), 467-480.

• Willy ALLEGRE, Thomas BURGER, Jean-Yves ANTOINE, Jean-Paul DEPARTE, Pascal BERRUET (2013) A Non-Intrusive Context-Aware System for Ambient Assisted Living in Smart Home. Health & Technology, , 3(2), 129-138, Springer [HAL-00910386] 

• Samuel POUPLIN, Johanna ROBERTSON, Jean-Yves ANTOINE, Antoine BLANCHET, Jean-Loup KAHLOUN, Philippe VOLLE, Justine BOUTEILLE, Djamel BENSMAIL (2012) Integration and evaluation of a lexical prediction engine in a virtual keyboard support on text input for people with mobility impairments, Annals of Physical and Rehabilitation Medicine, 55(S1),131-132. Supplement volume 27ème Congrès de Médecine Physique et de Réadaptation, Toulouse, France. Octobre 2012.

• ALLEGRE, Thomas BURGER, Jean-Yves ANTOINE, Pascal BERRUET (2012) Modèle de supervision d’interactions non-intrusif basé sur les ontologies. Actes 2e Conférence Internationale Francophone sur l'Extraction et la Gestion de Connaissance, EGC’21012, Bordeaux, France[HAL-00664618] 

• Willy ALLEGRE, Pascal BERRUET, Thomas BURGER, Jean-Yves ANTOINE (2012) A Non-Intrusive Monitoring System for Ambient Assisted Living Service Delivery,Proc. ICOST'2012, Firenze,Italie, pp. 148-156[HAL-00788163]

• Jean-Yves ANTOINE (2011) Prédiction de mots et saisie de requêtes sur interfaces limitées : dispositifs mobiles et aide au handicap, In. Bellot P. (Ed). Recherche d'information contextuelle, assitée et personnalisée. Hermès, Paris, France, chapitre 10, pp. 273-298 .

• Tonio WANDMACHER, Jean-Yves ANTOINE, Jean-Paul DEPARTE, Franck POIRIER (2008) SIBYLLE, an assistive communication system adapting to the context and its user,ACM Transactions on Accessible Computing, 1(1), pp. 1-30 version étendue et révisée d'une communication à la conférence ASSETS'2007, International ACM Conference on Assistive Technologies, Phoenix, Arizona .
• Jean-Yves ANTOINE, Denis MAUREL (2007) Aide à la communication pour personnes handicapées et prédiction de texte: problématique, état des lieux et retour sur trente ans de recherche en comunication augmentée, TAL, Traitement Automatiques des Langues, 48(2), pp. 9-46 .
• Tonio WANDMACHER,Jean-Yves ANTOINE (2007) Modèle adaptatif pour la prédiction de mots. Adaptation à l'utilisateur et au contexte dans le cadre de la communication assistée pour personnes handicapées, TAL, Traitement Automatiques des Langues, 48(2), pp. 71-95 .
• Tonio WANDMACHER, Jean-Yves ANTOINE (2007) Methods to integrate a language model with semantic information for a word prediction component. Proc.  ACL SIGDAT Joint Conference EMNLP-CoLLN'2007,  Prague, Tchéquie, pp. 503-513. [HAL-00280477 / ArXiv 0801.4716].
• Igor SCHADLE (2004) AAC system using NLP techniques. Proc.9th International Conference on Computer Helping People with special needs, ICCHP'2004, Paris, France. In. Lecture Notes in Computer Science, LNCS 3118, Springer-Verlag, pp. 1009-1015.
• Igor SCHADLE,Jean-Yves ANTOINE, Brigitte LE PEVEDIC, Franck POIRIER (2002) SibyLettre, prédiction de lettres pour la communication augmentée. Revue d'Interaction Homme-Machine, RIHM, 3(2), pp. 115-133.