Étude de la coordination gestes manuels/parole dans le cadre de la désignation
Directeur de thèse : Jean-Luc SCHWARTZ Marion DOHEN
École doctorale : Ingénierie pour la santé, la cognition et l''environnement (EDISCE)
Spécialité : Ingénierie de la Cognition, de l'interaction, de l'Apprentissage et de la Création (CIA)
Structure de rattachement : Université Grenoble Alpes
Établissement d'origine : INPG
Financement(s) : allocation MENRT ; ATER
Date d'entrée en thèse : 01/10/2008
Date de soutenance : 10/10/2012
Composition du jury :
Michèle GUIDETTI,Octogone - Université de Toulouse le Mirail
Catherine PELACHAUD,Télécom-ParisTech
Marion TELLIER ,LPL, Université d''Aix-Marseille
Jean-Marc COLLETTA,Lidilem, Université de Grenoble
Marion DOHEN,GIPSA-Lab, Université de Grenoble
Jean-Luc SCHWARTZ,GIPSA-Lab, Université de Grenoble
Résumé : Le travail présenté dans cette thèse vise à étudier la coordination entre gestes manuels et parole lors de la production d’énoncés multimodaux. Les études menées s’intéressent plus particulièrement aux relations temporelles entre les deux modalités. Cette coordination a été étudiée plus précisément dans le cadre de la désignation qui est réalisable à la fois dans la modalité manuelle (geste de pointage) et dans la modalité parole (« montrer avec la voix », en utilisant la focalisation et/ou les démonstratifs par exemple). Les études présentées ont été menées dans un environnement contrôlé de laboratoire afin d’obtenir des mesures précises et reproductibles en minimisant les facteurs extérieurs de variations intra- et inter-participants. Les productions des locuteurs peuvent ainsi être comparées entre-elles en se focalisant sur les facteurs d’intérêt toutes choses maintenues le plus possible égales par ailleurs. Un travail particulier de mise en place des protocoles a néanmoins permis de maintenir une tâche assez naturelle afin de ne pas induire des productions trop artificielles. Les deux premières études se sont intéressées à la production conjointe de gestes manuels et de parole contenant de la focalisation. Plusieurs types de gestes ont été comparés (geste de pointage, geste de battement et geste d’appui sur un bouton) lors d’une tâche de désignation. Il a été montré que la production de focalisation attire le geste manuel quel que soit son type mais que l’attraction est plus « précise » et fine pour le pointage. Par ailleurs, l’apex du geste de pointage semble être cooccurent à une cible articulatoire plutôt qu’acoustique. La seconde étude manipule le lien de désignation le geste de pointage et la parole. Elle montre, en exhibant deux stratégies adoptées par les participants, la complexité des mécanismes mis en jeu dans cette coordination. Finalement, une troisième étude s’intéresse à la coordination dans une tâche interactive et collaborative plus naturelle. Dans cette tâche les locuteurs utilisent naturellement des gestes de pointage pour désigner à leur interlocuteur l’emplacement d’une carte à poser grâce à une phrase porteuse contenant un démonstratif. Les résultats montrent une cooccurrence de la partie du geste qui montre avec l’information qui lui est complémentaire en parole, i.e. avec le nom de l’objet à poser à l’endroit désigné par le geste de pointage, plutôt qu’avec la partie de la parole qui désigne, i.e. le démonstratif. L’effet de la perturbation de l’interaction par un bruit ambiant est également testé et il est montré que, si la parole subit un effet Lombard classique, la production de gestes est peu modifiée mis à part une adaptation de la durée de la partie du geste qui montre à l’allongement de la parole. Ce mémoire propose par ailleurs une exploration des procédés d’annotation multimodaux mis en place pour l’annotation de tâches semi-contrôlées mais applicables à des cas plus généraux. Le manuscrit se conclut par une mise en perspective des résultats pour l’amélioration de certains modèles de production conjointe gestes manuels/parole et fournit quelques pistes utilisables dans le domaine des agents conversationnels ainsi que pour la détection de pathologies.
