Directeur de thèse : Jean-Luc SCHWARTZ Marion DOHEN
École doctorale : Ingénierie pour la santé, la cognition et l''environnement (EDISCE)
Spécialité : Ingénierie de la Cognition, de l'interaction, de l'Apprentissage et de la Création (CIA)
Structure de rattachement : Université Grenoble Alpes
Établissement d'origine : INPG
Financement(s) : allocation MENRT ; ATER
Date d'entrée en thèse : 01/10/2008
Date de soutenance : 10/10/2012
Composition du jury :
Michèle GUIDETTI,Octogone - Université de Toulouse le Mirail
Catherine PELACHAUD,Télécom-ParisTech
Marion TELLIER ,LPL, Université d''Aix-Marseille
Jean-Marc COLLETTA,Lidilem, Université de Grenoble
Marion DOHEN,GIPSA-Lab, Université de Grenoble
Jean-Luc SCHWARTZ,GIPSA-Lab, Université de Grenoble
Résumé : Le travail présenté dans cette thèse vise à étudier la coordination entre gestes manuels et parole lors de la production dénoncés multimodaux. Les études menées sintéressent plus particulièrement aux relations temporelles entre les deux modalités. Cette coordination a été étudiée plus précisément dans le cadre de la désignation qui est réalisable à la fois dans la modalité manuelle (geste de pointage) et dans la modalité parole (« montrer avec la voix », en utilisant la focalisation et/ou les démonstratifs par exemple). Les études présentées ont été menées dans un environnement contrôlé de laboratoire afin dobtenir des mesures précises et reproductibles en minimisant les facteurs extérieurs de variations intra- et inter-participants. Les productions des locuteurs peuvent ainsi être comparées entre-elles en se focalisant sur les facteurs dintérêt toutes choses maintenues le plus possible égales par ailleurs. Un travail particulier de mise en place des protocoles a néanmoins permis de maintenir une tâche assez naturelle afin de ne pas induire des productions trop artificielles. Les deux premières études se sont intéressées à la production conjointe de gestes manuels et de parole contenant de la focalisation. Plusieurs types de gestes ont été comparés (geste de pointage, geste de battement et geste dappui sur un bouton) lors dune tâche de désignation. Il a été montré que la production de focalisation attire le geste manuel quel que soit son type mais que lattraction est plus « précise » et fine pour le pointage. Par ailleurs, lapex du geste de pointage semble être cooccurent à une cible articulatoire plutôt quacoustique. La seconde étude manipule le lien de désignation le geste de pointage et la parole. Elle montre, en exhibant deux stratégies adoptées par les participants, la complexité des mécanismes mis en jeu dans cette coordination. Finalement, une troisième étude sintéresse à la coordination dans une tâche interactive et collaborative plus naturelle. Dans cette tâche les locuteurs utilisent naturellement des gestes de pointage pour désigner à leur interlocuteur lemplacement dune carte à poser grâce à une phrase porteuse contenant un démonstratif. Les résultats montrent une cooccurrence de la partie du geste qui montre avec linformation qui lui est complémentaire en parole, i.e. avec le nom de lobjet à poser à lendroit désigné par le geste de pointage, plutôt quavec la partie de la parole qui désigne, i.e. le démonstratif. Leffet de la perturbation de linteraction par un bruit ambiant est également testé et il est montré que, si la parole subit un effet Lombard classique, la production de gestes est peu modifiée mis à part une adaptation de la durée de la partie du geste qui montre à lallongement de la parole. Ce mémoire propose par ailleurs une exploration des procédés dannotation multimodaux mis en place pour lannotation de tâches semi-contrôlées mais applicables à des cas plus généraux. Le manuscrit se conclut par une mise en perspective des résultats pour lamélioration de certains modèles de production conjointe gestes manuels/parole et fournit quelques pistes utilisables dans le domaine des agents conversationnels ainsi que pour la détection de pathologies.