Équipe

Perception, Contrôle, Multimodalité et Dynamiques de la parole
Responsable(s) d'équipe : Coriandre VILAIN    Maeva GARNIER


1er axe: Unités, représentations et indices de parole


Détail de l'axes représentations et indices : Interactions sensori-motrices , Multimodalité et gestualité


Interactions sensori-motrices

  

Objectifs

Cet axe de recherche vise à étudier les mécanismes de perception et de production de la parole ainsi que leur couplage dans une boucle perception/action.

En combinant des approches comportementales, neurocognitives et modélisatrices, les liens perception-action, les phénomènes de liage (binding) audio/visuel et audio/visuo/moteur, d’imitation, d’interaction et de convergence sont explorés, à travers plusieurs projets.

 

Participants

PermanentsAnton Andreev, Frédéric Berthommier, Marion Dohen, Maëva Garnier, Takayuki Ito, Pascal Perrier, Jean-Luc Schwartz, Coriandre Vilain

Doctorants : Lucie Scarbel, Marie-Lou Barnaud, Jean-François Patri, Avril Treille, Ganesh Attigodu

Post-doctorants : Marjorie Dole

 

Projets en cours

Multimex (ANR, 2012-2015), Plasmody (ANR, 2011-2015), Speech Units (ERC, 2013-2018),  InnerSpeech (2014-2018), StopNCo (ANR 2015-2019).

 

Mots-clés

PACT (Théorie de la perception pour le contrôle de l’action), liage (binding) audio/visuel et audio/visuo-moteur, imitation, interaction, résonance, corrélats neurocognitifs des systèmes de perception, de production et d’imitation de la parole, liage (binding) audio/visuel et audio/visuo-moteur, neurones miroirs et mécanismes de résonance motrice, prosodie, parole intérieure (schizophrénie), réseau par défaut (default network).





Les recherches sur la production et la perception de la parole ont été longtemps conçues de manière très séparée, en général autour d’équipes – voire de laboratoires – différents, présentées dans des conférences ou des séminaires distincts, et empruntant à des cadres théoriques et des corpus méthodologiques déconnectés. Les 20 dernières années, avec notamment l’essor des approches cognitives incarnées (embodiment) et les recherches sur les neurones miroir et sur la voie dorsale reliant aires corticales perceptives et motrices, ont changé radicalement la donne. L’équipe PCMD a inscrit depuis longtemps la question des relations perception-action au cœur de ses travaux sur la communication face à face, et comme pivot de ses études sur les mécanismes cognitifs de traitement perceptif et de production de parole.

 

Théories et modèles

Un axe central de nos recherches dans ce domaine est l’élaboration progressive d’un cadre théorique visant à formaliser le rôle des relations perception-action dans la communication parlée, la «  Théorie de la Perception pour le Contrôle de l’Action »  (Perception-for-Action-Control Theory, PACT, [Schwartz et al. 2012] . Dans ce cadre théorique, les gestes sont sélectionnés pour la communication en fonction de l’information qu’ils fournissent pour récupérer les contrôles à partir des signaux. Les relations perception-action sont régies par un double jeu de relations, relations entre prototypes moteurs et perceptifs qui se co-construisent dans le développement et interaction en ligne au cours de la perception pour rechercher dans les répertoires moteurs des informations complémentaires susceptibles de guider le traitement perceptif. 

 

 




Fig 1. Une architecture générale pour PACT. Couplages perceptuo-moteurs pour la co-structuration offline des répertoires perceptifs et moteurs (pointillés) et liage perceptuo-moteur en ligne (ligne pleine).

Nous avons également développé un modèle computationnel, COSMO (« Communicating Objects using SensoriMotor Operations », [Moulin-Frier et al. 2012]). Ce modèle, développé dans le cadre de la modélisation bayésienne, considère une hypothèse d’internalisation de la boucle de communication au sein d’un agent cognitif. Il a permis de comparer quantitativement des simulations dans le cadre de théories motrice, auditive et perceptuo-motrice, montrant la supériorité de cette dernière en termes de performances de reconnaissance notamment en milieu bruité. COSMO fournit ainsi un cadre de modélisation quantitative à la PACT, qui va nous permettre d’intégrer dans un même cadre computationnel des hypothèses sur la perception et la production de la parole. 

 




Fig 2. L’architecture COSMO – (a) une situation de communication entre locuteur et auditeur ; (b) internalisation dans COSMO, avec une formalisation bayésienne : P(OS,M,S,OL,C) =P(OS)P(MSOS)P(SSM)P(OLSS)P(CSOS,OL) (tiré de [Moulin-Frier et al. 2012]).


Données expérimentales

Parallèlement au développement de la PACT et du modèle COSMO, de nombreuses études comportementales ont permis une meilleure caractérisation et compréhension des interactions perceptivo-motrices lors de la communication parlée. Appuyant tout à la fois l'existence de contraintes procédurales motrices lors de la perception de parole et de l'importance des traitements sensoriels lors de la production de parole, ces travaux concernaient ainsi :

·    L'existence de biais articulatoires lors de tâches perceptives de décision syllabique suite à un entrainement moteur orofacial ou lors de la production silencieuse et conjointe de parole ([Sato et al. 2009], [Sato et al. 2011]).

·    L'étude des mécanismes de compensation articulatoire lors d’un retour auditif perturbé ainsi que le recalibrage des cibles perceptives de parole ([Buccino et al. 2009]).

·    L'impact de tâches articulatoires orofaciales dans le cadre de la production interne de parole ([Sato et al. 2013 a]).

·    Plus généralement, l'étude des boucles perceptivo-motrices dans le cadre de la perception multistable et de l'organisation perceptive de la parole ainsi que lors de mécanismes de convergence phonétique et d'imitation volontaire de la parole. ([sato et al. 2013 b]).

 




Fig 3. Variation de hauteur de voix chez des locuteurs, suite à une tâche d’écoute et de production de voyelles (imitation involontaire, en vert), suite à une tâche d’écoute et d’imitation volontaire de voyelles (en bleu), et suite à une tâche d’écoute et de catégorisation de voyelles (en rouge) [Sato et al. 2013].

Références bibliographiques :

 

  • Buccino, G., Sato, M., Cattaneo, L., Roda, F. et Riggio, L. (2009) Broken affordances, broken objects : a tms study. Neuropsychologia, 47(14) :3074–3078.
  • Laurent, R., Moulin-Frier, C., Bessière, P., Schwartz, J.L., & Diard, J. (2013). Integrate, yes, but what and how? a computational approach of sensorimotor fusion in speech. Behavioral and Brain Sciences, 36, 364–365.
  • Moulin-Frier, C., Laurent, R., Bessière, P., Schwartz, J.-L. et Diard, J. (2012). Adverse conditions improve distinguishability of auditory, motor and percep-tuo-motor theories of speech perception : an exploratory bayesian modeling study. Language and Cognitive Processes, 27(7-8 Special Issue : Speech Recognition in Adverse Conditions) :1240–1263. 
  • Sato, M., Tremblay, P. et Gracco, V. (2009) A mediating role of the premotor cortex in phoneme segmentation. Brain and Language, 111(1) :1–7.
  • Sato, M., Grabski, K., Glenberg, A., Brisebois, A., Basirat, A., Ménard, L. et Cattaneo, L. (2011) Articulatory bias in speech perception : Evidence from use-induced motor plasticity. Cortex ; a journal devoted to the study of the nervous system and behavior, 47(8) :1001–1003.
  • Sato, M., Troille, E., Ménard, L.,  Cathiard, M-A., et Gracco, V. (2013) Silent articulation modulates auditory and audiovisual speech perception. Experimental Brain Research, 227(2) :275–88.
  • Sato, M., Grabski, K., Garnier, M., Granjon, L., Schwartz, J-L. et Nguyen, N. (2013). Converging toward a common speech code : imitative and perceptuo-motor recalibration processes in speech production. Frontiers in Psychology, page 422.
  • Sato, M., Schwartz, J.L., & Perrier, P. (2013). Phonemic auditory and somatosensory goals in speech production. Language and Cognitive Processes, 29, 41-43.
  • Schwartz, J.-L.,Basirat, A., Ménard, L. et Sato, M. (2012) The perception for action control theory (pact) : a perceptuo-motor theory of speech perception. Journal of Neurolinguistics, 25(5) :336–354.

 


GIPSA-lab, 11 rue des Mathématiques, Grenoble Campus BP46, F-38402 SAINT MARTIN D'HERES CEDEX - 33 (0)4 76 82 71 31