’Modèle d'interaction et performances du traitement du signal multimodal’

Directeur de thèse :     Christian JUTTEN

Co-directeur de thèse :     Pierre-Olivier AMBLARD

École doctorale : Electronique, electrotechnique, automatique, traitement du signal (EEATS)

Spécialité : Signal, image, parole, télécoms

Structure de rattachement : UJF

Établissement d'origine : INP Toulouse - ENSEEIHT

Financement(s) : Contrat doctoral ; Erc ; Sans financement

Date d'entrée en thèse : 01/10/2014

Date de soutenance : 04/04/2018

Composition du jury :
Inbar FIJALKOW, Rapportrice, ENSEA, Université Cergy-Pontoise
Jean-François BERCHER, Rapporteur, ESIEE, Université Paris-Est
Guillaume GINOLHAC, Examinateur, Polytech Annecy-Chambéry
Pierre BORGNAT, Examinateur, CNRS, ENS, Lyon
Christian JUTTEN, Directeur de thèse, Université Grenoble Alpes, GIPSA-lab
Pierre-Olivier AMBLARD, Co-Directeur de thèse, CNRS, GIPSA-lab
Olivier MICHEL, Co-Directeur de thèse, Grenoble INP, GIPSA-lab

Résumé : Bien que le traitement conjoint des mesures multimodales soit supposé conduire à de meilleures performances que celles obtenues en exploitant une seule modalité ou plusieurs modalités indépendamment, il existe des exemples en littérature qui prouvent que c'est pas toujours vrai. Dans cette thèse, nous analysons rigoureusement, en termes d'information mutuelle et d'erreur d'estimation, les différentes situations de l'analyse multimodale afin de déterminer les conditions conduisant à des performances optimales.
Dans la première partie, nous considérons le cas simple de deux ou trois modalités, chacune étant associée à la mesure bruitée d'un signal, avec des liens entre modalités matérialisés par les corrélations entre les parties utiles du signal et par les corrélations les bruits. Nous montrons comment les performances obtenues sont améliorées avec l'exploitation des liens entre les modalités. Dans la seconde partie, nous étudions l'impact sur les performances d'erreurs sur les liens entre modalités. Nous montrons que ces fausses hypothèses dégradent les performances, qui peuvent alors devenir inférieure à celles atteintes avec une seule modalité. Dans le cas général, nous modélisons les multiples modalités comme un canal gaussien bruité. Nous étendons alors des résultats de la littérature en considérant l'impact d'erreurs sur les densités de probabilité du signal et du bruit sur l'information transmise par le canal. Nous analysons ensuite cette relation dans la cas d'un modèle simple de deux modalités. Nos résultats montrent en particulier le fait inattendu qu'une double inadéquation du bruit et du signal peuvent parfois se compenser et ainsi conduire à de très bonnes performances.