Fusions multimodales pour la recherche d’humains par un robot mobile

Directeur de thèse :     Denis PELLERIN

École doctorale : Mathématiques, sciences et technologies de l'information, informatique (mstii)

Spécialité : Informatique

Structure de rattachement : UJF

Établissement d'origine : INP-PHELMA

Financement(s) : Contrat doctoral

Date d'entrée en thèse : 01/10/2013

Date de soutenance : 19/05/2017

Composition du jury :
TRASSOUDAINE Laurent, Rapporteur, Professeur, Université Clermont Auvergne
BERGE-CHERFAOUI Véronique, Rapporteur, Maître de conférences, Université de Compiègne
COQUIN Didier, Examinateur, Professeur, Université Savoie Mont Blanc
LACROIX Simon, Examinateur, Directeur de recherche CNRS, LAAS, Toulouse
AYCARD Olivier, Directeur de thèse, Maître de conférences, Université Grenoble-Alpes
PELLERIN Denis, Co-directeur de thèse, Professeur, Université Grenoble-Alples

Résumé : Dans ce travail, nous considérons le cas d'un robot mobile d'intérieur dont l'objectif est de détecter les humains présents dans l'environnement et de se positionner physiquement par rapport à eux, dans le but de mieux percevoir leur état. Pour cela, le robot dispose de différents capteurs (capteur RGB- Depth, microphones, télémètre laser). Des contributions de natures variées ont été effectuées : - Classification d'événements sonores en environnement intérieur : La méthode de classification proposée repose sur une taxonomie de petite taille et est destinée à différencier les marqueurs de la présence humaine. L'utilisation de fonctions de croyance permet de prendre en compte l'incertitude de la classification, et de labelliser un son comme « inconnu ». - Fusion audiovisuelle pour la détection de locuteurs successifs dans une conversation : Une méthode de détection de locuteurs est proposée dans le cas du robot immobile, placé comme témoin d'une interaction sociale. Elle repose sur une fusion audiovisuelle probabiliste. Cette méthode a été testée sur des vidéos acquises par le robot. - Navigation dédiée à la détection d'humains à l'aide d'une fusion multimodale : A partir d'informations provenant des capteurs hétérogènes, le robot cherche des humains de manière autonome dans un environnement connu. Les informations sont fusionnées au sein d'une grille de perception multimodale. Cette grille permet au robot de prendre une décision quant à son prochain déplacement, à l'aide d'un automate reposant sur des niveaux de priorité des informations perçues. Ce système a été implémenté et testé sur un robot Q.bo. - Modélisation crédibiliste de l'environnement pour la navigation : La construction de la grille de perception multimodale est améliorée à l'aide d'un mécanisme de fusion reposant sur la théorie des fonctions de croyance. Ceci permet au robot de maintenir une grille « évidentielle » dans le temps comprenant l'information perçue et son incertitude. Ce système a d'abord été évalué en simulation, puis sur le robot Q.bo.