Vous êtes ici : GIPSA-lab > Recherche > Projets
Chargement
  

RoboTrio - Recueil, modélisation et évaluation d interactions sociales entre un robot et des partenaires humains dans une tâche d’interview et de remplissage de formulaire numérique

Coordonnateur du projet : Frédéric ELISEI

Projet réalisé grace au soutien de : CNRS - PEPS

Date du projet : 20/02/2018

Durée : 22 mois


Objet

    Recueil, modélisation et évaluation d’interactions sociales entre un robot et des partenaires humains dans une tâche d’interview et de remplissage de formulaire numérique.

    Le robot Nina, et un formulaire en cours de saisie

     

Méthodologie

    Ce projet est ancré sur la conception et l’étude d’une interaction sociale entre un robot « intervieweur » et deux interlocuteurs humains, dans des tâches de collecte et partage d’informations (remplissage de formulaire par le robot, obtention de renseignements pour les humains).

    Il exploitera une plateforme existante de télé-opération immersive d’un robot, pour collecter des données d’interactions entre robot et interlocuteurs (étape 1) : parole, regards, tours de parole, backchannels, avec un robot humanoïde complexe (lèvres, mâchoire, tête et regard articulés). Ce corpus original permettra d’étudier et modéliser ce type d’interactions dans les domaines de prédilection respectifs : parole et langage au LPL, signaux co-verbaux au GIPSA, aspects physiologiques/cognitifs à l’INT. Coté synthèse (étape 2), l’accent sera mis sur les signaux co-verbaux : regard du robot (ou d’agent conversationnel) et direction de la tête. L’évaluation (étape 3) comparera 2 paradigmes de validation : jugement vidéo en ligne et signaux électrodermaux.

     

Partenaires

  • INT, Marseille : Thierry Chaminade
  • LPL, Aix : Laurent Prévot & Noël Nguyen
  • GIPSA-lab, Grenoble : Frédéric Elisei & Gérard Bailly

 

Vidéos

  • Sans le robot, illustration du scénario d'interview : l'animateur/arbitre humain (face caméra) orchestre les questions face aux deux interlocuteurs, les aide, et recueille les réponses : pretest_20180620_00009_short.avi
  • Avec le robot : collecte des données d'interaction (3 pistes audio, 2 canaux vidéo, 1 vidéo stéréo du point de vue du pilote dans la tête du robot avec réalité augmentée et capture du point de regard...) en mode téléopération immersive :
    montage_09_kermesse.mp4


GIPSA-lab, 11 rue des Mathématiques, Grenoble Campus BP46, F-38402 SAINT MARTIN D'HERES CEDEX - 33 (0)4 76 82 71 31