Un exemple d'ambiguïté du geste co-verbal en situation de communication homme-machine et ses conséquences sur les analyses sémantiques et pragmatiques

Frédéric Landragin (1)

1 LaTTice - Langues, textes, traitement informatique, cognition

Dans le but de mieux cibler la réalisation de systèmes de dialogue homme-machine, une des étapes consiste à mettre des sujets en situation simulée de communication et à enregistrer leur comportement, à l'aide d'une caméra vidéo et/ou en s'intéressant aux traces captées par les dispositifs d'interaction (microphone, écran tactile, souris). Lorsque le dialogue met en jeu une scène visuelle et autorise les gestes 2D effectués sur écran tactile, on observe essentiellement des gestes co-verbaux déictiques, c'est-à-dire que l'utilisateur pointe les objets et les lieux qu'il mentionne verbalement, suivant en cela le classique paradigme du « mets ça ici ». Nous analysons dans cette communication les étapes du processus de compréhension automatique de l'énoncé oral et du geste déictique, en particulier quand celui-ci prend une forme qui va au-delà du simple pointage. Nous illustrons ainsi la complexité des traitements informatiques même pour un exemple aussi simple que « mets ça ici ».

Mots clés: Geste co-verbal; fusion multimodale; sémantique verbale; référence aux objets; ostension

Domaines: Linguistique; Linguistique; Informatique; Interface homme-machine [cs.HC]

Frédéric Landragin. Un exemple d'ambiguïté du geste co-verbal en situation de communication homme-machine et ses conséquences sur les analyses sémantiques et pragmatiques. Apr 2007, pp.41-42. ⟨halshs-00139785⟩