Les bases neurophysiologiques de la perception audiovisuelle syllabique : étude simultanée en imagerie par résonance magnétique fonctionnelle et en électroencéphalographie (IRMf/EEG)

Cyril Dubois (1)

1 LILPA - Linguistique, Langues et Parole

If, as Stetson said (1951), speech is rather a set of movements made audible than a set of sounds produced by movements, what about the visible aspects of these movements ? In a noisy environment, speech intelligibility is improved by perceiving a speaker's face (Sumby & Pollack, 1954), a dimension which seemingly involves a facilitation effect in accessing the mental lexicon. Massaro (1990) assumes that the influence of one source of information is greatest when the other source is neutral or ambiguous. However, the McGurk effect suggests that audible and visible sources have an equal impact on the speech perception system (McGurk & MacDonald, 1976). The result is indeed a perturbation, in terms of misperception of the “target”. Several studies claim that the McGurk effect operates on the lexical level as well as on word or phrasal levels. Taken together, previous studies indicate that the bimodal integration of the visual source is early and prelexical, moreover it could be influenced by a top-down effect. We conducted a study with simultaneous recordings in fMRI/EEG, in a discrimination task, comprising CV syllables, in two perception modalities: audiovisual and audio only, in order to investigate the neural substrates of audiovisual syllabic perception. The discrimination task was based on syllable pairs, contrasting three features: vowel lip rounding, consonant place of articulation and voicing.

Si, comme le disait Stetson (1951), la parole est davantage un ensemble de mouvements rendus audibles qu'un ensemble de sons produit par des mouvements, qu'en est-il de la dimension visible de ces mouvements ? L'intelligibilité de la parole est améliorée par l'apport des visèmes, dans un environnement bruyant (Sumby & Pollack, 1954), ce qui nous indique un effet facilitateur sur l'accès au lexique mental. Selon Massaro (1990), l'influence d'une source est maximale si une autre est ambiguë. Pourtant dans l'effet « McGurk » (McGurk & MacDonald, 1976), les deux sources, audible et visible sont équipotentes. Le résultat est bien une perturbation, puisque la « cible » a été mal interprétée. Certains chercheurs ont montré que l'effet McGurk pouvait avoir lieu sur des mots et même sur des phrases. Cela corrobore l'idée que l'intégration de la source visuelle est précoce et prélexicale, mais aussi sujette à l'influence d'effet top-down. Nous avons mené une étude anatomo-fonctionnelle simultanée en IRMf/EEG, en utilisant une tâche de discrimination à choix forcé, portant sur des syllabes CV, selon deux modalités perceptives : audiovisuelle animée et audiovisuelle fixe, afin de pouvoir observer les bases neurophysiologiques de la perception audiovisuelle syllabique. La tâche de discrimination portait sur des paires syllabiques s'opposant sur les trois traits suivants : la labialité vocalique, le lieu d'articulation et le voisement consonantiques.

Mots clés: Neurophysiology; neurophonetics; speech; audiovisual perception; syllables; fMRI; rounding; place of articulation; voicing

Mots clés: Neurophysiologie; neurophonétique; parole; perception audiovisuelle; visèmes; syllabes; IRMf; EEG; labialité; lieu d'articulation; voisement

Domaines: Neurosciences [q-bio.NC]; Linguistique

Cyril Dubois. Les bases neurophysiologiques de la perception audiovisuelle syllabique : étude simultanée en imagerie par résonance magnétique fonctionnelle et en électroencéphalographie (IRMf/EEG). Neurosciences [q-bio.NC]. Université de Strasbourg, 2009. Français. ⟨NNT : ⟩. ⟨tel-00462461⟩