Exploration des relations sémantiques sous-jacentes aux plongements contextuels de mots - Conférences TALN RECITAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2021

Exploration des relations sémantiques sous-jacentes aux plongements contextuels de mots

Résumé

De nombreuses études ont récemment été réalisées pour étudier les propriétés des modèles de langue contextuels mais, de manière surprenante, seules quelques-unes d’entre elles se concentrent sur les propriétés de ces modèles en termes de similarité sémantique. Dans cet article, nous proposons d’abord, en nous appuyant sur le principe distributionnel de substituabilité, une méthode permettant d’utiliser ces modèles pour ordonner un ensemble de mots cibles en fonction de leur similarité avec un mot source. Nous appliquons d’abord cette méthode pour l’anglais comme mécanisme de sondage pour explorer les propriétés sémantiques des modèles ELMo et BERT du point de vue des relations paradigmatiques de WordNet et dans le contexte contrôlé du corpus SemCor. Dans un second temps, nous la transposons à l’étude des différences entre ces modèles contextuels et un modèle de plongement statique.
Fichier principal
Vignette du fichier
145.pdf (346.67 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03265874 , version 1 (23-06-2021)

Identifiants

  • HAL Id : hal-03265874 , version 1

Citer

Olivier Ferret. Exploration des relations sémantiques sous-jacentes aux plongements contextuels de mots. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.26-36. ⟨hal-03265874⟩
140 Consultations
80 Téléchargements

Partager

Gmail Facebook X LinkedIn More