Normalisation et lemmatisation d'une question ouverte

Dominique Labbé (1)

1 CERAT - Centre de recherche sur l'administration, la ville et le territoire

La normalisation consiste à réduire les majuscules des noms communs, à uniformiser les orthographes multiples des noms propres, des dates et des chiffres ou de certains mots communs, à déployer les abréviations, etc. La lemmatisation associe à ces graphies normalisées un lemme correspondant à l'entrée du dictionnaire et une catégorie grammaticale. Ces tâches sont confiées à un automate dont l'efficacité est testée sur les réponses à une question ouverte dans une enquête sur les causes de divorce. Par rapport aux formes graphiques brutes, les données lemmatisées réduisent le nombre de mots différents et permettent de retrouver les principaux thèmes. Elles mettent également à jour certaines déformations produites par la manière dont les enquêteurs retranscrivent les réponses.

Mots clés: Question ouverte; sondage; standardisation; lemmatisation; causes de divorce

Domaines: Science politique; Méthodologie [stat.ME]

Dominique Labbé. Normalisation et lemmatisation d'une question ouverte : Les femmes face au changement familial. Journal de la Société Française de Statistique, 2001, 4 (142), pp.37-57. ⟨halshs-00799938⟩