Word Embedding - Les mots et le Machine Learning

Cette ressource fait partie du « Dossier Intelligence Artificielle [9] ».

Il existe de nombreux moyen de représenter les données. Le Machine Learning s’intéresse notamment à exploiter et analyser toutes les données possibles. Les données tabulaires sont les plus simples à représenter et à analyser informatiquement. Les images peuvent être traitées presque directement par réseaux de neurones. Certaines données sont cependant plus difficiles à traiter : les données temporelles ou le texte par exemple. Les données textuelles ont pourtant une importance majeure car elles sont disponibles en très grandes quantités et sont une manière très compacte de transmettre de l’information, permettant de créer des bases de données beaucoup plus denses. Nous avons également accès à des données historiques beaucoup plus anciennes et variées que pour d’autres médias comme la vidéo.

Cette ressource introduit des méthodes de représentation des mots dans l’informatique au travers d’un premier exemple simple utilisant l’occurrence des mots dans un corpus de textes puis d’un exemple utilisant Word2Vec qui regroupe un ensemble de réseaux de neurones pour l’apprentissage de vectorisation des mots afin d’opérer sur ceux-ci. Une attention particulière sera faite quant aux biais introduits par rapport aux données d’apprentissage.

Contenu de la ressource :

1. Introduction
2. Différentes méthodes
3. Première approche
   1. Création du dictionnaire
   2. Calcul de l’histogramme
   3. Bag-of-words
4. Word2Vec
   1. Entrainement d’un modèle simple
   2. Utilisation d’un modèle pré-entrainé
5. Conclusion