Les transformeurs et l’IA générative, sous le capot de ChatGPT

Depuis 2022, les méthodes d’IA générative ont pris une part non négligeable de notre quotidien, aussi bien dans le cadre personnel que professionnel ou encore scolaire. Bien souvent l’utilisateur ne sait pas ce qu’il se trame entre son prompt (instruction) et la réponse du modèle. Or connaître dans les grandes lignes le fonctionnement ce type de technologie est crucial tant on leur délègue des tâches de plus en plus critiques.

Cette ressource doit permettre d’enlever le voile magique qui tourne autour des technologies IA : il est important de se souvenir que n’importe quel modèle est juste une grosse calculette très rapide. L’information prend la forme de nombre et est traitée par le modèle en lui appliquant des transformations mathématiques basiques composées majoritairement d’additions et de multiplications. La complexité émerge avec la taille du modèle, certains ayant des centaines de milliards de paramètres. La même architecture avec seulement une poignée de paramètres serait comparable à une formule dans un tableur, capable de calculer une opération simple comme une moyenne ou une somme. Rien de magique, seulement beaucoup d’opérations simples qui donnent des résultats bluffant à utiliser en connaissance de cause.

Avec l’objectif de désopacifier le monde de l’IA actuel, cette ressource présente le fonctionnement de modèles primitifs avec les arbres de décisions, jusqu’aux méthodes avancées et très actuelles, les transformeurs.

Contenu de la ressource :

1. Introduction à l’IA et démystification
   1. Qu’est-ce que l’IA ?
   2. Arbres de décisions
   3. Réseaux de neurones
   4. Utilisations
   5. IA générative
2. Méthodes d’apprentissage
   1. Supervisé
   2. Non-supervisé
   3. Par renforcement
3. Modèles de langage
   1. Introduction
   2. Fonctionnement général
   3. Exemples
   4. Entraînement
4. Transformers, ou la brique élémentaire d’un LLM
   1. Présentation
   2. Word embedding
   3. Attention
   4. Transformeurs
5. Conclusion