Introduction à l'apprentissage par renforcement

publié le 20 Juil 2022 par Hélène HORSIN MOLINARO [1]

Schéma d’interaction entre l’agent et son environnement

[2]

[3]

[4]

[5]

[6]

Fenêtre d'apprentissage avec la piste d’entraînement

[7]

Contenu principal

Description

Introduction à l'apprentissage par renforcement

Cette ressource fait partie du « Dossier Intelligence Artificielle [8] ».

Cette ressource présente une méthode d’apprentissage de l’intelligence artificielle, bien adaptée à des problèmes pour lesquels il est possible de simuler le comportement du système dans son environnement (jeux vidéo, conduite autonome, asservissement de systèmes mécaniques...). Les données étant générées par l'interaction entre le système et son environnement, il n'est pas nécessaire de disposer d'un jeu de données comme pour l'apprentissage supervisé.

Après avoir présenté l’apprentissage par renforcement, la ressource développe en détail 2 algorithmes : le Q-Learning et le Deep Q-learning. S’intéressant au principe de l’apprentissage, il ne demande pas des connaissances en python très importantes.

Les codes commentés sont fournis (zip "Dépôt des fichiers sources") et sont un bon support pour qui voudrait adapter son propre système pour y faire de l’apprentissage par renforcement.

Contenu de la ressource :

Introduction
L’environnement
L’apprentissage
Apprentissage tabulaire Q-Learning
Apprentissage par renforcement profond
Exemple pratique de la voiture autonome
Influence de l’environnement sur l’apprentissage par renforcement profond
Conclusion

Fichiers et liens

Introduction à l’apprentissage par renforcement [9]

Introduction à l'apprentsissage par renforcement : Dépôt des fichiers sources [10]

Contenus associés :

Stabilisation d’un pendule inversé à l’aide d’un apprentissage par renforcement [11]

Interaction entre l’agent et l’environnement

[11]

Cette ressource propose d’illustrer à travers une séance de travaux pratiques, les principes de base de l’apprentissage par renforcement

Ressource pédagogique

Cours / présentation [12]

Travaux pratiques [13]

Introduction aux bibliothèques Gym et Stable-Baselines pour l’apprentissage par renforcement [16]

Comparaison de sept algorithmes d’apprentissage par renforcement sur quatre environnements Gym

[16]

Cette ressource présente les très populaires bibliothèques Gym et Stable-Baselines dédiées à l’apprentissage par renforcement. Il s’appuie sur une séance de travaux pratiques d’asservissement d’un pendule inversé

Ressource pédagogique

Cours / présentation [12]

Apprentissage par renforcement de la conduite d’un véhicule sur AirSim [18]

Conduite sur le circuit de test par un modèle pré-entraîné fourni

[18]

Cette ressource propose une méthode d’intégration d’un simulateur dans la démarche d’apprentissage par renforcement. Cette méthode peut être réutilisée et adaptée à d’autres problèmes d’apprentissage pour lesquels un simulateur est accessible. Cette étude étant particulièrement adaptée à une séance de travaux pratiques, la ressource s’attache à détailler les différents éléments de l’apprentissage par renforcement et leur implémentation, en utilisant des outils logiciels adaptés

Ressource pédagogique

Cours / présentation [12]

Introduction à l’apprentissage profond [21]

Image générée par un réseau de neurones à partir de la phrase « Un astronaute jouant au basketball dans l’espace avec des chats, dessiné comme dans un livre pour enfants » (OpenAI Dall-E 2)

[21]

Cette ressource, la deuxième du « Dossier Intelligence Artificielle », présente l'outil à la source des progrès déterminants de l'IA au 21e siècle : les réseaux de neurones et leur entraînement dit apprentissage profond

Ressource pédagogique

Cours / présentation [12]