Apprentissage par renforcement et transfert simulation vers réalité pour la conduite de voitures autonomes

Cette ressource fait partie du N°112 [7] de La Revue 3EI de mai 2024.

Un simulateur peu gourmand en ressource et open source, permet à chacun d’expérimenter l’apprentissage par renforcement profond sur un exemple réaliste, même sans disposer de voiture pour le passage à la réalité. Une voiture 1/10ème instrumentée, d’un coût modeste, permet à travers cet exercice d’appréhender le transfert simulation vers la réalité et les difficultés associées pour une mise en œuvre concrète et matérielle de l’intelligence artificielle. La voiture et le simulateur sont présentés en détails dans les ressources « Course Voitures Autonomes Paris Saclay (CoVAPSy) : Travaux pratiques autour des voitures autonomes [8] », « CoVaPSy : Premiers programmes python sur la voiture réelle [9] » et « CoVaPSy : Mise en œuvre du Simulateur Webots [10] ».

Cette ressource présente l’apprentissage par renforcement de la conduite sur circuit d’une voiture autonome 1/10^ème, en simulation, puis le transfert du réseau de neurones du simulateur dans la voiture réelle, en utilisant Webots, gymnasium et Stable-Baselines3.

Contenu de la ressource :

1. Introduction
2. Présentation des 4 étapes menant à une conduite autonome
3. Apprentissage par renforcement sur simulateur
4. Exemples d’apprentissage
5. Passage à la réalité
6. Conclusion

Cette ressource est accompagnée de deux annexes : Simulateur_CoVAPSy_webots2023b_RL_essai_20240116.zip et ProgrammeVoitureReelle_V2.py, et est complétée et illustrée par la vidéo « Apprentissage par renforcement pour la conduite de voiture autonome [11] ».