Cette UE présente l’ensemble des concepts fondamentaux de l’apprentissage par renforcement ainsi que les principaux algorithmes d’apprentissage par renforcement tabulaire (programmation dynamique, Q-learning, SARSA, actor-critic) et de Deep Reinforcement Learning (DQN, DDPG, TRPO, PPO, A2C, SAC, TQC …). Des notions proches comme les méthodes de Direct Policy Search et l’apprentissage par imitation sont aussi abordées. Le cours est centré sur les algorithmes et les relations qu’ils entretiennent. Les travaux pratiques sont l’occasion de coder les algorithmes en s’appuyant sur une librairie dédiée, tandis que des mini-projets permettent d’aborder les questions méthodologiques que pose leur mise en œuvre. Enfin, un projet plus conséquent permet d’évaluer la maîtrise globale acquise par les étudiants.
Équipe pédagogique
- Olivier Sigaud
- Benjamin Piwowarski
- Zakariae El Asri
Prérequis
- Bases mathématiques sur l’apprentissage statistique,
- Programmation python, pytorch (aspects vus en parallèle dans l’UE DEEP-L).
Évaluation
L’UE est notée en contrôle continu :
- 2 mini-projets (50% de la note)
- 1 projet d’envergure (50% de la note)
Informations
- Période: M2 S1
- Langue: français
- Crédits: 3 ECTS
- Code UE: UM5IN872