Cette UE a pour objectif de présenter les modèles de langue et modèles de fondation (« foundation models ») pour des applications orientées texte telles que traitement automatique du langage et recherche d’information. Les architectures Transformer seront abordées en détail, ainsi que les techniques sous-jacentes au pré-entraînement (« masked language modeling », « causal modeling », …), à l’adaptation (distillation, PEFT, …) et à l’évaluation de ces modèles. Le cours aborde les notions algorithmiques mais également les aspects techniques et expérimentaux. Les travaux pratiques permettent d’acquérir l’expérience nécessaire pour utiliser les modèles de langue comme brique de base de nombreux systèmes d’intelligence artificielle.
Équipe pédagogique
- Benjamin Piwowarski (cours)
- Mohamed Salim Aissi (TP)
- Nour Bouchouchi (TP)
Prérequis
- La connaissance des principes fondamentaux de l’apprentissage statistique est requise.
- Une très bonne connaissance de Python est requise : le cours comprend de nombreux exercices pratiques utilisant les principales bibliothèques de Deep Learning (PyTorch, pandas) et NLP (Hugging Face). A noter que le suivi des cours du module DEEP-L est obligatoire pour suivre ce module.
Évaluation
- 25 % QCM (avant chaque TD/TP) sur le dernier cours
- 25 % d’évaluation (2h TP individuel sur ordinateur)
- 50 % Examen final (50 %) (1h30) : questions sur un article scientifique sur les LLMs (fourni une semaine à l’avance) et questions de cours directes
Informations
- Période: M2 S1
- Langue: français
- Crédits: 3 ECTS
- Code UE: UM5IN874