Cette UE a pour objectif de présenter les modèles de langue et modèles de fondation (« foundation models ») pour des applications orientées texte telles que traitement automatique du langage et recherche d’information. Les architectures Transformer seront abordées en détail, ainsi que les techniques sous-jacentes au pré-entraînement (« masked language modeling », « causal modeling », …), à l’adaptation (distillation, PEFT, …) et à l’évaluation de ces modèles. Le cours aborde les notions algorithmiques mais également les aspects techniques et expérimentaux. Les travaux pratiques permettent d’acquérir l’expérience nécessaire pour utiliser les modèles de langue comme brique de base de nombreux systèmes d’intelligence artificielle.
Informations
- Période: M2 S1
- Langue: français
- Crédits: 3 ECTS