Liste des cours du M2

Cette UE a pour objectif de présenter les modèles de langue et modèles de fondation (« foundation models ») pour des applications orientées texte telles que traitement automatique du langage et recherche d’information. Les architectures Transformer seront abordées en détail, ainsi que les techniques sous-jacentes au pré-entraînement (« masked language modeling », « causal modeling », …), à l’adaptation (distillation, PEFT, …) et à l’évaluation de ces modèles. Le cours aborde les notions algorithmiques mais également les aspects techniques et expérimentaux. Les travaux pratiques permettent d’acquérir l’expérience nécessaire pour utiliser les modèles de langue comme brique de base de nombreux systèmes d’intelligence artificielle.

Cette UE introduit des concepts récents en deep learning et a vocation à s’adapter aux avancées du domaine. En particulier, le cours présente en détail - du point de vue théorique et pratique les modèles génératifs récents (modèles variationnels, adverses, de flot normalisant et de diffusion, …). Il aborde également le paradigme AI4Science : quelle place pour le deep learning dans la modélisation scientifique avec des exemples issus du « Physics-informed Machine Learning. Les travaux pratiques permettent de découvrir les applications en lien avec ces thématiques dans différents domaines scientifiques.

Cette UE présente l’ensemble des concepts fondamentaux de l’apprentissage par renforcement ainsi que les principaux algorithmes d’apprentissage par renforcement tabulaire (programmation dynamique, Q-learning, SARSA, actor-critic) et de Deep Reinforcement Learning (DQN, DDPG, TRPO, PPO, A2C, SAC, TQC …). Des notions proches comme les méthodes de Direct Policy Search et l’apprentissage par imitation sont aussi abordées. Le cours est centré sur les algorithmes et les relations qu’ils entretiennent. Les travaux pratiques sont l’occasion de coder les algorithmes en s’appuyant sur une librairie dédiée, tandis que des mini-projets permettent d’aborder les questions méthodologiques que pose leur mise en œuvre. Enfin, un projet plus conséquent permet d’évaluer la maîtrise globale acquise par les étudiants.

Ce cours s’intéresse au domaine de l’éthique computationnelle ainsi qu’à l’usage de l’IA pour modéliser des raisonnements légaux (juris-informatics), présentant des approches qui visent à garantir la conformité éthique et légale de systèmes intégrant des IAs. L’accent est mis sur les approches formelles, permettant de modéliser ou d’apprendre des normes de conduite à travers notamment l’apprentissage symbolique relationnel (ou Programmation Logique Inductive), aussi très utilisé pour la découverte de connaissance scientifique, en particulier en bioinformatique. Ce cours abordera aussi les mécanismes de raisonnement causaux et leur usages pour formaliser des notions de responsabilité, avant de proposer une initiation à ProLeg, extension du langage de programmation logique prolog adapté aux raisonnements légaux. Ce cours pourra être donné en anglais s’il y a des étudiants non-francophones.

Le cours étudie les défis et les solutions pour la modélisation et la gestion de graphes de données et de connaissances : modèles et langages de graphes de connaissances (RDF, graphes de propriétés), enrichissement de requêtes et de données (extraction de connaissances, interrogation sémantique de d onnées, fusion d’information), qualité de données (données incomplètes, déduplication d’informations). Les concepts présentés en cours sont mis en œuvre dans des travaux pratiques.

L’un des défis principaux de la recherche en apprentissage actuellement est la définition d’IA de confiance, concept qui recouvre de nombreuses dimensions parmi lesquelles on peut citer : l’IA explicable (eXplainable AI) ; interprétable, équitable ou responsable. Cette UE traite de ces questions et aborde, en particulier, les points suivants : définitions d’explications, critères d’interprétabilité ; interprétabilité par design : apprentissage interprétable de modèles interprétables ; interprétabilité post-hoc : LIME, SHAP et autres scores d’importance d’attributs, génération d’exemples contrefactuels ; approches logiques d’interprétabilité : abduction, causalité, logiques graduelles ; aspects éthiques, éthique computationnelle, fairness.

Ce cours aborde les problèmes et les solutions liés au “big data” avec comme objectif d’aborder tous les aspects permettant le développement d’un pipeline de données efficace allant de la préparation et la représentation des données jusqu’à leur analyse. Le cours aborde les deux axes suivants. 1) Gestion des données : paradigmes de programmation parallèle avec des données large échelle (MapReduce, Pregel), optimisation des data pipelines, qualité des données, stockage optimisé des données massives. 2) Analyse des données : analyse de données complexes (graphes de données et de connaissances, texte), in-database ML, bases de données vectorielles, integration de données (datalake). Les travaux pratiques permettent d’aborder les langages et les technologies suivantes : SQL, MapReduce, Pregel, Cypher, Spark, Delta, MLLib, GraphX.

Le Deep Learning est actuellement au cœur du Machine Learning et plus généralement de l’IA. L’objectif de l’UE est de former des spécialistes du Deep Learning aptes à s’adapter aux évolutions constantes du domaine. Après un rapide rappel des concepts de base du Deep Learning (architectures usuelles, rétro-propagation, paradigmes d’apprentissage), l’UE se focalise sur les concepts avancés : graphe de calculs, auto-différentiation, architectures avancées (attention globale, self-attention, Graph Neural Networks, Transformers). Les travaux pratiques permettent de prendre en main une plateforme de Deep Learning telle que PyTorch et d’aborder les concepts vu en cours d’un point de vue applicatif et orienté tâche.

L’objectif de cette UE est d’acquérir une méthodologie en Data Science et Machine Learning, que ce soit d’un point de vue expérimental ou selon une perspective de contribution dans le domaine. Le cours est séparé en trois grandes parties. La première partie consiste en la mise en œuvre d’un projet Machine Learning recouvrant le chargement, l’exploration et le pré-traitements des données, la formalisation de la tâche, le choix des modèles et des méthodes, ainsi que la visualisation de données et la définition d’un protocole de test et d’évaluation de performances. Une deuxième partie est consacrée à l’étude de domaines scientifiques à travers la lecture, la compréhension, la synthèse de la littérature, la proposition de modèles et de protocole d’évaluation. Un aspect important autour du positionnement, des hypothèses de travail et des motivations est abordé. La troisième partie s’intéresse à la mise en production des algorithmes avec l’apprentissage des techniques de MLOps et plus particulièrement du système Docker.