Descriptif
Intro and not so intro in deep learning for math students given by ONERA researchers.
Ce cours traite de l'apprentissage profond et s'adresse aux étudiant·es de 3e année de l'ENSTA désireux·ses de s'initier à ce domaine. Il articule en continu concepts théoriques, optimisation et pratique Python, pendant des séances de 4 h où cours magistraux et moments de pratique alternent. Le programme partira de la problématique de l'apprentissage artificiel et a pour objectif d'introduire les architectures et méthodes modernes du deep learning, en particulier les Transformers. Pour atteindre cet objectif, nous passerons par un ensemble de concepts clés, notamment le finetuning et l'assemblage de réseaux à partir de blocs préentraînés réutilisables, qui constituent la base des approches modernes que l'on retrouve dans les modèles de fondation. Pour introduire la notion de couche d'attention, nous aborderons le traitement des séquences : des RNN classiques aux Neural Turing Machines, jusqu'aux modèles à espace d'états structurés (S4/Mamba). Les Transformers et leurs variantes seront présentés comme pivot conceptuel unifiant vision et séquence, avec un aperçu de DETR. Pour finir, les modèles génératifs (VAE, GAN, diffusion) illustreront les paradigmes probabilistes et les critères d'évaluation contemporains. La trame pédagogique s'appuie sur l'ouvrage de référence Alice's Adventures in a Differentiable Wonderland pour relier rigueur mathématique et intuition. À l'issue du module, les étudiant·es disposeront d'un bagage théorique et pratique à large spectre leur permettant d'aborder d'autres modules plus spécialisés en apprentissage profond.
effectifs minimal / maximal:
10/45Diplôme(s) concerné(s)
- Inside ENSTA Paris
- Master 2 Mathématiques pour les Sciences du Vivant
- Diplôme d'Ingénieur de l'Ecole Nationale Supérieure de Techniques Avancées
Parcours de rattachement
Format des notes
Numérique sur 20Littérale/grade européenPour les étudiants du diplôme Master 2 Mathématiques pour les Sciences du Vivant
Pour les étudiants du diplôme Inside ENSTA Paris
Le rattrapage est autorisé (Max entre les deux notes écrêté à une note seuil)- le rattrapage est obligatoire si :
- Note initiale < 10
- le rattrapage peut être demandé par l'étudiant si :
- 6 ≤ note initiale < 10
- Crédits ECTS acquis : 2 ECTS
La note obtenue rentre dans le calcul de votre GPA.
L'UE est évaluée par les étudiants.
Pour les étudiants du diplôme Diplôme d'Ingénieur de l'Ecole Nationale Supérieure de Techniques Avancées
Le rattrapage est autorisé (Max entre les deux notes écrêté à une note seuil)- le rattrapage est obligatoire si :
- Note initiale < 6
- le rattrapage peut être demandé par l'étudiant si :
- 6 ≤ note initiale < 10
- Crédits ECTS acquis : 2 ECTS
- Scientifique acquis : 2
Le coefficient de l'UE est : 1
La note obtenue rentre dans le calcul de votre GPA.
L'UE est évaluée par les étudiants.
Programme détaillé
Séance 1 — Bases de l'apprentissage artificielle et réseaux de neurones
Date & heure : Vendredi 26 septembre 2025 — 08 h 45 – 12 h 30
Enseignants : Kevin Helvig, Aurélien Plyer
Dans cette séance, après un petit rappel historique nous poserons ce qu'est un problème d'apprentissage artificielle, nous rappellerons les bases de leurs résolutions et les bonnes pratiques à adopter dans l'analyse des résultats. Nous entrerons ensuite dans la pratique de l'apprentissage artificielle utilisant les réseaux de neurones en construisant progressivement le perceptron puis le perceptron multi-couche. Nous finirons le cours sur le calcul du gradient par rétro-propagation, technique fondamentale pour l'apprentissage profond.
Séance 2 — La profondeur des réseaux de neurones
Date & heure : Vendredi 3 octobre 2025 — 08 h 45 – 12 h 30
Enseignants : Kevin Helvig
Après un rappel des types de couches (linéaire + activation non linéaire, convolution), nous mettrons en place les principes architecturaux qui stabilisent la profondeur (résidualisation, normalisation). Nous montrerons comment réutiliser des blocs préentraînés pour construire rapidement des réseaux performants : gel/dégel sélectif, têtes légères, et protocoles de finetuning. Les architectures phares (auto encodeur, UNet, MLP modernes) serviront de cas d’école pour illustrer modularité, coût et généralisation.
Séance 3 — Réseaux de neurones récurrents
Date & heure : Vendredi 10 octobre 2025 — 08 h 45 – 12 h 30
Enseignants : Kevin Helvig, Aurélien Plyer
Nous introduirons les RNN puis LSTM/GRU en insistant sur le flux de gradient, la mémoire et le teacher forcing. Nous aborderons les Neural Turing Machines (encodeur/décodeur) pour illustrer l’accès mémoire différentiable et les capacités algorithmiques, avant d’esquisser le rôle de l’attention. Enfin, nous donnerons les clés pour comprendre S4/Mamba : formulation par modèles à espace d’états (SSM), portée mémoire longue via noyaux de convolution, et sélection/gating dépendant des données pour une exécution efficace.
Séance 4 — Les Transformers
Date & heure : Vendredi 17 octobre 2025 — 08 h 45 – 12 h 30
Enseignants : Kevin Helvig, Aurélien Plyer
En repartant de la couche d’attention (aussi interprétable comme une convolution à large support), nous présentons la selfattention, l’architecture encodeur/décodeur et le Transformer « vanilla ». Nous discuterons les variantes courantes (GPT causal, BERT masqué, prenorm, masquage) et l’encodage positionnel, ainsi que le rôle des embeddings ou représentation latente. l’objectif étant de relier traitement de séquences et vision en clarifiant les choix d’implémentation nous conclurons sur la présentation de DETR.
Séance 5 — Réseaux de neurones génératifs
Date & heure : Vendredi 24 octobre 2025 — 08 h 45 – 12 h 30
Enseignants : Kevin Helvig, Aurélien Plyer
Du simple auto-encodeur à l'auto-encodeur variationnel, nous poserons l’ELBO et la reparamétrisation pour un apprentissage probabiliste. Nous présenterons les réseaux de neurones génératif par méthodes adversaire (GAN) (jeu minimax, stabilité, mode collapse) et situeront leurs forces/faiblesses face aux VAE. Nous conclurons avec les modèles à diffusion et l’architecture Stable Diffusion (VAE + diffusion), en discutant des critères pratiques d’évaluation.
Examen final
Date & heure : Vendredi 7 novembre 2025 — 08 h 45 – 12 h 30
Enseignants : Kevin Helvig, Aurélien Plyer
L’évaluation finale comporte deux volets : une épreuve sur table (≈ 2 h) de restitution raisonnée des concepts, puis un TP « flash » en petits groupes (≈ 1 h) sur un miniprojet Kaggle guidé. Les étudiant·es analyseront un problème, justifieront leurs choix et présenteront en 5 minutes leurs résultats et pistes d’amélioration à partir de notebooks repérés en ligne. Les critères porteront sur la rigueur des explications, la clarté de la communication et le sens critique face aux résultats obtenus.