Optimisation pour l'apprentissage automatique
M2 IASD/MASH, Université Paris Dauphine-PSL, 2024-2025
Objectifs du cours
Présenter le formalisme et les algorithmes d'optimisation utilisés en apprentissage et en sciences des données. On s'intéressera à la fois à l'analyse théorique de ces algorithmes et à leur implémentation.
Ressource principale
Google doc associé au cours
Supports de cours (en anglais)
Séance 1 (Introduction 1/2)
PDF
Séance 2 (Introduction 2/2)
PDF
Séance 3 (Descente de gradient)
PDF
Séance 4 (Note sur le pas en optimisation fortement convexe)
PDF
Séances 5 et 7 (Notes de cours)
PDF
Séance 6 (Différentiation automatique)
PDF Tutoriel
Séance 9 (Méthodes de sous-gradients)
PDF
Séance 10 (Gradient stochastique 1/2)
PDF
Séance 11 (Gradient stochastique 2/2)
PDF
Séance 13 (Régularisation et gradient proximal)
PDF
Séance 14 (Régularisation l1)
[Notebook]
Sources des TPs (en anglais)
Notebook Python sur les bases de la descente de gradient
[Original] [Solutions]
Notebook Python sur aspects avancés de descente de gradient
[Original] [Solutions]
Notebook Python sur les méthodes de gradient stochastique
[Original] [Solutions]
Les documents présents sur cette page sont accessibles sous licence Creative Commons
CC BY-NC 4.0
The English version of this page can be found
here.