Une théorie scientifique du deep learning émerge selon une étude
Original : There Will Be a Scientific Theory of Deep Learning [R]
Pourquoi c'est important
Première tentative d'unification théorique du deep learning via une approche mécaniste
Des chercheurs identifient cinq domaines de recherche qui convergent vers une théorie unifiée du deep learning, appelée "mécanique de l'apprentissage", basée sur des prédictions quantitatives vérifiables.
Un groupe de 14 chercheurs présente dans un article arXiv une vision émergente d'une théorie scientifique du deep learning. Ils identifient cinq domaines convergents : les environnements idéalisés résolubles, les limites tractables révélant des phénomènes d'apprentissage, les lois mathématiques simples capturant des observables macroscopiques, les théories d'hyperparamètres et les comportements universels. Cette approche, baptisée "mécanique de l'apprentissage", se concentre sur la dynamique du processus d'entraînement et les statistiques agrégées. Les auteurs anticipent une relation symbiotique avec l'interprétabilité mécanistique et répondent aux critiques sur l'impossibilité d'une théorie fondamentale.