arXiv:2510.27153v1 Announce Type: new 
Abstract: Finding lower and better-generalizing minima is crucial for deep learning. However, most existing optimizers stop searching the parameter space once they reach a local minimum. Given the complex geometric properties of the loss landscape, it is difficult to guarantee that such a point is the lowest or provides the best generalization. To address this, we propose an adaptor "E" for gradient-based optimizers. The adapted optimizer tends to continue exploring along landscape valleys (areas with low and nearly identical losses) in order to search for potentially better local minima even after reaching a local minimum. This approach increases the likelihood of finding a lower and flatter local minimum, which is often associated with better generalization. We also provide a proof of convergence for the adapted optimizers in both convex and non-convex scenarios for completeness. Finally, we demonstrate their effectiveness in an important but notoriously difficult training scenario, large-batch training, where Lamb is the benchmark optimizer. Our testing results show that the adapted Lamb, ALTO, increases the test accuracy (generalization) of the current state-of-the-art optimizer by an average of 2.5% across a variety of large-batch training tasks. This work potentially opens a new research direction in the design of optimization algorithms.

تقدم دراسة جديدة محولًا مبتكرًا 'E' للمحسنات المعتمدة على التدرج في التعلم العميق، بهدف تحسين البحث عن أدنى نقاط وأفضل تعميم. هذا مهم لأن المحسنات التقليدية غالبًا ما تتوقف عن البحث عند الوصول إلى الحد الأدنى المحلي، والذي قد لا يكون الحل الأفضل. من خلال معالجة الخصائص الهندسية المعقدة لمنظر الخسارة، يمكن أن تؤدي هذه الأبحاث إلى تحسين أداء نماذج التعلم العميق، مما يجعلها أكثر فعالية وموثوقية.

Un nuevo estudio presenta un adaptador innovador 'E' para optimizadores basados en gradientes en el aprendizaje profundo, con el objetivo de mejorar la búsqueda de mínimos más bajos y que generalicen mejor. Esto es significativo porque los optimizadores tradicionales a menudo detienen su búsqueda al alcanzar un mínimo local, que puede no ser la mejor solución. Al abordar las complejas propiedades geométricas del paisaje de pérdida, esta investigación podría conducir a un mejor rendimiento en los modelos de aprendizaje profundo, haciéndolos más efectivos y confiables.

Une nouvelle étude présente un adaptateur innovant 'E' pour les optimisateurs basés sur le gradient dans l'apprentissage profond, visant à améliorer la recherche de minima plus bas et mieux généralisants. Cela est important car les optimisateurs traditionnels arrêtent souvent leur recherche lorsqu'ils atteignent un minimum local, qui peut ne pas être la meilleure solution. En abordant les propriétés géométriques complexes du paysage de perte, cette recherche pourrait conduire à une meilleure performance des modèles d'apprentissage profond, les rendant plus efficaces et fiables.

A new study introduces an innovative adaptor 'E' for gradient-based optimizers in deep learning, aiming to enhance the search for lower and better-generalizing minima. This is significant because traditional optimizers often halt their search upon reaching a local minimum, which may not be the best solution. By addressing the complex geometric properties of the loss landscape, this research could lead to improved performance in deep learning models, making them more effective and reliable.

Exploring Landscapes for Better Minima along Valleys

arXiv:2512.06297v1 Announce Type: cross 
Abstract: Modern neural networks exhibit a striking property: basins of attraction in the loss landscape are often connected by low-loss paths, yet optimization dynamics generally remain confined to a single convex basin and rarely explore intermediate points. We resolve this paradox by identifying entropic barriers arising from the interplay between curvature variations along these paths and noise in optimization dynamics. Empirically, we find that curvature systematically rises away from minima, producing effective forces that bias noisy dynamics back toward the endpoints - even when the loss remains nearly flat. These barriers persist longer than energetic barriers, shaping the late-time localization of solutions in parameter space. Our results highlight the role of curvature-induced entropic forces in governing both connectivity and confinement in deep learning landscapes.

أظهرت الأبحاث الحديثة وجود تناقض في الشبكات العصبية الحديثة، حيث تميل ديناميات التحسين إلى البقاء محصورة ضمن أحواض محدبة واحدة في مشهد الخسارة، على الرغم من وجود مسارات منخفضة الخسارة تربط بين هذه الأحواض. تسلط هذه الدراسة الضوء على دور الحواجز الانتروبية، التي تنشأ من تباينات الانحناء والضوضاء في ديناميات التحسين، مما يؤثر على استكشاف فضاء المعلمات.

Investigaciones recientes han identificado una paradoja en las redes neuronales modernas, donde las dinámicas de optimización tienden a permanecer confinadas dentro de cuencas convexas únicas en el paisaje de pérdida, a pesar de la presencia de caminos de baja pérdida que conectan estas cuencas. Este estudio destaca el papel de las barreras entrópicas, que surgen de las variaciones de curvatura y el ruido en las dinámicas de optimización, influyendo en la exploración del espacio de parámetros.

Des recherches récentes ont identifié un paradoxe dans les réseaux de neurones modernes, où les dynamiques d'optimisation tendent à rester confinées dans des bassins convexes uniques dans le paysage de perte, malgré la présence de chemins à faible perte reliant ces bassins. Cette étude met en lumière le rôle des barrières entropiques, qui découlent des variations de courbure et du bruit dans les dynamiques d'optimisation, influençant l'exploration de l'espace des paramètres.

Recent research has identified a paradox in modern neural networks, where optimization dynamics tend to remain confined within single convex basins of attraction in the loss landscape, despite the presence of low-loss paths connecting these basins. This study highlights the role of entropic barriers, which arise from curvature variations and noise in optimization dynamics, influencing the exploration of parameter space.

Exploring Landscapes for Better Minima along Valleys

Was this article worth reading? Share it

LucidQuery AI

Hypertune

Augmeta