arXiv:2509.17738v2 Announce Type: replace 
Abstract: Neural collapse, i.e., the emergence of highly symmetric, class-wise clustered representations, is frequently observed in deep networks and is often assumed to reflect or enable generalization. In parallel, flatness of the loss landscape has been theoretically and empirically linked to generalization. Yet, the causal role of either phenomenon remains unclear: Are they prerequisites for generalization, or merely by-products of training dynamics? We disentangle these questions using grokking, a training regime in which memorization precedes generalization, allowing us to temporally separate generalization from training dynamics and we find that while both neural collapse and relative flatness emerge near the onset of generalization, only flatness consistently predicts it. Models encouraged to collapse or prevented from collapsing generalize equally well, whereas models regularized away from flat solutions exhibit delayed generalization, resembling grokking, even in architectures and datasets where it does not typically occur. Furthermore, we show theoretically that neural collapse leads to relative flatness under classical assumptions, explaining their empirical co-occurrence. Our results support the view that relative flatness is a potentially necessary and more fundamental property for generalization, and demonstrate how grokking can serve as a powerful probe for isolating its geometric underpinnings.

تتناول دراسة حديثة مفهومي الانهيار العصبي ومستوى السطح في مشاهد الخسارة في الشبكات العميقة، متسائلة عن أدوارهما في التعميم. بينما يُعتبر الانهيار العصبي غالبًا علامة على التعلم الفعال، تشير الأبحاث إلى أن كلا الظاهرتين قد لا تكونان ضروريتين لتحقيق التعميم. هذه الاستكشافات مهمة لأنها تتحدى الافتراضات القائمة في تعلم الآلة، مما قد يؤدي إلى رؤى جديدة حول كيفية تحسين الشبكات العميقة لأداء أفضل.

Un estudio reciente discute los conceptos de colapso neural y la planitud de los paisajes de pérdida en redes profundas, cuestionando sus roles en la generalización. Aunque el colapso neural a menudo se ve como un signo de aprendizaje efectivo, la investigación sugiere que ambos fenómenos pueden no ser esenciales para lograr la generalización. Esta exploración es significativa ya que desafía suposiciones existentes en el aprendizaje automático, lo que podría llevar a nuevas ideas sobre cómo optimizar las redes profundas para un mejor rendimiento.

Une étude récente aborde les concepts d'effondrement neural et de planéité des paysages de perte dans les réseaux profonds, remettant en question leurs rôles dans la généralisation. Bien que l'effondrement neural soit souvent considéré comme un signe d'apprentissage efficace, la recherche suggère que ces deux phénomènes ne sont peut-être pas essentiels pour atteindre la généralisation. Cette exploration est importante car elle remet en question les hypothèses existantes en apprentissage automatique, ce qui pourrait conduire à de nouvelles perspectives sur l'optimisation des réseaux profonds pour de meilleures performances.

A recent study discusses the concepts of neural collapse and the flatness of loss landscapes in deep networks, questioning their roles in generalization. While neural collapse is often seen as a sign of effective learning, the research suggests that both phenomena may not be essential for achieving generalization. This exploration is significant as it challenges existing assumptions in machine learning, potentially leading to new insights on how deep networks can be optimized for better performance.

Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking

arXiv:2512.06297v1 Announce Type: cross 
Abstract: Modern neural networks exhibit a striking property: basins of attraction in the loss landscape are often connected by low-loss paths, yet optimization dynamics generally remain confined to a single convex basin and rarely explore intermediate points. We resolve this paradox by identifying entropic barriers arising from the interplay between curvature variations along these paths and noise in optimization dynamics. Empirically, we find that curvature systematically rises away from minima, producing effective forces that bias noisy dynamics back toward the endpoints - even when the loss remains nearly flat. These barriers persist longer than energetic barriers, shaping the late-time localization of solutions in parameter space. Our results highlight the role of curvature-induced entropic forces in governing both connectivity and confinement in deep learning landscapes.

أظهرت الأبحاث الحديثة وجود تناقض في الشبكات العصبية الحديثة، حيث تميل ديناميات التحسين إلى البقاء محصورة ضمن أحواض محدبة واحدة في مشهد الخسارة، على الرغم من وجود مسارات منخفضة الخسارة تربط بين هذه الأحواض. تسلط هذه الدراسة الضوء على دور الحواجز الانتروبية، التي تنشأ من تباينات الانحناء والضوضاء في ديناميات التحسين، مما يؤثر على استكشاف فضاء المعلمات.

Investigaciones recientes han identificado una paradoja en las redes neuronales modernas, donde las dinámicas de optimización tienden a permanecer confinadas dentro de cuencas convexas únicas en el paisaje de pérdida, a pesar de la presencia de caminos de baja pérdida que conectan estas cuencas. Este estudio destaca el papel de las barreras entrópicas, que surgen de las variaciones de curvatura y el ruido en las dinámicas de optimización, influyendo en la exploración del espacio de parámetros.

Des recherches récentes ont identifié un paradoxe dans les réseaux de neurones modernes, où les dynamiques d'optimisation tendent à rester confinées dans des bassins convexes uniques dans le paysage de perte, malgré la présence de chemins à faible perte reliant ces bassins. Cette étude met en lumière le rôle des barrières entropiques, qui découlent des variations de courbure et du bruit dans les dynamiques d'optimisation, influençant l'exploration de l'espace des paramètres.

Recent research has identified a paradox in modern neural networks, where optimization dynamics tend to remain confined within single convex basins of attraction in the loss landscape, despite the presence of low-loss paths connecting these basins. This study highlights the role of entropic barriers, which arise from curvature variations and noise in optimization dynamics, influencing the exploration of parameter space.

Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking

Was this article worth reading? Share it

LucidQuery AI

Humanize AI

The Visualizer