arXiv:2503.05542v3 Announce Type: replace 
Abstract: We consider standard gradient descent, gradient flow and conjugate gradients as iterative algorithms for minimising a penalised ridge criterion in linear regression. While it is well known that conjugate gradients exhibit fast numerical convergence, the statistical properties of their iterates are more difficult to assess due to inherent non-linearities and dependencies. On the other hand, standard gradient flow is a linear method with well-known regularising properties when stopped early. By an explicit non-standard error decomposition we are able to bound the prediction error for conjugate gradient iterates by a corresponding prediction error of gradient flow at transformed iteration indices. This way, the risk along the entire regularisation path of conjugate gradient iterations can be compared to that for regularisation paths of standard linear methods like gradient flow and ridge regression. In particular, the oracle conjugate gradient iterate shares the optimality properties of the gradient flow and ridge regression oracles up to a constant factor. Numerical examples show the similarity of the regularisation paths in practice.

تستكشف هذه المقالة أداء خوارزميات تكرارية مختلفة، بما في ذلك الانحدار القياسي، وتدفق الانحدار، والدرجات المرافقة، في تقليل معيار ريدج المعاقب في الانحدار الخطي. تسلط الضوء على التقارب العددي السريع للدرجات المرافقة بينما تتناول التعقيدات في تقييم خصائصها الإحصائية بسبب عدم الخطية. فهم هذه الطرق أمر بالغ الأهمية لتحسين تحليل الانحدار وتحسين أداء النموذج، مما يجعل هذا البحث ذا صلة بالإحصائيين وعلماء البيانات.

Este artículo explora el rendimiento de varios algoritmos iterativos, incluidos el descenso de gradiente estándar, el flujo de gradiente y los gradientes conjugados, para minimizar un criterio de ridge penalizado en la regresión lineal. Destaca la rápida convergencia numérica de los gradientes conjugados mientras aborda las complejidades en la evaluación de sus propiedades estadísticas debido a las no linealidades. Comprender estos métodos es crucial para mejorar el análisis de regresión y optimizar el rendimiento del modelo, lo que hace que esta investigación sea relevante para estadísticos y científicos de datos.

Cet article examine la performance de divers algorithmes itératifs, y compris la descente de gradient standard, le flux de gradient et les gradients conjugués, pour minimiser un critère de ridge pénalisé dans la régression linéaire. Il met en évidence la convergence numérique rapide des gradients conjugués tout en abordant les complexités d'évaluation de leurs propriétés statistiques en raison des non-linéarités. Comprendre ces méthodes est crucial pour améliorer l'analyse de régression et optimiser la performance des modèles, rendant cette recherche pertinente pour les statisticiens et les scientifiques des données.

This article explores the performance of various iterative algorithms, including standard gradient descent, gradient flow, and conjugate gradients, in minimizing a penalized ridge criterion in linear regression. It highlights the fast numerical convergence of conjugate gradients while addressing the complexities in assessing their statistical properties due to non-linearities. Understanding these methods is crucial for improving regression analysis and optimizing model performance, making this research relevant for statisticians and data scientists.

Comparing regularisation paths of (conjugate) gradient estimators in ridge regression

arXiv:2509.21181v3 Announce Type: replace-cross 
Abstract: For overparameterized linear regression with isotropic Gaussian design and minimum-$\ell_p$ interpolator $p\in(1,2]$, we give a unified, high-probability characterization for the scaling of the family of parameter norms $ \\{ \lVert \widehat{w_p} \rVert_r \\}_{r \in [1,p]} $ with sample size.
  We solve this basic, but unresolved question through a simple dual-ray analysis, which reveals a competition between a signal *spike* and a *bulk* of null coordinates in $X^\top Y$, yielding closed-form predictions for (i) a data-dependent transition $n_\star$ (the "elbow"), and (ii) a universal threshold $r_\star=2(p-1)$ that separates $\lVert \widehat{w_p} \rVert_r$'s which plateau from those that continue to grow with an explicit exponent.
  This unified solution resolves the scaling of *all* $\ell_r$ norms within the family $r\in [1,p]$ under $\ell_p$-biased interpolation, and explains in one picture which norms saturate and which increase as $n$ grows.
  We then study diagonal linear networks (DLNs) trained by gradient descent. By calibrating the initialization scale $\alpha$ to an effective $p_{\mathrm{eff}}(\alpha)$ via the DLN separable potential, we show empirically that DLNs inherit the same elbow/threshold laws, providing a predictive bridge between explicit and implicit bias.
  Given that many generalization proxies depend on $\lVert \widehat {w_p} \rVert_r$, our results suggest that their predictive power will depend sensitively on which $l_r$ norm is used.

قدمت دراسة حديثة توصيفًا موحدًا لتدرج معايير المعلمات في الانحدار الخطي المفرط المعلمات والشبكات الخطية القطرية تحت انحياز $l_p$. يتناول هذا العمل السؤال غير المحسوم حول كيفية تصرف عائلة معايير $l_r$ مع أحجام عينات مختلفة، كاشفًا عن تنافس بين ذروات الإشارة والإحداثيات الفارغة في البيانات.

Un estudio reciente ha proporcionado una caracterización unificada del escalado de las normas de parámetros en la regresión lineal sobreparametrizada y las redes lineales diagonales bajo sesgo $l_p$. Este trabajo aborda la cuestión no resuelta de cómo se comporta la familia de normas $l_r$ con diferentes tamaños de muestra, revelando una competencia entre picos de señal y coordenadas nulas en los datos.

Une étude récente a fourni une caractérisation unifiée du comportement des normes de paramètres dans la régression linéaire surparamétrée et les réseaux linéaires diagonaux sous biais $l_p$. Ce travail aborde la question non résolue de la manière dont la famille des normes $l_r$ se comporte avec des tailles d'échantillon variables, révélant une compétition entre les pics de signal et les coordonnées nulles dans les données.

A recent study has provided a unified characterization of the scaling of parameter norms in overparameterized linear regression and diagonal linear networks under $l_p$ bias. This work addresses the unresolved question of how the family of $l_r$ norms behaves with varying sample sizes, revealing a competition between signal spikes and null coordinates in the data.

Comparing regularisation paths of (conjugate) gradient estimators in ridge regression

Was this article worth reading? Share it

LucidQuery AI

CoGrader

FastML