arXiv:2511.13911v1 Announce Type: new 
Abstract: Despite recent progress in predicting biomarker trajectories from real clinical data, uncertainty in the predictions poses high-stakes risks (e.g., misdiagnosis) that limit their clinical deployment. To enable safe and reliable use of such predictions in healthcare, we introduce a conformal method for uncertainty-calibrated prediction of biomarker trajectories resulting from randomly-timed clinical visits of patients. Our approach extends conformal prediction to the setting of randomly-timed trajectories via a novel nonconformity score that produces prediction bands guaranteed to cover the unknown biomarker trajectories with a user-prescribed probability. We apply our method across a wide range of standard and state-of-the-art predictors for two well-established brain biomarkers of Alzheimer's disease, using neuroimaging data from real clinical studies. We observe that our conformal prediction bands consistently achieve the desired coverage, while also being tighter than baseline prediction bands. To further account for population heterogeneity, we develop group-conditional conformal bands and test their coverage guarantees across various demographic and clinically relevant subpopulations. Moreover, we demonstrate the clinical utility of our conformal bands in identifying subjects at high risk of progression to Alzheimer's disease. Specifically, we introduce an uncertainty-calibrated risk score that enables the identification of 17.5% more high-risk subjects compared to standard risk scores, highlighting the value of uncertainty calibration in real-world clinical decision making. Our code is available at github.com/vatass/ConformalBiomarkerTrajectories.

تم تطوير طريقة جديدة للتنبؤ بمسارات المؤشرات الحيوية في مرض الزهايمر، حيث تعالج عدم اليقين في التنبؤات السريرية. تتيح هذه التقنية التنبؤية المتوافقة إجراء تنبؤات موثوقة من الزيارات السريرية التي تتم في أوقات عشوائية، مما يضمن أن تغطي نطاقات التنبؤ المسارات الفعلية للمؤشرات الحيوية باحتمالية محددة. تم اختبار النهج باستخدام بيانات التصوير العصبي من دراسات سريرية معروفة، مما يوضح فعاليته في تعزيز أمان التطبيقات السريرية.

Se ha desarrollado un nuevo método para predecir las trayectorias de biomarcadores en la enfermedad de Alzheimer, abordando la incertidumbre en las predicciones clínicas. Esta técnica de predicción conforme permite pronósticos fiables a partir de visitas clínicas programadas aleatoriamente, asegurando que las bandas de predicción cubran las trayectorias reales de los biomarcadores con una probabilidad especificada. El enfoque se probó utilizando datos de neuroimagen de estudios clínicos establecidos, demostrando su eficacia para mejorar la seguridad de las aplicaciones clínicas.

Une nouvelle méthode de prédiction des trajectoires de biomarqueurs dans la maladie d'Alzheimer a été développée, abordant l'incertitude des prédictions cliniques. Cette technique de prédiction conforme permet des prévisions fiables à partir de visites cliniques chronométrées de manière aléatoire, garantissant que les bandes de prédiction couvrent les trajectoires réelles des biomarqueurs avec une probabilité spécifiée. L'approche a été testée à l'aide de données d'imagerie cérébrale provenant d'études cliniques établies, démontrant son efficacité pour améliorer la sécurité des applications cl…

A new method for predicting biomarker trajectories in Alzheimer's disease has been developed, addressing the uncertainty in clinical predictions. This conformal prediction technique allows for reliable forecasts from randomly-timed clinical visits, ensuring that the prediction bands cover the actual biomarker trajectories with a specified probability. The approach was tested using neuroimaging data from established clinical studies, demonstrating its effectiveness in enhancing the safety of clinical applications.

Uncertainty-Calibrated Prediction of Randomly-Timed Biomarker Trajectories with Conformal Bands

arXiv:2511.14441v1 Announce Type: new 
Abstract: To distinguish Markov equivalent graphs in causal discovery, it is necessary to restrict the structural causal model. Crucially, we need to be able to distinguish cause $X$ from effect $Y$ in bivariate models, that is, distinguish the two graphs $X \to Y$ and $Y \to X$. Location-scale noise models (LSNMs), in which the effect $Y$ is modeled based on the cause $X$ as $Y = f(X) + g(X)N$, form a flexible class of models that is general and identifiable in most cases. Estimating these models for arbitrary noise terms $N$, however, is challenging. Therefore, practical estimators are typically restricted to symmetric distributions, such as the normal distribution. As we showcase in this paper, when $N$ is a skewed random variable, which is likely in real-world domains, the reliability of these approaches decreases. To approach this limitation, we propose SkewD, a likelihood-based algorithm for bivariate causal discovery under LSNMs with skewed noise distributions. SkewD extends the usual normal-distribution framework to the skew-normal setting, enabling reliable inference under symmetric and skewed noise. For parameter estimation, we employ a combination of a heuristic search and an expectation conditional maximization algorithm. We evaluate SkewD on novel synthetically generated datasets with skewed noise as well as established benchmark datasets. Throughout our experiments, SkewD exhibits a strong performance and, in comparison to prior work, remains robust under high skewness.

تناقش الورقة الحاجة إلى التمييز بين السبب والأثر في النماذج الثنائية المتغيرة لاكتشاف الأسباب، وخاصة ضمن نماذج الضوضاء ذات الموقع والمقياس (LSNMs). تسلط الضوء على التحدي المتمثل في تقدير هذه النماذج عندما تكون مصطلحات الضوضاء مائلة، وهو أمر شائع في السيناريوهات الواقعية. يقدم المؤلفون SkewD، وهو خوارزمية قائمة على الاحتمالية مصممة لتحسين اكتشاف الأسباب الثنائية في هذه الظروف، مع معالجة القيود التي تواجهها المقدرات التقليدية التي تعتمد عادةً على التوزيعات المتماثلة.

El artículo discute la necesidad de distinguir entre causa y efecto en modelos bivariados para el descubrimiento causal, específicamente dentro de los modelos de ruido de localización-escala (LSNMs). Destaca el desafío de estimar estos modelos cuando los términos de ruido son sesgados, lo cual es común en escenarios del mundo real. Los autores presentan SkewD, un algoritmo basado en la verosimilitud diseñado para mejorar el descubrimiento causal bivariado en estas condiciones, abordando las limitaciones de los estimadores tradicionales que generalmente dependen de distribuciones simétricas.

Cet article aborde la nécessité de distinguer la cause de l'effet dans les modèles bivariés pour la découverte causale, en particulier dans les modèles de bruit de localisation-échelle (LSNMs). Il met en évidence le défi d'estimer ces modèles lorsque les termes de bruit sont asymétriques, ce qui est courant dans les scénarios du monde réel. Les auteurs introduisent SkewD, un algorithme basé sur la vraisemblance conçu pour améliorer la découverte causale bivariée dans ces conditions, en répondant aux limitations des estimateurs traditionnels qui reposent généralement sur des distributions symét…

The paper discusses the need to distinguish between cause and effect in bivariate models for causal discovery, specifically within location-scale noise models (LSNMs). It highlights the challenge of estimating these models when noise terms are skewed, which is common in real-world scenarios. The authors introduce SkewD, a likelihood-based algorithm designed to improve bivariate causal discovery under these conditions, addressing the limitations of traditional estimators that typically rely on symmetric distributions.

Skewness-Robust Causal Discovery in Location-Scale Noise Models

arXiv:2412.09498v3 Announce Type: replace-cross 
Abstract: Gradient descent is one of the most widely used iterative algorithms in modern statistical learning. However, its precise algorithmic dynamics in high-dimensional settings remain only partially understood, which has limited its broader potential for statistical inference applications.
  This paper provides a precise, non-asymptotic joint distributional characterization of gradient descent iterates and their debiased statistics in a broad class of empirical risk minimization problems, in the so-called mean-field regime where the sample size is proportional to the signal dimension. Our non-asymptotic state evolution theory holds for both general non-convex loss functions and non-Gaussian data, and reveals the central role of two Onsager correction matrices that precisely characterize the non-trivial dependence among all gradient descent iterates in the mean-field regime.
  Leveraging the joint state evolution characterization, we show that the gradient descent iterate retrieves approximate normality after a debiasing correction via a linear combination of all past iterates, where the debiasing coefficients can be estimated by the proposed gradient descent inference algorithm. This leads to a new algorithmic statistical inference framework based on debiased gradient descent, which (i) applies to a broad class of models with both convex and non-convex losses, (ii) remains valid at each iteration without requiring algorithmic convergence, and (iii) exhibits a certain robustness to possible model misspecification. As a by-product, our framework also provides algorithmic estimates of the generalization error at each iteration. As canonical examples, we demonstrate our theory and inference methods in the single-index regression model and a generalized logistic regression model, where the natural loss functions may exhibit arbitrarily non-convex landscapes.

يُعتبر الانحدار التدرجي خوارزمية تكرارية تُستخدم على نطاق واسع في التعلم الإحصائي، إلا أن دينامياتها في الإعدادات عالية الأبعاد لا تزال غير مفهومة تمامًا. يقدم هذا البحث توصيفًا مشتركًا غير حدّي لتكرارات الانحدار التدرجي وإحصائياتها المُعالجة في مشاكل تقليل المخاطر التجريبية، لا سيما في نظام الحقل المتوسط. تسلط النتائج الضوء على الدور المركزي لمصفوفات تصحيح أونساجر في فهم الاعتماديات بين جميع تكرارات الانحدار التدرجي، القابلة للتطبيق على كل من دوال الخسارة غير المحدبة والبيانات غير الغاوسية.

El descenso de gradiente es un algoritmo iterativo ampliamente utilizado en el aprendizaje estadístico, pero su dinámica en entornos de alta dimensión no se comprende completamente. Este artículo proporciona una caracterización no asintótica de los iterados del descenso de gradiente y sus estadísticas desbiaseadas en problemas de minimización del riesgo empírico, especialmente en el régimen de campo medio. Los hallazgos destacan el papel central de las matrices de corrección de Onsager en la comprensión de las dependencias entre los iterados del descenso de gradiente, aplicables tanto a funcio…

La descente de gradient est un algorithme itératif largement utilisé dans l'apprentissage statistique, mais sa dynamique dans des contextes de haute dimension n'est pas entièrement comprise. Cet article présente une caractérisation non asymptotique des itérations de la descente de gradient et de leurs statistiques débiaisées dans des problèmes de minimisation du risque empirique, en particulier dans le régime de champ moyen. Les résultats mettent en évidence l'importance des matrices de correction d'Onsager pour comprendre les dépendances entre les itérations de la descente de gradient, applic…

Gradient descent is a widely used iterative algorithm in statistical learning, yet its dynamics in high-dimensional settings are not fully understood. This paper presents a non-asymptotic characterization of gradient descent iterates and their debiased statistics in empirical risk minimization problems, particularly in the mean-field regime. The findings highlight the significance of Onsager correction matrices in understanding the dependencies among gradient descent iterates, applicable to both non-convex loss functions and non-Gaussian data.

Gradient descent inference in empirical risk minimization

arXiv:1906.07172v5 Announce Type: replace-cross 
Abstract: Equivariant neural networks are a class of neural networks designed to preserve symmetries inherent in the data. In this paper, we introduce a general method for modifying a neural network to enforce equivariance, a process we refer to as equivarification. We further show that group convolutional neural networks (G-CNNs) arise as a special case of our framework.

تُعتبر الشبكات العصبية المتكافئة نوعًا متخصصًا من الشبكات العصبية تهدف إلى الحفاظ على التماثلات الموجودة في البيانات. يقدم هذا البحث طريقة عامة لتعديل الشبكة العصبية لضمان التكافؤ، وهي عملية تُعرف باسم التكافؤ. كما يُظهر أن الشبكات العصبية التلافيفية الجماعية (G-CNNs) هي حالة خاصة من إطار عملنا، مما يبرز الإمكانية لتحسين الأداء في المهام التي تكون فيها التماثلات عاملًا حاسمًا.

Las redes neuronales equivariantes son un tipo especializado de redes neuronales diseñadas para preservar las simetrías inherentes a los datos. Este artículo presenta un método general para modificar una red neuronal para hacer cumplir la equivariancia, un proceso denominado equivarificación. Además, se muestra que las redes neuronales convolucionales de grupo (G-CNN) surgen como un caso especial de nuestro marco, destacando el potencial para mejorar el rendimiento en tareas donde la simetría es un factor crítico.

Les réseaux de neurones équivariants sont un type spécialisé de réseaux de neurones conçu pour préserver les symétries présentes dans les données. Cet article introduit une méthode générale pour modifier les réseaux de neurones afin d'assurer l'équivariance, un processus appelé équivarification. De plus, il montre que les réseaux de neurones convolutifs de groupe (G-CNN) sont un cas particulier de ce cadre, soulignant le potentiel d'amélioration des performances dans les tâches où la symétrie est un facteur critique.

Equivariant neural networks are a specialized type of neural networks aimed at maintaining the symmetries present in data. This paper introduces a comprehensive method for modifying neural networks to ensure equivariance, a process termed equivarification. Additionally, it demonstrates that group convolutional neural networks (G-CNNs) are a specific instance of this framework, highlighting the potential for enhanced performance in tasks where symmetry is a critical factor.

Equivariant neural networks and equivarification

arXiv:2511.14710v1 Announce Type: new 
Abstract: We establish the first global convergence result of neural networks for two stage least squares (2SLS) approach in nonparametric instrumental variable regression (NPIV). This is achieved by adopting a lifted perspective through mean-field Langevin dynamics (MFLD), unlike standard MFLD, however, our setting of 2SLS entails a \emph{bilevel} optimization problem in the space of probability measures. To address this challenge, we leverage the penalty gradient approach recently developed for bilevel optimization which formulates bilevel optimization as a Lagrangian problem. This leads to a novel fully first-order algorithm, termed \texttt{F$^2$BMLD}. Apart from the convergence bound, we further provide a generalization bound, revealing an inherent trade-off in the choice of the Lagrange multiplier between optimization and statistical guarantees. Finally, we empirically validate the effectiveness of the proposed method on an offline reinforcement learning benchmark.

تقدم الدراسة أول نتيجة عالمية للتقارب لشبكات الأعصاب باستخدام نهج المربعات الصغرى ذات المرحلتين (2SLS) في الانحدار الآلي غير المعلمي (NPIV). من خلال اعتماد ديناميات لانجفين ذات المجال المتوسط (MFLD) ومعالجة مشكلة تحسين ذات مستويين، يقدم الباحثون خوارزمية جديدة من الدرجة الأولى تُسمى F²BMLD. تشمل النتائج حدود التقارب والتعميم، مما يكشف عن توازن داخلي في اختيار مضاعف لاغرانج، ويتم التحقق من فعالية الطريقة من خلال تجارب التعلم المعزز غير المتصل.

El estudio presenta el primer resultado de convergencia global para redes neuronales utilizando un enfoque de mínimos cuadrados en dos etapas (2SLS) en la regresión instrumental no paramétrica (NPIV). Al emplear dinámicas de Langevin de campo medio (MFLD) y abordar un problema de optimización bilevel, los investigadores introducen un nuevo algoritmo de primer orden llamado F²BMLD. Los hallazgos incluyen límites de convergencia y generalización, destacando un compromiso en la elección de los multiplicadores de Lagrange, y la efectividad del método se valida a través de experimentos de aprendiza…

L'étude présente le premier résultat de convergence globale pour les réseaux de neurones utilisant une approche de moindres carrés à deux étapes (2SLS) dans la régression instrumentale non paramétrique (NPIV). En utilisant la dynamique de Langevin à champ moyen (MFLD) et en abordant un problème d'optimisation à deux niveaux, les chercheurs introduisent un nouvel algorithme de premier ordre nommé F²BMLD. Les résultats incluent des bornes de convergence et de généralisation, mettant en évidence un compromis dans le choix des multiplicateurs de Lagrange, et l'efficacité de la méthode est validée …

The study presents the first global convergence result for neural networks using a two-stage least squares (2SLS) approach in nonparametric instrumental variable regression (NPIV). By employing mean-field Langevin dynamics (MFLD) and addressing a bilevel optimization problem, the researchers introduce a novel first-order algorithm named F²BMLD. The findings include convergence and generalization bounds, highlighting a trade-off in the choice of Lagrange multipliers, and the method's effectiveness is validated through offline reinforcement learning experiments.

Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization

arXiv:2511.13857v1 Announce Type: new 
Abstract: While heatmap-based human pose estimation methods have shown strong performance, they suffer from three main problems: (P1) "Commonly used Mean Squared Error (MSE)" Loss may not always improve joint localization because it penalizes all pixel deviations equally, without focusing explicitly on sharpening and correctly localizing the peak corresponding to the joint; (P2) heatmaps are spatially and class-wise imbalanced; and, (P3) there is a discrepancy between the evaluation metric (i.e., mAP) and the loss functions.
  We propose ranking-based losses to address these issues.
  Both theoretically and empirically, we show that our proposed losses are superior to commonly used heatmap losses (MSE, KL-Divergence). Our losses considerably increase the correlation between confidence scores and localization qualities, which is desirable because higher correlation leads to more accurate instance selection during Non-Maximum Suppression (NMS) and better Average Precision (mAP) performance. We refer to the models trained with our losses as RSPose.
  We show the effectiveness of RSPose across two different modes: one-dimensional and two-dimensional heatmaps, on three different datasets (COCO, CrowdPose, MPII).
  To the best of our knowledge, we are the first to propose losses that align with the evaluation metric (mAP) for human pose estimation.
  RSPose outperforms the previous state of the art on the COCO-val set and achieves an mAP score of 79.9 with ViTPose-H, a vision transformer model for human pose estimation.
  We also improve SimCC Resnet-50, a coordinate classification-based pose estimation method, by 1.5 AP on the COCO-val set, achieving 73.6 AP.

يتناول المقال بعنوان 'RSPose: Ranking Based Losses for Human Pose Estimation' القيود المفروضة على طرق تقدير وضعية الإنسان المعتمدة على خرائط الحرارة. يحدد ثلاث مشكلات رئيسية: عدم فعالية خسارة متوسط ​​الخطأ التربيعي (MSE) في تحسين تحديد مواقع المفاصل، وعدم التوازن المكاني والفئوي في خرائط الحرارة، والفجوة بين مقاييس التقييم ودوال الخسارة. يقترح المؤلفون خسائر قائمة على الترتيب كحل، ويظهرون نظريًا وتجريبيًا أن هذه الخسائر الجديدة تتفوق على خسائر خرائط الحرارة التقليدية.

El artículo titulado 'RSPose: Ranking Based Losses for Human Pose Estimation' aborda las limitaciones de los métodos de estimación de pose humana basados en mapas de calor. Identifica tres problemas principales: la ineficacia de la Pérdida de Error Cuadrático Medio (MSE) para mejorar la localización de las articulaciones, los desequilibrios espaciales y por clase en los mapas de calor, y una discrepancia entre las métricas de evaluación y las funciones de pérdida. Los autores proponen pérdidas basadas en ranking como solución, demostrando teórica y empíricamente que estas nuevas pérdidas super…

L'article intitulé 'RSPose: Ranking Based Losses for Human Pose Estimation' aborde les limitations des méthodes d'estimation de pose humaine basées sur des cartes thermiques. Il identifie trois problèmes principaux : l'inefficacité de la perte d'erreur quadratique moyenne (MSE) pour améliorer la localisation des articulations, les déséquilibres spatiaux et par classe dans les cartes thermiques, et un décalage entre les métriques d'évaluation et les fonctions de perte. Les auteurs proposent des pertes basées sur le classement comme solution, montrant théoriquement et empiriquement que ces nouve…

The paper titled 'RSPose: Ranking Based Losses for Human Pose Estimation' addresses limitations in heatmap-based human pose estimation methods. It identifies three main issues: the ineffectiveness of Mean Squared Error (MSE) Loss in improving joint localization, spatial and class-wise imbalances in heatmaps, and a mismatch between evaluation metrics and loss functions. The authors propose ranking-based losses as a solution, demonstrating both theoretically and empirically that these new losses outperform traditional heatmap losses, enhancing the correlation between confidence scores and locali…

Uncertainty-Calibrated Prediction of Randomly-Timed Biomarker Trajectories with Conformal Bands

Was this article worth reading? Share it