arXiv:2511.19121v1 Announce Type: cross 
Abstract: We propose a new formulation of the maximum score estimator that uses compositions of rectified linear unit (ReLU) functions, instead of indicator functions as in Manski (1975,1985), to encode the sign alignment restrictions. Since the ReLU function is Lipschitz, our new ReLU-based maximum score criterion function is substantially easier to optimize using standard gradient-based optimization pacakges. We also show that our ReLU-based maximum score (RMS) estimator can be generalized to an umbrella framework defined by multi-index single-crossing (MISC) conditions, while the original maximum score estimator cannot be applied. We establish the $n^{-s/(2s+1)}$ convergence rate and asymptotic normality for the RMS estimator under order-$s$ Holder smoothness. In addition, we propose an alternative estimator using a further reformulation of RMS as a special layer in a deep neural network (DNN) architecture, which allows the estimation procedure to be implemented via state-of-the-art software and hardware for DNN.

تم اقتراح صياغة جديدة لمقدّر النقاط القصوى، تستخدم وظائف الوحدة الخطية المصفوفة (ReLU) لتشفير قيود محاذاة الإشارة، مما يسهل عملية التحسين مقارنة بالطرق التقليدية. يمكن أيضًا تعميم هذا المقدّر القائم على ReLU (RMS) تحت شروط تقاطع أحادي متعدد المؤشرات، والتي لم تكن قابلة للتطبيق على المقدّر الأصلي للنقاط القصوى.

Se ha propuesto una nueva formulación del estimador de puntaje máximo, utilizando funciones de unidad lineal rectificada (ReLU) para codificar las restricciones de alineación de signos, lo que facilita la optimización en comparación con los métodos tradicionales. Este estimador de puntaje máximo basado en ReLU (RMS) también puede generalizarse bajo condiciones de cruce simple multi-índice, que antes no eran aplicables al estimador de puntaje máximo original.

Une nouvelle formulation de l'estimateur de score maximum a été proposée, utilisant des fonctions de type unité linéaire rectifiée (ReLU) pour encoder les restrictions d'alignement de signe, facilitant ainsi l'optimisation par rapport aux méthodes traditionnelles. Cet estimateur de score maximum basé sur ReLU (RMS) peut également être généralisé sous des conditions de croisement simple multi-index, qui étaient auparavant inapplicables à l'estimateur de score maximum original.

A new formulation of the maximum score estimator has been proposed, utilizing rectified linear unit (ReLU) functions to encode sign alignment restrictions, enhancing optimization ease compared to traditional methods. This ReLU-based maximum score (RMS) estimator can also be generalized under multi-index single-crossing conditions, which were previously inapplicable to the original maximum score estimator.

ReLU-Based and DNN-Based Generalized Maximum Score Estimators

arXiv:2504.15051v2 Announce Type: replace-cross 
Abstract: Activation functions play a critical role in deep neural networks by shaping gradient flow, optimization stability, and generalization. While ReLU remains widely used due to its simplicity, it suffers from gradient sparsity and dead-neuron issues and offers no adaptivity to input statistics. Smooth alternatives such as Swish and GELU improve gradient propagation but still apply a fixed transformation regardless of the activation distribution. In this paper, we propose VeLU, a Variance-enhanced Learning Unit that introduces variance-aware and distributionally aligned nonlinearity through a principled combination of ArcTan-ArcSin transformations, adaptive scaling, and Wasserstein-2 regularization (Optimal Transport). This design enables VeLU to modulate its response based on local activation variance, mitigate internal covariate shift at the activation level, and improve training stability without adding learnable parameters or architectural overhead. Extensive experiments across six deep neural networks show that VeLU outperforms ReLU, ReLU6, Swish, and GELU on 12 vision benchmarks. The implementation of VeLU is publicly available in GitHub.

تهدف وحدة التعلم المعززة بالمتغيرات (VeLU) إلى معالجة القيود المفروضة على دوال التنشيط التقليدية في الشبكات العصبية العميقة، وخاصة دالة ReLU، المعروفة بمشاكل ندرة التدرجات ووجود خلايا عصبية ميتة. تستخدم VeLU مزيجًا من تحويلات ArcTan-ArcSin والتعديل التكيفي لتحسين استقرار التدريب وتحسين تدفق التدرجات بناءً على تباين التنشيط المحلي.

La introducción de VeLU, una Unidad de Aprendizaje Mejorada por Varianza, tiene como objetivo abordar las limitaciones de las funciones de activación tradicionales en redes neuronales profundas, especialmente el ReLU, que es conocido por problemas como la escasez de gradientes y neuronas muertas. VeLU emplea una combinación de transformaciones ArcTan-ArcSin y escalado adaptativo para mejorar la estabilidad del entrenamiento y optimizar el flujo de gradientes en función de la varianza de activación local.

L'introduction de VeLU, une Unité d'Apprentissage Améliorée par Variance, vise à résoudre les limitations des fonctions d'activation traditionnelles dans les réseaux de neurones profonds, en particulier le ReLU, connu pour ses problèmes de sparsité de gradient et de neurones morts. VeLU utilise une combinaison de transformations ArcTan-ArcSin et de mise à l'échelle adaptative pour améliorer la stabilité de l'entraînement et optimiser le flux de gradient en fonction de la variance d'activation locale.

The introduction of VeLU, a Variance-enhanced Learning Unit, aims to address the limitations of traditional activation functions in deep neural networks, particularly the ReLU, which is known for issues like gradient sparsity and dead neurons. VeLU employs a combination of ArcTan-ArcSin transformations and adaptive scaling to enhance training stability and optimize gradient flow based on local activation variance.

ReLU-Based and DNN-Based Generalized Maximum Score Estimators

Was this article worth reading? Share it

Hypertune

Pizi AI

Spicy Ranks AI