arXiv:2511.03685v1 Announce Type: new 
Abstract: Post-hoc recalibration methods are widely used to ensure that classifiers provide faithful probability estimates. We argue that parametric recalibration functions based on logistic regression can be motivated from a simple theoretical setting for both binary and multiclass classification. This insight motivates the use of more expressive calibration methods beyond standard temperature scaling. For multi-class calibration however, a key challenge lies in the increasing number of parameters introduced by more complex models, often coupled with limited calibration data, which can lead to overfitting. Through extensive experiments, we demonstrate that the resulting bias-variance tradeoff can be effectively managed by structured regularization, robust preprocessing and efficient optimization. The resulting methods lead to substantial gains over existing logistic-based calibration techniques. We provide efficient and easy-to-use open-source implementations of our methods, making them an attractive alternative to common temperature, vector, and matrix scaling implementations.

تقدم دراسة جديدة مقياس مصفوفة منظم لتصحيح التصنيف متعدد الفئات، مما يعزز دقة تقديرات الاحتمالات من المصنفات. تعتمد هذه الطريقة على تقنيات الانحدار اللوجستي التقليدية، مما يوفر نهجًا أكثر دقة لإعادة التصحيح. هذا مهم لأنه يعالج قيود الطرق القياسية، مما قد يؤدي إلى اتخاذ قرارات أفضل في تطبيقات متنوعة، من التعلم الآلي إلى تحليل البيانات.

Un nuevo estudio presenta el escalado matricial estructurado para la calibración multiclase, mejorando la precisión de las estimaciones de probabilidad de los clasificadores. Este método se basa en técnicas tradicionales de regresión logística, ofreciendo un enfoque más matizado para la recalibración. Esto es significativo porque aborda las limitaciones de los métodos estándar, lo que podría llevar a una mejor toma de decisiones en diversas aplicaciones, desde el aprendizaje automático hasta el análisis de datos.

Une nouvelle étude présente l'échelonnement matriciel structuré pour la calibration multi-classe, améliorant l'exactitude des estimations de probabilité des classificateurs. Cette méthode s'appuie sur des techniques de régression logistique traditionnelles, offrant une approche plus nuancée de la recalibration. Cela est important car cela répond aux limites des méthodes standard, ce qui pourrait conduire à de meilleures prises de décision dans diverses applications, de l'apprentissage automatique à l'analyse de données.

A new study introduces structured matrix scaling for multi-class calibration, enhancing the accuracy of probability estimates from classifiers. This method builds on traditional logistic regression techniques, offering a more nuanced approach to recalibration. This is significant because it addresses the limitations of standard methods, potentially leading to better decision-making in various applications, from machine learning to data analysis.

Structured Matrix Scaling for Multi-Class Calibration

arXiv:2512.02489v1 Announce Type: new 
Abstract: I present an application of established machine learning techniques to NHANES health survey data for predicting diabetes status. I compare baseline models (logistic regression, random forest, XGBoost) with a hybrid approach that uses an XGBoost feature encoder and a lightweight multilayer perceptron (MLP) head. Experiments show the hybrid model attains improved AUC and balanced accuracy compared to baselines on the processed NHANES subset. I release code and reproducible scripts to encourage replication.

قدمت دراسة حديثة نموذجًا هجينًا من التعلم الآلي يجمع بين الانحدار المعاقب وطبقة متعددة من البيرسيبترون (MLP) للتنبؤ بحالة السكري باستخدام بيانات مسح الصحة NHANES. تفوق هذا النموذج على الطرق التقليدية مثل الانحدار اللوجستي والغابة العشوائية من حيث المساحة تحت المنحنى (AUC) والدقة المتوازنة، مما يظهر فعاليته في التعامل مع البيانات عالية الأبعاد وقليلة العينة (HDLSS).

Un estudio reciente presentó un modelo híbrido de aprendizaje automático que combina regresión penalizada y un perceptrón multicapa (MLP) para predecir el estado de diabetes utilizando datos de la encuesta de salud NHANES. Este modelo superó a métodos tradicionales como la regresión logística y el bosque aleatorio en términos de área bajo la curva (AUC) y precisión equilibrada, demostrando su efectividad en el manejo de datos de alta dimensión y baja muestra (HDLSS).

Une étude récente a introduit un modèle hybride d'apprentissage automatique combinant la régression pénalisée et un perceptron multicouche (MLP) pour prédire le statut diabétique à partir des données de l'enquête de santé NHANES. Ce modèle a surpassé les méthodes traditionnelles telles que la régression logistique et la forêt aléatoire en termes de surface sous la courbe (AUC) et de précision équilibrée, démontrant son efficacité dans le traitement des données à haute dimension et faible taille d'échantillon (HDLSS).

A recent study introduced a hybrid machine learning model combining penalized regression and a multilayer perceptron (MLP) for predicting diabetes status using NHANES health survey data. This model outperformed traditional methods like logistic regression and random forest in terms of area under the curve (AUC) and balanced accuracy, showcasing its effectiveness in handling high-dimensional low-sample-size (HDLSS) data.

Hybrid(Penalized Regression and MLP) Models for Outcome Prediction in HDLSS Health Data

arXiv:2512.01097v1 Announce Type: new 
Abstract: We introduce Smart Bayes, a new classification framework that bridges generative and discriminative modeling by integrating likelihood-ratio-based generative features into a logistic-regression-style discriminative classifier. From the generative perspective, Smart Bayes relaxes the fixed unit weights of Naive Bayes by allowing data-driven coefficients on density-ratio features. From a discriminative perspective, it constructs transformed inputs as marginal log-density ratios that explicitly quantify how much more likely each feature value is under one class than another, thereby providing predictors with stronger class separation than the raw covariates. To support this framework, we develop a spline-based estimator for univariate log-density ratios that is flexible, robust, and computationally efficient. Through extensive simulations and real-data studies, Smart Bayes often outperforms both logistic regression and Naive Bayes. Our results highlight the potential of hybrid approaches that exploit generative structure to enhance discriminative performance.

تم تقديم إطار تصنيف جديد يسمى Smart Bayes، والذي يدمج ميزات توليدية قائمة على نسبة الاحتمالية في مصنف تمييزي على طراز الانحدار اللوجستي. تتيح هذه الطريقة وجود معاملات مدفوعة بالبيانات على ميزات نسبة الكثافة، مما يعزز فصل الفئات مقارنة بالطرق التقليدية مثل Naive Bayes والانحدار اللوجستي.

Se ha introducido un nuevo marco de clasificación llamado Smart Bayes, que integra características generativas basadas en la razón de verosimilitud en un clasificador discriminativo de estilo regresión logística. Este enfoque permite coeficientes impulsados por datos en características de razón de densidad, mejorando así la separación de clases en comparación con métodos tradicionales como Naive Bayes y la regresión logística.

Un nouveau cadre de classification nommé Smart Bayes a été introduit, intégrant des caractéristiques génératives basées sur le rapport de vraisemblance dans un classificateur discriminatif de type régression logistique. Cette approche permet des coefficients basés sur les données pour les caractéristiques de rapport de densité, améliorant ainsi la séparation des classes par rapport aux méthodes traditionnelles comme Naive Bayes et la régression logistique.

A new classification framework named Smart Bayes has been introduced, which integrates likelihood-ratio-based generative features into a logistic-regression-style discriminative classifier. This approach allows for data-driven coefficients on density-ratio features, enhancing class separation compared to traditional methods like Naive Bayes and logistic regression.

Structured Matrix Scaling for Multi-Class Calibration

Was this article worth reading? Share it

One More Thing in AI

Augmeta

MicroEstimates