arXiv:2501.11384v3 Announce Type: replace 
Abstract: We introduce a method based on Conformal Prediction (CP) to quantify the uncertainty of full ranking algorithms. We focus on a specific scenario where $n+m$ items are to be ranked by some ``black box'' algorithm. It is assumed that the relative (ground truth) ranking of $n$ of them is known. The objective is then to quantify the error made by the algorithm on the ranks of the $m$ new items among the total $(n+m)$. In such a setting, the true ranks of the $n$ original items in the total $(n+m)$ depend on the (unknown) true ranks of the $m$ new ones. Consequently, we have no direct access to a calibration set to apply a classical CP method. To address this challenge, we propose to construct distribution-free bounds of the unknown conformity scores using recent results on the distribution of conformal p-values. Using these scores upper bounds, we provide valid prediction sets for the rank of any item. We also control the false coverage proportion, a crucial quantity when dealing with multiple prediction sets. Finally, we empirically show on both synthetic and real data the efficiency of our CP method for state-of-the-art algorithms such as RankNet or LambdaMart.

تم تقديم طريقة جديدة تستخدم التنبؤ المتوافق (CP) لتقييم عدم اليقين في خوارزميات الترتيب الكامل، خاصة في السيناريوهات التي يُعرف فيها الترتيب الحقيقي لمجموعة فرعية من العناصر بينما تظل تصنيفات العناصر الجديدة غير مؤكدة. تبني هذه الطريقة حدودًا خالية من التوزيع لدرجات التوافق غير المعروفة، مما يسمح بمجموعات تنبؤية صالحة لترتيب العناصر.

Se ha introducido un nuevo método que utiliza la Predicción Conformal (CP) para evaluar la incertidumbre en los algoritmos de clasificación completa, especialmente en escenarios donde se conoce el ranking verdadero de un subconjunto de elementos, mientras que los rangos de nuevos elementos permanecen inciertos. Este enfoque construye límites libres de distribución para los puntajes de conformidad desconocidos, permitiendo conjuntos de predicción válidos para los rankings de elementos.

Une nouvelle méthode utilisant la Prédiction Conformale (CP) a été introduite pour évaluer l'incertitude des algorithmes de classement complet, en particulier dans les scénarios où le classement réel d'un sous-ensemble d'articles est connu tandis que les rangs de nouveaux articles restent incertains. Cette approche construit des bornes sans distribution pour les scores de conformité inconnus, permettant des ensembles de prédiction valides pour les classements d'articles.

A new method utilizing Conformal Prediction (CP) has been introduced to assess the uncertainty in full ranking algorithms, particularly in scenarios where the true ranking of a subset of items is known while the ranks of new items remain uncertain. This approach constructs distribution-free bounds for unknown conformity scores, enabling valid prediction sets for item rankings.

Transductive Conformal Inference for Full Ranking

arXiv:2512.07770v1 Announce Type: new 
Abstract: Conformal prediction provides a pivotal and flexible technique for uncertainty quantification by constructing prediction sets with a predefined coverage rate. Many online conformal prediction methods have been developed to address data distribution shifts in fully adversarial environments, resulting in overly conservative prediction sets. We propose Conformal Optimistic Prediction (COP), an online conformal prediction algorithm incorporating underlying data pattern into the update rule. Through estimated cumulative distribution function of non-conformity scores, COP produces tighter prediction sets when predictable pattern exists, while retaining valid coverage guarantees even when estimates are inaccurate. We establish a joint bound on coverage and regret, which further confirms the validity of our approach. We also prove that COP achieves distribution-free, finite-sample coverage under arbitrary learning rates and can converge when scores are $i.i.d.$. The experimental results also show that COP can achieve valid coverage and construct shorter prediction intervals than other baselines.

تم اقتراح خوارزمية جديدة للتنبؤ المتوافق عبر الإنترنت، تُعرف باسم التنبؤ المتفائل المتوافق (COP)، لتحسين قياس عدم اليقين في التعلم الآلي من خلال إنتاج مجموعات تنبؤات أكثر دقة بناءً على أنماط البيانات الأساسية. تهدف هذه الطريقة إلى معالجة قيود تقنيات التنبؤ المتوافق عبر الإنترنت الموجودة التي غالبًا ما تنتج نتائج متحفظة بشكل مفرط في البيئات العدائية.

Se ha propuesto un nuevo algoritmo de predicción conformal en línea, la Predicción Optimista Conformal (COP), para mejorar la cuantificación de la incertidumbre en el aprendizaje automático al producir conjuntos de predicciones más ajustados basados en patrones de datos subyacentes. Este método busca abordar las limitaciones de las técnicas de predicción conformal en línea existentes que a menudo generan resultados excesivamente conservadores en entornos adversos.

Un nouvel algorithme de prédiction conforme en ligne, la Prédiction Optimiste Conforme (COP), a été proposé pour améliorer la quantification de l'incertitude en apprentissage automatique en produisant des ensembles de prédictions plus précis basés sur des motifs de données sous-jacents. Cette méthode vise à résoudre les limitations des techniques de prédiction conforme en ligne existantes qui produisent souvent des résultats trop conservateurs dans des environnements adverses.

A new online conformal prediction algorithm, Conformal Optimistic Prediction (COP), has been proposed to enhance uncertainty quantification in machine learning by producing tighter prediction sets based on underlying data patterns. This method aims to address the limitations of existing online conformal prediction techniques that often yield overly conservative results in adversarial environments.

Transductive Conformal Inference for Full Ranking

Was this article worth reading? Share it

LucidQuery AI

Rank Tracker for Google Search Console

Spicy Ranks AI