arXiv:2606.13221v2 Announce Type: replace 
Abstract: Evaluating new large language models typically requires costly human annotation campaigns at scale. LLM-as-a-judge offers a cheaper alternative, but judge scores carry systematic errors - such as position bias, self-preference, or intransitivity - that can strongly miscalibrate the resulting rankings. We quantify the resulting judge-human disagreement at two complementary levels. At the local level, we estimate per-battle uncertainty from the judge's own score differences by propagating calibrated win probabilities rather than hard labels into the Bradley-Terry procedure. This alone provides a drastic improvement to Elo estimation accuracy, bringing LLM-derived ratings within 17.9 Elo MAE of human-derived ones when averaged over 55 held-out models on LMArena. At the global level, we apply split conformal prediction to the residual gap between LLM-derived and human-derived Elo ratings across held-out models, producing prediction intervals with distribution-free marginal coverage guarantees that account for irreducible LLM-human disagreement. Together, these two layers yield a low-cost evaluation tool that provides developers with calibrated Elo estimates and honest uncertainty bounds, without access to large-scale human annotations. To facilitate reproducibility, we release our code at https://github.com/kargibora/SoftElo .

تقدم دراسة حديثة طريقة جديدة لتقييم نماذج اللغة الكبيرة (LLMs) من خلال تقدير إلو المتوافق، الذي يهدف إلى تقليل الأخطاء النظامية في درجات الحكام التي يمكن أن تؤدي إلى عدم دقة التصنيفات. من خلال استخدام احتمالات الفوز المعايرة والتنبؤ المتوافق المنقسم، يحسن هذا النهج بشكل كبير دقة التقييمات المستمدة من LLM، محققًا متوسط خطأ مطلق قدره 17.9 إلو مقارنة بالتقييمات البشرية عبر 55 نموذجًا على LMArena.

Un estudio reciente presenta un nuevo método para evaluar modelos de lenguaje de gran tamaño (LLMs) a través de la estimación Elo conforme, que busca reducir errores sistemáticos en las puntuaciones de los jueces que pueden descalibrar los rankings. Al emplear probabilidades de victoria calibradas y predicción conformal dividida, el enfoque mejora significativamente la precisión de las calificaciones derivadas de los LLM, logrando un error absoluto medio de 17.9 Elo en comparación con las calificaciones humanas en 55 modelos en LMArena.

Une étude récente présente une méthode novatrice pour évaluer les modèles de langage de grande taille (LLMs) via l'estimation Elo conforme, visant à réduire les erreurs systématiques dans les scores des juges qui peuvent fausser les classements. En utilisant des probabilités de victoire calibrées et une prédiction conforme divisée, l'approche améliore considérablement la précision des évaluations dérivées des LLM, atteignant une erreur absolue moyenne de 17,9 Elo par rapport aux évaluations humaines sur 55 modèles sur LMArena.

A recent study introduces a novel method for evaluating large language models (LLMs) through Conformal Elo Estimation, which aims to reduce systematic errors in judge scores that can miscalibrate rankings. By employing calibrated win probabilities and split conformal prediction, the approach significantly enhances the accuracy of LLM-derived ratings, achieving a mean absolute error of 17.9 Elo compared to human-derived ratings across 55 models on LMArena.