arXiv:2511.14385v1 Announce Type: new 
Abstract: Large language models (LLMs) are powerful zero- and few-shot learners. However, when predicting over a set of candidate options, LLMs suffer from label biases, and existing calibration methods overlook biases arising from multi-token class labels. We tackle an issue we call label length bias, where labels of different lengths are treated inconsistently, even after standard length normalization. To mitigate it, we propose normalized contextual calibration (NCC), an effective method that normalizes and calibrates predictions at the full-label level. NCC achieves statistically significant improvements over prior approaches across multiple datasets and models, with gains of up to 10% F1. Moreover, NCC extends bias mitigation to broader tasks such as multiple-choice question answering. Our analysis shows that, when combined with in-context learning, NCC is less sensitive to few-shot example selection, requires fewer examples for competitive performance, and produces more reliable confidence estimates. These findings highlight the importance of mitigating full-label biases to improve the performance and robustness of LLM-based methods, particularly in real-world applications where class labels naturally consist of multiple tokens.

تعاني النماذج اللغوية الكبيرة (LLMs) من تحيز طول التسمية، حيث يتم التعامل مع التسميات ذات الأطوال المختلفة بشكل غير متسق على الرغم من جهود التطبيع. يقدم هذا المقال طريقة التطبيع السياقي المنظم (NCC)، وهي طريقة تطبع التنبؤات على مستوى التسمية الكاملة، مما يعالج هذا التحيز بشكل فعال. تظهر NCC تحسينات ذات دلالة إحصائية عبر مجموعات بيانات ونماذج متعددة، مع تحقيق مكاسب تصل إلى 10% في درجات F1. علاوة على ذلك، توسع NCC من تخفيف التحيز ليشمل مهامًا مثل الإجابة على الأسئلة متعددة الخيارات، مما يظهر حساسية أقل لاختيار أمثلة قليلة.

Los grandes modelos de lenguaje (LLMs) presentan un sesgo de longitud de etiqueta, donde las etiquetas de diferentes longitudes se tratan de manera inconsistente a pesar de los esfuerzos de normalización. Este artículo introduce la calibración contextual normalizada (NCC), un método que normaliza las predicciones a nivel de etiqueta completa, abordando eficazmente este sesgo. La NCC muestra mejoras estadísticamente significativas en múltiples conjuntos de datos y modelos, logrando hasta un 10% de aumento en las puntuaciones F1. Además, extiende la mitigación de sesgos a tareas como la respuest…

Les grands modèles de langage (LLMs) présentent un biais de longueur d'étiquette, où les étiquettes de longueurs variées sont traitées de manière incohérente malgré les efforts de normalisation. Cet article introduit la calibration contextuelle normalisée (NCC), une méthode qui normalise les prédictions au niveau de l'étiquette complète, abordant efficacement ce biais. La NCC montre des améliorations statistiquement significatives sur plusieurs ensembles de données et modèles, atteignant jusqu'à 10 % de gains dans les scores F1. De plus, elle étend l'atténuation des biais à des tâches telles q…

Large language models (LLMs) exhibit label length bias, where labels of varying lengths are treated inconsistently despite normalization efforts. This paper introduces normalized contextual calibration (NCC), a method that normalizes predictions at the full-label level, effectively addressing this bias. NCC demonstrates statistically significant improvements across multiple datasets and models, achieving up to 10% gains in F1 scores. Additionally, it extends bias mitigation to tasks like multiple-choice question answering, showing reduced sensitivity to few-shot example selection.

Mitigating Label Length Bias in Large Language Models

Was this article worth reading? Share it

LucidQuery AI

Humanize AI

ModelsLab

Langtail

Polidict

Hypertune

Ready to build your own newsroom?