arXiv:2605.21883v2 Announce Type: replace 
Abstract: Direct Preference Optimization (DPO) aligns Large Language Models with human preferences without the need for a separate reward model. However, DPO treats all tokens in responses equally, neglecting the differing importance of individual tokens. Existing token-level PO methods compute the token weights using either token-position-based heuristic functions or probability estimates given by a separately trained model, which lacks robustness and incurs extra training cost. In contrast, we propose Token-weighted DPO (TwDPO) -- a novel training objective grounded on token-weighted RL -- and AttentionPO -- an instantiation of TwDPO that uses attention from the LLM itself to estimate token weights. AttentionPO prompts the LLM to serve as a pairwise judge and check where the model attends when comparing the responses. This design makes AttentionPO content-aware, adjusting weights based on response content, and efficient, incurring only two extra forward passes per example. Experiment results show that AttentionPO significantly improves performance on AlpacaEval, MT-Bench, and ArenaHard, surpassing existing Preference Optimization methods.

يمثل تقديم تحسين التفضيلات المباشرة الموزونة بالرموز (TwDPO) وتجسيدها AttentionPO تقدمًا كبيرًا في مواءمة نماذج اللغة الكبيرة (LLMs) مع التفضيلات البشرية. على عكس الطرق التقليدية التي تعالج جميع الرموز بالتساوي، يستخدم TwDPO أوزان الرموز لتحسين تقييم استجابات النموذج بناءً على ملاءمة المحتوى.

La introducción de la Optimización Directa de Preferencias Ponderadas por Tokens (TwDPO) y su instanciación AttentionPO representa un avance significativo en la alineación de Modelos de Lenguaje de Gran Tamaño (LLMs) con las preferencias humanas. A diferencia de los métodos tradicionales que tratan todos los tokens por igual, TwDPO utiliza pesos de tokens para mejorar la evaluación de las respuestas del modelo en función de la relevancia del contenido.

L'introduction de l'Optimisation Directe de Préférences Pondérées par les Tokens (TwDPO) et de son instanciation AttentionPO marque une avancée significative dans l'alignement des Modèles de Langage de Grande Taille (LLMs) avec les préférences humaines. Contrairement aux méthodes traditionnelles qui traitent tous les tokens de manière égale, TwDPO utilise des poids de tokens pour améliorer l'évaluation des réponses du modèle en fonction de la pertinence du contenu.

The introduction of Token-weighted Direct Preference Optimization (TwDPO) and its instantiation AttentionPO marks a significant advancement in aligning Large Language Models (LLMs) with human preferences. Unlike traditional methods that treat all tokens equally, TwDPO utilizes token weights to enhance the model's response evaluation based on content relevance.