arXiv:2510.23486v3 Announce Type: replace 
Abstract: Large reasoning models (LRMs) often consume excessive tokens, inflating computational cost and latency. More broadly, in goal reaching sequential decision problems we often want to reach the goal quickly, and LRM reasoning can be viewed through this lens. We challenge the assumption that longer responses improve accuracy. By penalizing reasoning tokens using a discounted reinforcement learning setup (interpretable as a small token cost) and analyzing Blackwell optimality in restricted policy classes, we encourage concise yet accurate reasoning, analogous to preferring shorter successful trajectories in a stochastic shortest path problem. Experiments confirm our theoretical results that this approach shortens chains of thought while preserving accuracy.

تسلط الأبحاث الحديثة الضوء على نهج جديد لتحسين نماذج التفكير الكبيرة (LRMs) من خلال التعلم المعزز المخفض، الذي يعاقب على استخدام الرموز الزائدة في التفكير لتعزيز الكفاءة والدقة. يتحدى هذا الأسلوب الاعتقاد التقليدي بأن الردود الأطول تؤدي إلى نتائج أفضل، حيث يروج بدلاً من ذلك للتفكير الموجز الذي يشبه تحسين المسارات في مشاكل اتخاذ القرار.

Investigaciones recientes destacan un enfoque novedoso para mejorar los Modelos de Razonamiento Grande (MRG) a través del aprendizaje por refuerzo con descuento, que penaliza el uso excesivo de tokens de razonamiento para mejorar la eficiencia y la precisión. Este método desafía la creencia tradicional de que respuestas más largas producen mejores resultados, promoviendo en cambio un razonamiento conciso similar a la optimización de trayectorias en problemas de toma de decisiones.

Des recherches récentes mettent en avant une nouvelle approche pour améliorer les grands modèles de raisonnement (GMR) grâce à l'apprentissage par renforcement à coût réduit, qui pénalise l'utilisation excessive de tokens de raisonnement pour améliorer l'efficacité et la précision. Cette méthode remet en question la croyance traditionnelle selon laquelle des réponses plus longues donnent de meilleurs résultats, en promouvant plutôt un raisonnement concis semblable à l'optimisation des trajectoires dans les problèmes de prise de décision.

Recent research highlights a novel approach to improving Large Reasoning Models (LRMs) through discounted reinforcement learning, which penalizes excessive reasoning tokens to enhance efficiency and accuracy. This method challenges the traditional belief that longer responses yield better results, instead promoting concise reasoning akin to optimizing trajectories in decision-making problems.