arXiv:2508.05337v2 Announce Type: replace-cross 
Abstract: Recent Large Reasoning Language Models (LRLMs) employ long chain-of-thought reasoning with complex reflection behaviors, typically signaled by specific trigger words (e.g., "Wait" and "Alternatively") to enhance performance. However, these reflection behaviors can lead to the overthinking problem where the generation of redundant reasoning steps that unnecessarily increase token usage, raise inference costs, and reduce practical utility. In this paper, we propose Certainty-Guided Reflection Suppression (CGRS), a novel method that mitigates overthinking in LRLMs while maintaining reasoning accuracy. CGRS operates by dynamically suppressing the model's generation of reflection triggers when it exhibits high confidence in its current response, thereby preventing redundant reflection cycles without compromising output quality. Our approach is model-agnostic, requires no retraining or architectural modifications, and can be integrated seamlessly with existing autoregressive generation pipelines. Extensive experiments across four reasoning benchmarks (i.e., AIME24, AMC23, MATH500, and GPQA-D) demonstrate CGRS's effectiveness: it reduces token usage by an average of 18.5% to 41.9% while preserving accuracy. It also achieves the optimal balance between length reduction and performance compared to state-of-the-art baselines. These results hold consistently across model architectures (e.g., DeepSeek-R1-Distill series, QwQ-32B, and Qwen3 family) and scales (4B to 32B parameters), highlighting CGRS's practical value for efficient reasoning.

أدت التطورات الأخيرة في نماذج اللغة الكبيرة للسبب (LRLMs) إلى إدخال سلوكيات تفكير معقدة تعزز الأداء، ولكنها قد تؤدي أيضًا إلى الإفراط في التفكير. يؤدي هذا الإفراط في التفكير إلى خطوات تفكير زائدة، مما يزيد من استخدام الرموز وتكاليف الاستدلال. يقدم المقال طريقة جديدة تُسمى قمع التفكير الموجه باليقين (CGRS)، والتي تخفف هذه المشكلة من خلال قمع المحفزات الانعكاسية ديناميكيًا عندما يكون النموذج واثقًا من استجابته الحالية. هذه الطريقة مستقلة عن النموذج ولا تتطلب إعادة تدريب أو تعديلات معمارية.

Los recientes avances en los Modelos de Lenguaje de Razonamiento Grande (LRLM) han introducido comportamientos de reflexión complejos que mejoran el rendimiento, pero también pueden llevar a un exceso de reflexión. Este exceso de reflexión resulta en pasos de razonamiento redundantes, aumentando el uso de tokens y los costos de inferencia. El artículo presenta un nuevo método llamado Supresión de Reflexión Guiada por la Certeza (CGRS), que mitiga este problema al suprimir dinámicamente los desencadenantes de reflexión cuando el modelo tiene confianza en su respuesta. Este enfoque es independie…

Des avancées récentes dans les grands modèles de langage de raisonnement (LRLM) ont introduit des comportements de réflexion complexes qui améliorent les performances, mais peuvent également entraîner une sur-réflexion. Cette sur-réflexion entraîne des étapes de raisonnement redondantes, augmentant l'utilisation des jetons et les coûts d'inférence. L'article présente une nouvelle méthode appelée suppression de réflexion guidée par la certitude (CGRS), qui atténue ce problème en supprimant dynamiquement les déclencheurs de réflexion lorsque le modèle est confiant dans sa réponse. Cette approche…

Recent advancements in Large Reasoning Language Models (LRLMs) have introduced complex reflection behaviors that enhance performance but can also lead to overthinking. This overthinking results in redundant reasoning steps, increasing token usage and inference costs. The paper presents a new method called Certainty-Guided Reflection Suppression (CGRS), which mitigates this issue by dynamically suppressing reflection triggers when the model is confident in its response. This approach is model-agnostic and does not require retraining or architectural changes.

Efficient Reasoning for Large Reasoning Language Models via Certainty-Guided Reflection Suppression

arXiv:2508.17627v2 Announce Type: replace 
Abstract: Test-time scaling via explicit reasoning trajectories significantly boosts large language model (LLM) performance but often triggers overthinking. To explore this, we analyze reasoning through two lenses: Reasoning Length Dynamics, which reveals a compensatory trade-off between thinking and answer content length that eventually leads to thinking redundancy, and Reasoning Semantic Dynamics, which identifies semantic convergence and repetitive oscillations. These dynamics uncover an instance-specific Reasoning Completion Point (RCP), beyond which computation continues without further performance gain. Since the RCP varies across instances, we propose a Reasoning Completion Point Detector (RCPD), an inference-time early-exit method that identifies the RCP by monitoring the rank dynamics of termination tokens (e.g., </think>). Across AIME and GPQA benchmarks using Qwen3 and DeepSeek-R1, RCPD reduces token usage by up to 44% while preserving accuracy, offering a principled approach to efficient test-time scaling.

دراسة حديثة بعنوان 'تطور الفكر: تتبع التفكير الزائد في نماذج اللغة الكبيرة من خلال تحليل ديناميات التفكير' تستكشف أداء نماذج اللغة الكبيرة (LLMs) أثناء توسيع نطاق الاختبار، كاشفة أن المسارات الواضحة للتفكير يمكن أن تعزز الأداء ولكنها قد تؤدي أيضًا إلى التفكير الزائد. تقدم الدراسة عدستين تحليليتين: ديناميات طول التفكير وديناميات المعنى، اللتين تساعدان في تحديد نقطة إكمال التفكير (RCP) لتحسين الكفاءة الحسابية.

Un estudio reciente titulado 'La evolución del pensamiento: seguimiento del sobrepensamiento de los LLM a través del análisis de dinámicas de razonamiento' explora el rendimiento de los modelos de lenguaje de gran tamaño (LLM) durante la escalabilidad en tiempo de prueba, revelando que las trayectorias de razonamiento explícitas pueden mejorar el rendimiento, pero también pueden llevar al sobrepensamiento. La investigación introduce dos enfoques analíticos: las dinámicas de longitud de razonamiento y las dinámicas semánticas de razonamiento, que ayudan a identificar un Punto de Finalización de…

Une étude récente intitulée 'L'évolution de la pensée : Suivi de la surpensée des LLM via l'analyse des dynamiques de raisonnement' explore la performance des modèles de langage de grande taille (LLM) lors de l'échelonnement en temps de test, révélant que les trajectoires de raisonnement explicites peuvent améliorer la performance mais peuvent également entraîner une surpensée. La recherche introduit deux perspectives analytiques : les dynamiques de longueur de raisonnement et les dynamiques sémantiques de raisonnement, qui aident à identifier un point de complétion de raisonnement (RCP) pour …

A recent study titled 'The Evolution of Thought: Tracking LLM Overthinking via Reasoning Dynamics Analysis' explores the performance of large language models (LLMs) during test-time scaling, revealing that explicit reasoning trajectories can enhance performance but may also lead to overthinking. The research introduces two analytical lenses: Reasoning Length Dynamics and Reasoning Semantic Dynamics, which help identify a Reasoning Completion Point (RCP) for optimizing computational efficiency.

The Evolution of Thought: Tracking LLM Overthinking via Reasoning Dynamics Analysis

arXiv:2601.07182v2 Announce Type: replace 
Abstract: Policy optimization for large language models often suffers from sparse reward signals in multi-step reasoning tasks. Critic-free methods like GRPO assign a single normalized outcome reward to all tokens, providing limited guidance for intermediate reasoning . While Process Reward Models (PRMs) offer dense feedback, they risk premature collapse when used alone, as early low-reward tokens can drive policies toward truncated outputs. We introduce Process Relative Policy Optimization (PRPO), which combines outcome reliability with process-level guidance in a critic-free framework. PRPO segments reasoning sequences based on semantic clues, normalizes PRM scores into token-level advantages, and aligns their distribution with outcome advantages through location-parameter shift. On MATH500, PRPO improves Qwen2.5-Math-1.5B accuracy from 61.2% to 64.4% over GRPO using only eight rollouts and no value network, demonstrating efficient fine-grained credit assignment within critic-free optimization. Code is available at: https://github.com/SchumiDing/srpocode

تهدف مقدمة تحسين السياسة النسبية للعملية (PRPO) إلى تعزيز تحسين السياسات لنماذج اللغة الكبيرة (LLMs) من خلال مواءمة مكافآت العملية مع مكافآت النتائج، مما يعالج قيود الأساليب الحالية الخالية من النقاد مثل GRPO. يقدم PRPO نهجًا أكثر دقة من خلال تقسيم تسلسلات التفكير وتطبيع التغذية الراجعة، مما يحسن دقة نماذج مثل Qwen2.5-Math-1.5B في مهام مثل MATH500.

La introducción de la Optimización de Política Relativa al Proceso (PRPO) tiene como objetivo mejorar la optimización de políticas para grandes modelos de lenguaje (LLMs) al alinear las recompensas de proceso con las recompensas de resultado, abordando las limitaciones de métodos existentes sin críticos como GRPO. PRPO ofrece un enfoque más matizado al segmentar las secuencias de razonamiento y normalizar la retroalimentación, lo que mejora la precisión de modelos como Qwen2.5-Math-1.5B en tareas como MATH500.

L'introduction de l'Optimisation de Politique Relative au Processus (PRPO) vise à améliorer l'optimisation des politiques pour les grands modèles de langage (LLMs) en alignant les récompenses de processus avec les récompenses de résultat, répondant ainsi aux limites des méthodes sans critique existantes comme le GRPO. Le PRPO propose une approche plus nuancée en segmentant les séquences de raisonnement et en normalisant les retours, ce qui améliore la précision des modèles tels que Qwen2.5-Math-1.5B sur des tâches comme MATH500.

The introduction of Process Relative Policy Optimization (PRPO) aims to enhance policy optimization for large language models (LLMs) by aligning process rewards with outcome rewards, addressing the limitations of existing critic-free methods like GRPO. PRPO provides a more nuanced approach by segmenting reasoning sequences and normalizing feedback, which improves the accuracy of models such as Qwen2.5-Math-1.5B on tasks like MATH500.

PRPO: Aligning Process Reward with Outcome Reward in Policy Optimization

One More Thing in AI – Your Shortcut to AI Mastery

Efficient Reasoning for Large Reasoning Language Models via Certainty-Guided Reflection Suppression

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Supametas.AI

LangWatch

Langfuse

LCW

Ready to build your own newsroom?