arXiv:2508.21762v4 Announce Type: replace 
Abstract: AI researchers and practitioners increasingly apply large language models (LLMs) to what we call reasoning-intensive regression (RiR), i.e., deducing subtle numerical scores from text. Unlike standard language regression tasks such as sentiment or similarity analysis, RiR often appears instead in ad-hoc applications such as rubric-based scoring, modeling dense rewards in complex environments, or domain-specific retrieval, where much deeper analysis of context is required while only limited task-specific training data and computation are available. We cast four realistic problems as RiR tasks to establish an initial benchmark, and use that to test our hypothesis that prompting frozen LLMs and fine-tuning Transformer encoders via gradient descent will both often struggle in RiR. We then propose MENTAT, a simple and lightweight method that combines batch-reflective prompt optimization with neural ensemble learning. MENTAT achieves up to 65% improvement over both baselines, though substantial room remains for future advances.

يركز الباحثون في الذكاء الاصطناعي بشكل متزايد على الانحدار المكثف في التفكير (RiR)، وهي مهمة تتضمن استنتاج درجات عددية دقيقة من النص، مما يختلف عن مهام الانحدار اللغوي القياسية. هذه المقاربة ذات أهمية خاصة في السيناريوهات التي تتطلب تحليلًا عميقًا للسياق، مثل التقييم القائم على المعايير ونمذجة البيئات المعقدة. تهدف مقدمة MENTAT، وهي طريقة تجمع بين تحسين المطالبات وتعلم التجميع العصبي، إلى معالجة التحديات التي تواجهها النماذج التقليدية في مهام RiR.

Los investigadores de IA están enfocándose cada vez más en la regresión intensiva en razonamiento (RiR), una tarea que implica derivar puntuaciones numéricas sutiles a partir de texto, lo que difiere de las tareas de regresión lingüística estándar. Este enfoque es particularmente relevante en escenarios que requieren un análisis contextual profundo, como la evaluación basada en rúbricas y la modelización de entornos complejos. La introducción de MENTAT, un método que combina la optimización de indicaciones con el aprendizaje por conjunto neuronal, busca abordar los desafíos que enfrentan los m…

Les chercheurs en IA se concentrent de plus en plus sur la régression intensive en raisonnement (RiR), une tâche qui consiste à dériver des scores numériques nuancés à partir de textes, ce qui diffère des tâches de régression linguistique standard. Cette approche est particulièrement pertinente dans des scénarios nécessitant une analyse contextuelle approfondie, tels que l'évaluation basée sur des rubriques et la modélisation d'environnements complexes. L'introduction de MENTAT, une méthode qui combine l'optimisation des invites avec l'apprentissage par ensemble neuronal, vise à relever les dé…

AI researchers are increasingly focusing on reasoning-intensive regression (RiR), a task that involves deriving nuanced numerical scores from text, which differs from standard language regression tasks. This approach is particularly relevant in scenarios requiring deep contextual analysis, such as rubric-based scoring and complex environment modeling. The introduction of MENTAT, a method that combines prompt optimization with neural ensemble learning, aims to address the challenges faced by traditional models in RiR tasks.