arXiv:2510.26697v2 Announce Type: replace 
Abstract: The "end-to-end" label for LLMs is a misnomer. In practice, they depend on a non-differentiable decoding process that requires laborious, hand-tuning of hyperparameters like temperature and top-p. This paper introduces AutoDeco, a novel architecture that enables truly "end-to-end" generation by learning to control its own decoding strategy. We augment the standard transformer with lightweight heads that, at each step, dynamically predict context-specific temperature and top-p values alongside the next-token logits. This approach transforms decoding into a parametric, token-level process, allowing the model to self-regulate its sampling strategy within a single forward pass.
  Through extensive experiments on eight benchmarks, we demonstrate that AutoDeco not only significantly outperforms default decoding strategies but also achieves performance comparable to an oracle-tuned baseline derived from "hacking the test set"-a practical upper bound for any static method. Crucially, we uncover an emergent capability for instruction-based decoding control: the model learns to interpret natural language commands (e.g., "generate with low randomness") and adjusts its predicted temperature and top-p on a token-by-token basis, opening a new paradigm for steerable and interactive LLM decoding.

تقدم ورقة جديدة AutoDeco، وهي بنية مبتكرة تهدف إلى إحداث ثورة في نماذج اللغة من خلال تمكين الجيل الحقيقي من النهاية إلى النهاية. على عكس النماذج التقليدية التي تعتمد على عمليات فك تشفير يدوية معقدة، يتعلم AutoDeco التحكم في استراتيجيته الخاصة لفك التشفير، مما يجعله أكثر كفاءة وسهولة في الاستخدام. هذه الخطوة مهمة لأنها قد تبسط تطوير نماذج اللغة، مما يقلل من الحاجة إلى ضبط المعلمات بشكل ممل، وقد تؤدي إلى تطبيقات أكثر دقة ومرونة في معالجة اللغة الطبيعية.

Un nuevo artículo presenta AutoDeco, una arquitectura innovadora que busca revolucionar los modelos de lenguaje al permitir una generación verdaderamente de extremo a extremo. A diferencia de los modelos tradicionales que dependen de procesos de decodificación manuales complejos, AutoDeco aprende a controlar su propia estrategia de decodificación, haciéndolo más eficiente y fácil de usar. Este avance es significativo, ya que podría simplificar el desarrollo de modelos de lenguaje, reduciendo la necesidad de ajustar tediosamente los hiperparámetros y potencialmente llevando a aplicaciones más precisas y versátiles en el procesamiento del lenguaje natural.

Un nouvel article présente AutoDeco, une architecture révolutionnaire qui vise à transformer les modèles de langage en permettant une génération véritablement de bout en bout. Contrairement aux modèles traditionnels qui dépendent de processus de décodage manuels complexes, AutoDeco apprend à contrôler sa propre stratégie de décodage, ce qui le rend plus efficace et convivial. Cette avancée est importante car elle pourrait simplifier le développement des modèles de langage, réduisant ainsi le besoin d'un réglage fastidieux des hyperparamètres et menant potentiellement à des applications plus précises et polyvalentes en traitement du langage naturel.

A new paper introduces AutoDeco, a groundbreaking architecture that aims to revolutionize language models by enabling truly end-to-end generation. Unlike traditional models that rely on complex manual decoding processes, AutoDeco learns to control its own decoding strategy, making it more efficient and user-friendly. This advancement is significant as it could streamline the development of language models, reducing the need for tedious hyperparameter tuning and potentially leading to more accurate and versatile applications in natural language processing.

The End of Manual Decoding: Towards Truly End-to-End Language Models

One More Thing in AI – Your Shortcut to AI Mastery

The End of Manual Decoding: Towards Truly End-to-End Language Models

Was this article worth reading? Share it

One More Thing in AI

Humanize AI

LucidQuery AI

Airparser

Chattermate

OpenL Translator

Ready to build your own newsroom?