arXiv:2504.20039v4 Announce Type: replace-cross 
Abstract: We introduce AutoJudge, a method that accelerates large language model (LLM) inference with task-specific lossy speculative decoding. Instead of matching the original model output distribution token-by-token, we identify which of the generated tokens affect the downstream quality of the response, relaxing the distribution match guarantee so that the "unimportant" tokens can be generated faster. Our approach relies on a semi-greedy search algorithm to test which of the mismatches between target and draft models should be corrected to preserve quality and which ones may be skipped. We then train a lightweight classifier based on existing LLM embeddings to predict, at inference time, which mismatching tokens can be safely accepted without compromising the final answer quality. We evaluate the effectiveness of AutoJudge with multiple draft/target model pairs on mathematical reasoning and programming benchmarks, achieving significant speedups at the cost of a minor accuracy reduction. Notably, on GSM8k with the Llama 3.1 70B target model, our approach achieves up to $\approx2\times$ speedup over speculative decoding at the cost of $\le 1\%$ drop in accuracy. When applied to the LiveCodeBench benchmark, AutoJudge automatically detects programming-specific important tokens, accepting $\ge 25$ tokens per speculation cycle at $2\%$ drop in Pass@1. Our approach requires no human annotation and is easy to integrate with modern LLM inference frameworks.

تقدم AutoJudge طريقة جديدة تهدف إلى تحسين استنتاج نماذج اللغة الكبيرة (LLM) من خلال فك تشفير تخميني محدد للمهام. تعتمد هذه الطريقة على تحديد الرموز التي تؤثر على جودة الاستجابة، مما يسمح بتوليد أسرع للرموز 'غير المهمة'. يتم استخدام خوارزمية بحث شبه جشعة لتحديد أي من التباينات يجب تصحيحها، بينما يتنبأ مصنف خفيف بقبول الرموز بشكل آمن أثناء الاستنتاج، مما يظهر تحسينات ملحوظة في معايير التفكير الرياضي والبرمجة.

AutoJudge es un nuevo método diseñado para mejorar la inferencia de modelos de lenguaje grandes (LLM) mediante un decodificación especulativa específica de la tarea. Este enfoque identifica qué tokens generados afectan la calidad de las respuestas, permitiendo una generación más rápida de tokens 'no importantes'. Se emplea un algoritmo de búsqueda semi-greedy para determinar qué desajustes deben corregirse, mientras que un clasificador ligero predice la aceptación segura de tokens durante la inferencia, mostrando mejoras significativas en benchmarks de razonamiento matemático y programación.

AutoJudge est une nouvelle méthode conçue pour améliorer l'inférence des grands modèles de langage (LLM) grâce à un décodage spéculatif spécifique à la tâche. Cette approche identifie les tokens générés qui impactent la qualité des réponses, permettant une génération plus rapide des tokens 'non importants'. Un algorithme de recherche semi-greedy est utilisé pour déterminer quels désaccords doivent être corrigés, tandis qu'un classificateur léger prédit l'acceptation sécurisée des tokens lors de l'inférence, montrant des améliorations significatives dans les benchmarks de raisonnement mathémati…

AutoJudge is a new method designed to enhance large language model (LLM) inference through task-specific lossy speculative decoding. This approach identifies which generated tokens impact the quality of responses, allowing for faster generation of 'unimportant' tokens. A semi-greedy search algorithm is employed to determine which mismatches should be corrected, while a lightweight classifier predicts safe token acceptance during inference, demonstrating significant improvements in mathematical reasoning and programming benchmarks.

AutoJudge: Judge Decoding Without Manual Annotation

Was this article worth reading? Share it

Panto AI

LCW

LangWatch