arXiv:2606.12199v1 Announce Type: cross 
Abstract: Spoken dialogue models typically start from text LLM backbones, yet reasoning often degrades when conditioning on speech instead of text. We attribute part of this modality gap to a temporal-granularity mismatch: speech tokens are temporally redundant and far longer than text under matched semantics, diluting per-token semantic density and weakening text-native reasoning dynamics. We study speech token design as a representation selection problem and sweep frame rates under a frozen LLM backbone with a fixed information rate. To make low frame rates feasible, we introduce factorized FSQ and a lightweight non-autoregressive audio LM head, scaling capacity to nearly 300\,bits/frame without sacrificing efficient prediction. With the bottleneck removed, we sweep frame rates (50$\rightarrow$2.08\,Hz) and alignment depth, and observe a consistent best regime for speech QA at 4.17\,Hz with intermediate-layer representation alignment.

دراسة حديثة نُشرت على arXiv تبحث في توافق تمثيلات الكلام والنص، كاشفةً أن الرموز الصوتية، بسبب تكرارها الزمني، تُخفف من الكثافة الدلالية وتضعف ديناميكيات التفكير مقارنةً بالنص. تقدم الدراسة نهجًا مبتكرًا لتحسين معدلات الإطار ومواءمة التمثيلات، محددةً أداءً مثاليًا لاستجابة الأسئلة الصوتية عند 4.17 هرتز.

Un estudio reciente publicado en arXiv investiga la alineación de las representaciones de voz y texto, revelando que los tokens de voz, debido a su redundancia temporal, diluyen la densidad semántica y debilitan las dinámicas de razonamiento en comparación con el texto. La investigación introduce un enfoque novedoso para optimizar las tasas de fotogramas y la alineación de representaciones, identificando un rendimiento máximo para la respuesta a preguntas de voz a 4.17 Hz.

Une étude récente publiée sur arXiv examine l'alignement des représentations de la parole et du texte, révélant que les jetons de parole, en raison de leur redondance temporelle, diluent la densité sémantique et affaiblissent les dynamiques de raisonnement par rapport au texte. La recherche introduit une approche novatrice pour optimiser les taux d'images et l'alignement des représentations, identifiant une performance optimale pour le question-réponse en parole à 4,17 Hz.

A recent study published on arXiv investigates the alignment of speech and text representations, revealing that speech tokens, due to their temporal redundancy, dilute semantic density and weaken reasoning dynamics when compared to text. The research introduces a novel approach to optimize frame rates and representation alignment, identifying a peak performance for speech question-answering at 4.17 Hz.