arXiv:2606.13630v1 Announce Type: new 
Abstract: The choice of speech representation is critical in speech-driven 3D facial animation. Representations differ in what they encode: SSL features emphasize segmental and semantic cues, neural codecs yield latents optimized for acoustic reconstruction, and ASR-style objectives produce label-based spaces. We evaluate four speech representation families for 3D facial synthesis, comparing their facial reconstruction quality across two facial decoders using objective metrics and a perceptual evaluation. We additionally conduct probing analyses that relate tokenized representations to phonetic units and to articulatory deformations. We found that encoding phonetic classes is beneficial for accurate facial animation prediction on both semantic and label-based representations with comparable facial animation quality. From the latter, we introduce an Audio Visual Text-to-Speech (AVTTS) pipeline that leverages, as a shared space, discrete representations to decode speech and 3D facial motion.

دراسة حديثة نُشرت على arXiv تستكشف فعالية تمثيلات الكلام المختلفة في تحسين الرسوم المتحركة للوجه ثلاثي الأبعاد، مع التركيز على كيفية تأثير طرق الترميز المختلفة على جودة إعادة بناء الوجه. تقيم الدراسة ميزات SSL، والرموز العصبية، وأهداف ASR عبر جهازين لفك التشفير، كاشفة أن ترميز الفئات الصوتية يحسن بشكل كبير دقة الرسوم المتحركة.

Un estudio reciente publicado en arXiv investiga la efectividad de varias representaciones del habla para mejorar la animación facial 3D, centrándose en cómo diferentes métodos de codificación impactan la calidad de reconstrucción facial. La investigación evalúa características SSL, códecs neuronales y objetivos de estilo ASR a través de dos decodificadores faciales, revelando que la codificación de clases fonéticas mejora significativamente la precisión de la animación.

Une étude récente publiée sur arXiv examine l'efficacité de diverses représentations de la parole pour améliorer l'animation faciale 3D, en se concentrant sur l'impact des différentes méthodes d'encodage sur la qualité de reconstruction faciale. La recherche évalue les caractéristiques SSL, les codecs neuronaux et les objectifs de type ASR à travers deux décodeurs faciaux, révélant que l'encodage des classes phonétiques améliore considérablement la précision de l'animation.

A recent study published on arXiv investigates the effectiveness of various speech representations in enhancing 3D facial animation, focusing on how different encoding methods impact facial reconstruction quality. The research evaluates SSL features, neural codecs, and ASR-style objectives across two facial decoders, revealing that phonetic class encoding significantly improves animation accuracy.