arXiv:2505.19470v2 Announce Type: replace 
Abstract: Latent variables (LVs) play a crucial role in encoder-decoder models by enabling effective data compression, prediction, and generation. Although their theoretical properties, such as generalization, have been extensively studied in supervised learning, similar analyses for unsupervised models such as variational autoencoders (VAEs) remain insufficiently underexplored. In this work, we extend information-theoretic generalization analysis to vector-quantized (VQ) VAEs with discrete latent spaces, introducing a novel data-dependent prior to rigorously analyze the relationship among LVs, generalization, and data generation. We derive a novel generalization error bound of the reconstruction loss of VQ-VAEs, which depends solely on the complexity of LVs and the encoder, independent of the decoder. Additionally, we provide the upper bound of the 2-Wasserstein distance between the distributions of the true data and the generated data, explaining how the regularization of the LVs contributes to the data generation performance.

تتناول دراسة حديثة أهمية المتغيرات الكامنة في نماذج الترميز-فك الترميز، مع التركيز بشكل خاص على دورها في المشفرات التلقائية التباينية (VAEs). على الرغم من أنه تم استكشاف الكثير حول خصائصها النظرية في التعلم الخاضع للإشراف، فإن هذه الأبحاث تبرز الحاجة إلى فهم أعمق لهذه المتغيرات في السياقات غير الخاضعة للإشراف. من خلال توسيع تحليل التعميم النظري للمعلومات، يمكن أن تعزز النتائج بشكل كبير من نهجنا في ضغط البيانات وتوليدها في التعلم الآلي، مما يجعلها خطوة محورية نحو التقدم المستقبلي في هذا المجال.

Un estudio reciente profundiza en la importancia de las variables latentes en los modelos de codificador-decodificador, centrándose especialmente en su papel en los autoencoders variacionales (VAE). Aunque se ha explorado mucho sobre sus propiedades teóricas en el aprendizaje supervisado, esta investigación destaca la necesidad de una comprensión más profunda de estas variables en contextos no supervisados. Al extender el análisis de generalización teórica de la información, los hallazgos podrían mejorar significativamente nuestra forma de abordar la compresión y generación de datos en el aprendizaje automático, lo que representa un paso fundamental para futuros avances en el campo.

Une étude récente examine l'importance des variables latentes dans les modèles encodeur-décodeur, en mettant particulièrement l'accent sur leur rôle dans les autoencodeurs variationnels (VAE). Bien que beaucoup ait été exploré concernant leurs propriétés théoriques dans l'apprentissage supervisé, cette recherche souligne la nécessité d'une compréhension plus approfondie de ces variables dans des contextes non supervisés. En étendant l'analyse de généralisation informationnelle, les résultats pourraient considérablement améliorer notre approche de la compression et de la génération de données en apprentissage automatique, ce qui constitue une étape cruciale pour les avancées futures dans le domaine.

A recent study delves into the importance of latent variables in encoder-decoder models, particularly focusing on their role in variational autoencoders (VAEs). While much has been explored regarding their theoretical properties in supervised learning, this research highlights the need for a deeper understanding of these variables in unsupervised contexts. By extending information-theoretic generalization analysis, the findings could significantly enhance how we approach data compression and generation in machine learning, making it a pivotal step for future advancements in the field.

Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables

arXiv:2512.05156v2 Announce Type: replace-cross 
Abstract: Evaluating faithfulness of Large Language Models (LLMs) to a given task is a complex challenge. We propose two new unsupervised metrics for faithfulness evaluation using insights from information theory and thermodynamics. Our approach treats an LLM as a bipartite information engine where hidden layers act as a Maxwell demon controlling transformations of context $C $ into answer $A$ via prompt $Q$. We model Question-Context-Answer (QCA) triplets as probability distributions over shared topics. Topic transformations from $C$ to $Q$ and $A$ are modeled as transition matrices ${\bf Q}$ and ${\bf A}$ encoding the query goal and actual result, respectively. Our semantic faithfulness (SF) metric quantifies faithfulness for any given QCA triplet by the Kullback-Leibler (KL) divergence between these matrices. Both matrices are inferred simultaneously via convex optimization of this KL divergence, and the final SF metric is obtained by mapping the minimal divergence onto the unit interval [0,1], where higher scores indicate greater faithfulness. Furthermore, we propose a thermodynamics-based semantic entropy production (SEP) metric in answer generation, and show that high faithfulness generally implies low entropy production. The SF and SEP metrics can be used jointly or separately for LLM evaluation and hallucination control. We demonstrate our framework on LLM summarization of corporate SEC 10-K filings.

دراسة حديثة تقدم مقاييس غير خاضعة للإشراف لتقييم موثوقية نماذج اللغة الكبيرة (LLMs)، باستخدام مفاهيم من نظرية المعلومات والديناميكا الحرارية. ي conceptualize النهج نماذج اللغة الكبيرة كمحركات معلومات ثنائية الجوانب، حيث تعمل الطبقات المخفية كشيطان ماكسويل، محولة السياق إلى إجابات من خلال المطالبات. تستخدم المقياس المقترح للموثوقية الدلالية انحراف كولباك-ليبلر لتقييم دقة ثلاثيات السؤال-السياق-الإجابة.

Un estudio reciente presenta dos métricas no supervisadas para evaluar la fidelidad de los Modelos de Lenguaje de Gran Escala (LLMs), utilizando conceptos de teoría de la información y termodinámica. El enfoque conceptualiza los LLMs como motores de información bipartitos, donde las capas ocultas funcionan como un demonio de Maxwell, transformando el contexto en respuestas a través de indicaciones. La métrica de fidelidad semántica propuesta emplea la divergencia de Kullback-Leibler para evaluar la precisión de los tripletes Pregunta-Contexto-Respuesta.

Une étude récente présente deux métriques non supervisées pour évaluer la fidélité des modèles de langage de grande taille (LLMs), utilisant des concepts de théorie de l'information et de thermodynamique. L'approche conceptualise les LLMs comme des moteurs d'information bipartites, où les couches cachées fonctionnent comme un démon de Maxwell, transformant le contexte en réponses via des invites. La métrique de fidélité sémantique proposée utilise la divergence de Kullback-Leibler pour évaluer l'exactitude des triplets Question-Contexte-Réponse.

A recent study introduces two unsupervised metrics for evaluating the faithfulness of Large Language Models (LLMs), utilizing concepts from information theory and thermodynamics. The approach conceptualizes LLMs as bipartite information engines, where hidden layers function as a Maxwell demon, transforming context into answers through prompts. The proposed semantic faithfulness metric employs Kullback-Leibler divergence to assess the accuracy of Question-Context-Answer triplets.

Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables

Was this article worth reading? Share it

LucidQuery AI

The Visualizer

Videolulu