arXiv:2505.24243v2 Announce Type: replace 
Abstract: Variational inference often struggles with the posterior geometry exhibited by complex hierarchical Bayesian models. Recent advances in flow-based variational families and Variationally Inferred Parameters (VIP) each address aspects of this challenge, but their formal relationship is unexplored. Here, we prove that the combination of VIP and a full-rank Gaussian can be represented exactly as a forward autoregressive flow augmented with a translation term and input from the model's prior. Guided by this theoretical insight, we introduce the Model-Informed Flow (MIF) architecture, which adds the necessary translation mechanism, prior information, and hierarchical ordering. Empirically, MIF delivers tighter posterior approximations and matches or exceeds state-of-the-art performance across a suite of hierarchical and non-hierarchical benchmarks.

أحرزت دراسة حديثة تقدمًا كبيرًا في تحسين الاستدلال التبايني لنماذج بايزيان الهرمية المعقدة. من خلال استكشاف العلاقة بين المعلمات المستنتجة بالتباين (VIP) والعائلات التباينية المستندة إلى التدفقات، أظهر الباحثون أن الجمع بين هذه الطرق يمكن أن يعزز دقة الاستدلال البايزي. هذه الخطوة مهمة لأنها تعالج التحديات التي تطرحها الهندسة الخلفية المعقدة لهذه النماذج، مما قد يؤدي إلى تحليلات إحصائية أكثر فعالية في مجالات مختلفة.

Un estudio reciente ha logrado avances significativos en la mejora de la inferencia variacional para modelos bayesianos jerárquicos complejos. Al explorar la relación entre los Parámetros Inferidos Variacionales (VIP) y las familias variacionales basadas en flujos, los investigadores han demostrado que la combinación de estos métodos puede mejorar la precisión de la inferencia bayesiana. Este avance es crucial, ya que aborda los desafíos que plantea la compleja geometría posterior de estos modelos, lo que podría llevar a análisis estadísticos más efectivos en diversos campos.

Une étude récente a fait des progrès significatifs dans l'amélioration de l'inférence variationnelle pour des modèles bayésiens hiérarchiques complexes. En explorant la relation entre les paramètres inférés par variation (VIP) et les familles variationnelles basées sur des flux, les chercheurs ont démontré que la combinaison de ces méthodes peut améliorer la précision de l'inférence bayésienne. Cette avancée est cruciale car elle répond aux défis posés par la géométrie postérieure complexe de ces modèles, ce qui pourrait conduire à des analyses statistiques plus efficaces dans divers domaines.

A recent study has made significant strides in improving variational inference for complex hierarchical Bayesian models. By exploring the relationship between Variationally Inferred Parameters (VIP) and flow-based variational families, researchers have demonstrated that combining these methods can enhance the accuracy of Bayesian inference. This advancement is crucial as it addresses the challenges posed by the intricate posterior geometry of these models, potentially leading to more effective statistical analyses in various fields.

Model-Informed Flows for Bayesian Inference

arXiv:2512.02532v1 Announce Type: new 
Abstract: To address the scalability limitations of Gaussian process (GP) regression, several approximation techniques have been proposed. One such method is based on tensor networks, which utilizes an exponential number of basis functions without incurring exponential computational cost. However, extending this model to a fully probabilistic formulation introduces several design challenges. In particular, for tensor train (TT) models, it is unclear which TT-core should be treated in a Bayesian manner. We introduce a Bayesian tensor train kernel machine that applies Laplace approximation to estimate the posterior distribution over a selected TT-core and employs variational inference (VI) for precision hyperparameters. Experiments show that core selection is largely independent of TT-ranks and feature structure, and that VI replaces cross-validation while offering up to 65x faster training. The method's effectiveness is demonstrated on an inverse dynamics problem.

تقدم دراسة جديدة آلة نواة تينسورية بايزية تستخدم تقريب لابلاس لتحسين الانحدار في العمليات الغاوسية في تحديد الأنظمة. تتناول هذه الطريقة مشكلات القابلية للتوسع من خلال تقدير التوزيع البعدي على نواة تينسورية مختارة، بينما تستخدم الاستدلال التبايني لدقة المعلمات الفائقة. تشير التجارب إلى أن اختيار النواة مستقل إلى حد كبير عن رتب التينسور وهياكل الميزات، مما يحقق أوقات تدريب أسرع بشكل ملحوظ.

Un nuevo estudio presenta una máquina de núcleo tensorial bayesiana que utiliza la aproximación de Laplace para mejorar la regresión de procesos gaussianos en la identificación de sistemas. Este método aborda los problemas de escalabilidad al estimar la distribución posterior sobre un núcleo tensorial seleccionado, mientras emplea inferencia variacional para la precisión de los hiperparámetros. Los experimentos indican que la selección del núcleo es en gran medida independiente de los rangos de tensor y las estructuras de características, logrando tiempos de entrenamiento significativamente má…

Une nouvelle étude présente une machine à noyau tensoriel bayésien qui utilise l'approximation de Laplace pour améliorer la régression des processus gaussiens dans l'identification des systèmes. Cette méthode aborde les problèmes d'évolutivité en estimant la distribution postérieure sur un noyau tensoriel sélectionné tout en utilisant l'inférence variationnelle pour la précision des hyperparamètres. Les expériences indiquent que la sélection des noyaux est largement indépendante des rangs des tensors et des structures des caractéristiques, atteignant des temps d'entraînement significativement …

A new study introduces a Bayesian tensor train kernel machine that utilizes Laplace approximation to enhance Gaussian process regression in system identification. This method addresses scalability issues by estimating the posterior distribution over a selected tensor train core while employing variational inference for hyperparameter precision. Experiments indicate that core selection is largely independent of tensor train ranks and feature structures, achieving significantly faster training times.

Model-Informed Flows for Bayesian Inference

Was this article worth reading? Share it

LucidQuery AI

Summiflow

Metaflow AI