arXiv:2503.04820v3 Announce Type: replace-cross 
Abstract: This article provides a practical introduction to kernel discrepancies, focusing on the Maximum Mean Discrepancy (MMD), the Hilbert-Schmidt Independence Criterion (HSIC), and the Kernel Stein Discrepancy (KSD). Various estimators for these discrepancies are presented, including the commonly-used V-statistics and U-statistics, as well as several forms of the more computationally-efficient incomplete U-statistics. The importance of the choice of kernel bandwidth is stressed, showing how it affects the behaviour of the discrepancy estimation. Adaptive estimators are introduced, which combine multiple estimators with various kernels, addressing the problem of kernel selection.

تقدم هذه المقالة مقدمة عملية للاختلافات النواة، مع التركيز بشكل خاص على اختلاف المتوسط الأقصى (MMD) ومعيار الاستقلال هيلبرت-شميت (HSIC) واختلاف شتاين النواة (KSD). تناقش المقالة مجموعة من المقدرات، بما في ذلك إحصائيات V وU، بالإضافة إلى إحصائيات U غير المكتملة الأكثر كفاءة. يعد فهم هذه المفاهيم أمرًا بالغ الأهمية للباحثين والممارسين في الإحصاء وتعلم الآلة، حيث توفر أدوات أساسية لقياس الفروق بين توزيعات الاحتمالات.

Este artículo sirve como una introducción práctica a las discrepancias de núcleo, centrándose específicamente en la Discrepancia de Media Máxima (MMD), el Criterio de Independencia de Hilbert-Schmidt (HSIC) y la Discrepancia de Stein de Núcleo (KSD). Se discuten varios estimadores, incluidas las estadísticas V y U, así como las estadísticas U incompletas más eficientes. Comprender estos conceptos es crucial para investigadores y profesionales en estadística y aprendizaje automático, ya que proporcionan herramientas esenciales para medir las diferencias entre distribuciones de probabilidad.

Cet article sert d'introduction pratique aux écarts de noyau, en se concentrant spécifiquement sur l'écart de moyenne maximale (MMD), le critère d'indépendance de Hilbert-Schmidt (HSIC) et l'écart de Stein de noyau (KSD). Il discute de divers estimateurs, y compris les statistiques V et U, ainsi que des statistiques U incomplètes plus efficaces. Comprendre ces concepts est crucial pour les chercheurs et praticiens en statistiques et apprentissage automatique, car ils fournissent des outils essentiels pour mesurer les différences entre les distributions de probabilité.

This article serves as a practical introduction to kernel discrepancies, specifically focusing on Maximum Mean Discrepancy (MMD), Hilbert-Schmidt Independence Criterion (HSIC), and Kernel Stein Discrepancy (KSD). It discusses various estimators, including V-statistics and U-statistics, along with more efficient incomplete U-statistics. Understanding these concepts is crucial for researchers and practitioners in statistics and machine learning, as they provide essential tools for measuring differences between probability distributions.

A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD

arXiv:2502.03587v4 Announce Type: replace-cross 
Abstract: Unsupervised domain adaptation (UDA) aims to improve model performance on an unlabeled target domain using a related, labeled source domain. A common approach aligns source and target feature distributions by minimizing a distance between them, often using symmetric measures such as maximum mean discrepancy (MMD). However, these methods struggle when target data is scarce. We propose a novel UDA framework that leverages Stein discrepancy, an asymmetric measure that depends on the target distribution only through its score function, making it particularly suitable for low-data target regimes. Our proposed method has kernelized and adversarial forms and supports flexible modeling of the target distribution via Gaussian, GMM, or VAE models. We derive a generalization bound on the target error and a convergence rate for the empirical Stein discrepancy in the two-sample setting. Empirically, our method consistently outperforms prior UDA approaches under limited target data across multiple benchmarks.

تم اقتراح إطار جديد للتكيف غير الخاضع للإشراف (UDA) يستفيد من تباين شتاين، وهو مقياس غير متماثل يركز على دالة الدرجة للتوزيع المستهدف. تهدف هذه الطريقة إلى تحسين أداء النموذج في السيناريوهات التي تكون فيها بيانات الهدف محدودة، مما يعالج تحديًا كبيرًا في منهجيات UDA التي تعتمد عادةً على مقاييس متماثلة مثل التباين المتوسط الأقصى (MMD).

Se ha propuesto un nuevo marco para la adaptación de dominio no supervisada (UDA) que aprovecha la discrepancia de Stein, una medida asimétrica que se centra en la función de puntuación de la distribución objetivo. Este enfoque busca mejorar el rendimiento del modelo en escenarios donde los datos objetivo son limitados, abordando un desafío significativo en las metodologías de UDA que generalmente dependen de medidas simétricas como la discrepancia media máxima (MMD).

Un nouveau cadre pour l'adaptation de domaine non supervisée (UDA) a été proposé, tirant parti de la discrépance de Stein, une mesure asymétrique qui se concentre sur la fonction de score de la distribution cible. Cette approche vise à améliorer la performance des modèles dans des scénarios où les données cibles sont limitées, répondant à un défi majeur des méthodologies UDA qui s'appuient généralement sur des mesures symétriques comme la discrépance moyenne maximale (MMD).

A novel framework for unsupervised domain adaptation (UDA) has been proposed, leveraging Stein discrepancy, an asymmetric measure that focuses on the target distribution's score function. This approach aims to enhance model performance in scenarios where target data is limited, addressing a significant challenge in UDA methodologies that typically rely on symmetric measures like maximum mean discrepancy (MMD).

A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD

Was this article worth reading? Share it

LucidQuery AI

Kwrds

BlockScore