arXiv:2510.03013v4 Announce Type: replace 
Abstract: We propose a distributional framework for offline Inverse Reinforcement Learning (IRL) that jointly models uncertainty over reward functions and full distributions of returns. Unlike conventional IRL approaches that recover a deterministic reward estimate or match only expected returns, our method captures richer structure in expert behavior, particularly in learning the reward distribution, by minimizing first-order stochastic dominance (FSD) violations and thus integrating distortion risk measures (DRMs) into policy learning, enabling the recovery of both reward distributions and distribution-aware policies. This formulation is well-suited for behavior analysis and risk-aware imitation learning. Theoretical analysis shows that the algorithm converges with $\mathcal{O}(\varepsilon^{-2})$ iteration complexity. Empirical results on synthetic benchmarks, real-world neurobehavioral data, and MuJoCo control tasks demonstrate that our method recovers expressive reward representations and achieves state-of-the-art performance.

تم اقتراح إطار توزيع جديد لتعلم التعزيز العكسي (IRL) غير المتصل، والذي يقوم بنمذجة عدم اليقين حول وظائف المكافأة والتوزيعات الكاملة للعوائد. تعزز هذه الطريقة فهم سلوك الخبراء من خلال تقليل انتهاكات الهيمنة العشوائية من الدرجة الأولى ودمج مقاييس مخاطر التشويه في تعلم السياسات، مما يسمح باستعادة توزيعات المكافآت والسياسات المدركة للتوزيع.

Se ha propuesto un nuevo marco distribucional para el Aprendizaje por Refuerzo Inverso (IRL) offline, que modela la incertidumbre sobre las funciones de recompensa y las distribuciones completas de los retornos. Este método mejora la comprensión del comportamiento experto al minimizar las violaciones de dominancia estocástica de primer orden e integrar medidas de riesgo de distorsión en el aprendizaje de políticas, permitiendo la recuperación de distribuciones de recompensa y políticas conscientes de la distribución.

Un nouveau cadre distributionnel pour l'apprentissage par renforcement inverse (IRL) hors ligne a été proposé, modélisant l'incertitude sur les fonctions de récompense et les distributions complètes des retours. Cette méthode améliore la compréhension du comportement des experts en minimisant les violations de dominance stochastique de premier ordre et en intégrant des mesures de risque de distorsion dans l'apprentissage des politiques, permettant ainsi la récupération des distributions de récompense et des politiques sensibles à la distribution.

A new distributional framework for offline Inverse Reinforcement Learning (IRL) has been proposed, which models uncertainty over reward functions and full distributions of returns. This method enhances the understanding of expert behavior by minimizing first-order stochastic dominance violations and integrating distortion risk measures into policy learning, allowing for the recovery of reward distributions and distribution-aware policies.