arXiv:2510.27114v1 Announce Type: cross 
Abstract: Behavior cloning methods for robot learning suffer from poor generalization due to limited data support beyond expert demonstrations. Recent approaches leveraging video prediction models have shown promising results by learning rich spatiotemporal representations from large-scale datasets. However, these models learn action-agnostic dynamics that cannot distinguish between different control inputs, limiting their utility for precise manipulation tasks and requiring large pretraining datasets. We propose a Dynamics-Aligned Flow Matching Policy (DAP) that integrates dynamics prediction into policy learning. Our method introduces a novel architecture where policy and dynamics models provide mutual corrective feedback during action generation, enabling self-correction and improved generalization. Empirical validation demonstrates generalization performance superior to baseline methods on real-world robotic manipulation tasks, showing particular robustness in OOD scenarios including visual distractions and lighting variations.

تتناول دراسة حديثة على arXiv التحديات التي تواجهها طرق استنساخ السلوك في تعلم الروبوتات، وخاصة صراعها مع التعميم بسبب البيانات المحدودة. تبرز الأبحاث كيف أن الأساليب الجديدة التي تستخدم نماذج التنبؤ بالفيديو تحقق تقدمًا من خلال تعلم تمثيلات مكانية زمنية معقدة من مجموعات بيانات واسعة النطاق. ومع ذلك، لا تزال هذه النماذج تواجه قيودًا لأنها لا تميز بين مدخلات التحكم المختلفة، وهو أمر حاسم للتلاعب الدقيق. هذه الأبحاث مهمة لأنها تعالج قضايا رئيسية في الروبوتات، مما يمهد الطريق لطرق تعلم أكثر فعالية.

Un estudio reciente en arXiv discute los desafíos que enfrentan los métodos de clonación de comportamiento en el aprendizaje de robots, especialmente su lucha con la generalización debido a datos limitados. La investigación destaca cómo los nuevos enfoques que utilizan modelos de predicción de video están avanzando al aprender representaciones espaciotemporales complejas a partir de grandes conjuntos de datos. Sin embargo, estos modelos aún enfrentan limitaciones ya que no distinguen entre diferentes entradas de control, lo cual es crucial para la manipulación precisa. Esta investigación es significativa ya que aborda problemas clave en robótica, allanando el camino para métodos de aprendizaje más efectivos.

Une étude récente sur arXiv aborde les défis rencontrés par les méthodes de clonage de comportement dans l'apprentissage des robots, en particulier leur difficulté à généraliser en raison de données limitées. La recherche met en lumière comment de nouvelles approches utilisant des modèles de prédiction vidéo progressent en apprenant des représentations spatiotemporelles complexes à partir de vastes ensembles de données. Cependant, ces modèles rencontrent toujours des limitations car ils ne différencient pas les différentes entrées de contrôle, ce qui est crucial pour une manipulation précise. Cette recherche est significative car elle traite des problèmes clés en robotique, ouvrant la voie à des méthodes d'apprentissage plus efficaces.

A recent study on arXiv discusses the challenges faced by behavior cloning methods in robot learning, particularly their struggle with generalization due to limited data. The research highlights how new approaches using video prediction models are making strides by learning complex spatiotemporal representations from extensive datasets. However, these models still face limitations as they do not differentiate between various control inputs, which is crucial for precise manipulation. This research is significant as it addresses key issues in robotics, paving the way for more effective learning methods.

Learning Generalizable Visuomotor Policy through Dynamics-Alignment

arXiv:2511.18140v1 Announce Type: cross 
Abstract: We propose Observer Actor (ObAct), a novel framework for active vision imitation learning in which the observer moves to optimal visual observations for the actor. We study ObAct on a dual-arm robotic system equipped with wrist-mounted cameras. At test time, ObAct dynamically assigns observer and actor roles: the observer arm constructs a 3D Gaussian Splatting (3DGS) representation from three images, virtually explores this to find an optimal camera pose, then moves to this pose; the actor arm then executes a policy using the observer's observations. This formulation enhances the clarity and visibility of both the object and the gripper in the policy's observations. As a result, we enable the training of ambidextrous policies on observations that remain closer to the occlusion-free training distribution, leading to more robust policies. We study this formulation with two existing imitation learning methods -- trajectory transfer and behavior cloning -- and experiments show that ObAct significantly outperforms static-camera setups: trajectory transfer improves by 145% without occlusion and 233% with occlusion, while behavior cloning improves by 75% and 143%, respectively. Videos are available at https://obact.github.io.

تم تقديم إطار عمل Observer Actor (ObAct) الذي يعزز التعلم بالتمثيل البصري النشط من خلال السماح لمراقب روبوتي بتحسين الملاحظات البصرية لذراع الفاعل. يستخدم هذا النظام كاميرات مثبتة على المعصم لإنشاء تمثيل من Gaussian Splatting ثلاثي الأبعاد، مما يمكّن المراقب من العثور على أوضاع الكاميرا المثلى وتحسين تنفيذ السياسات بواسطة ذراع الفاعل.

Se ha introducido el marco Observer Actor (ObAct), que mejora el aprendizaje por imitación de visión activa al permitir que un observador robótico optimice las observaciones visuales para un brazo actor. Este sistema utiliza cámaras montadas en la muñeca para crear una representación de 3D Gaussian Splatting, lo que permite al observador encontrar poses de cámara óptimas y mejorar la ejecución de políticas por parte del brazo actor.

Le cadre Observer Actor (ObAct) a été introduit, améliorant l'apprentissage par imitation de vision active en permettant à un observateur robotique d'optimiser les observations visuelles pour un bras acteur. Ce système utilise des caméras montées sur le poignet pour créer une représentation de 3D Gaussian Splatting, permettant à l'observateur de trouver des poses de caméra optimales et d'améliorer l'exécution des politiques par le bras acteur.

The Observer Actor (ObAct) framework has been introduced, enhancing active vision imitation learning by allowing a robotic observer to optimize visual observations for an actor arm. This system utilizes wrist-mounted cameras to create a 3D Gaussian Splatting representation, enabling the observer to find optimal camera poses and improve the execution of policies by the actor arm.

Learning Generalizable Visuomotor Policy through Dynamics-Alignment

Was this article worth reading? Share it

Dyad

Synthesia

Tombot Spark