arXiv:2510.24108v1 Announce Type: cross 
Abstract: End-to-end autonomous driving maps raw sensor inputs directly into ego-vehicle trajectories to avoid cascading errors from perception modules and to leverage rich semantic cues. Existing frameworks largely rely on Imitation Learning (IL), which can be limited by sub-optimal expert demonstrations and covariate shift during deployment. On the other hand, Reinforcement Learning (RL) has recently shown potential in scaling up with simulations, but is typically confined to low-dimensional symbolic inputs (e.g. 3D objects and maps), falling short of full end-to-end learning from raw sensor data. We introduce ZTRS (Zero-Imitation End-to-End Autonomous Driving with Trajectory Scoring), a framework that combines the strengths of both worlds: sensor inputs without losing information and RL training for robust planning. To the best of our knowledge, ZTRS is the first framework that eliminates IL entirely by only learning from rewards while operating directly on high-dimensional sensor data. ZTRS utilizes offline reinforcement learning with our proposed Exhaustive Policy Optimization (EPO), a variant of policy gradient tailored for enumerable actions and rewards. ZTRS demonstrates strong performance across three benchmarks: Navtest (generic real-world open-loop planning), Navhard (open-loop planning in challenging real-world and synthetic scenarios), and HUGSIM (simulated closed-loop driving). Specifically, ZTRS achieves the state-of-the-art result on Navhard and outperforms IL-based baselines on HUGSIM. Code will be available at https://github.com/woxihuanjiangguo/ZTRS.

نهج جديد للقيادة الذاتية يسمى ZTRS يثير ضجة في مجتمع التكنولوجيا. من خلال استخدام طرق شاملة تربط بيانات المستشعرات الخام مباشرةً بمسارات المركبات، يهدف إلى القضاء على الأخطاء التي غالبًا ما تنشأ من أنظمة الإدراك التقليدية. على عكس النماذج الحالية التي تعتمد بشكل كبير على التعلم بالتقليد، والذي يمكن أن يكون محدودًا بجودة العروض التقديمية من الخبراء، يستفيد ZTRS من التعلم المعزز لتحسين الأداء في البيئات المحاكاة. هذه الابتكار مهم لأنه قد يؤدي إلى مركبات ذاتية القيادة أكثر أمانًا وموثوقية على طرقنا.

Un nuevo enfoque para la conducción autónoma llamado ZTRS está causando revuelo en la comunidad tecnológica. Al utilizar métodos de extremo a extremo que mapean datos de sensores en bruto directamente a las trayectorias del vehículo, busca eliminar errores que a menudo surgen de los sistemas de percepción tradicionales. A diferencia de los modelos existentes que dependen en gran medida del aprendizaje por imitación, que puede estar limitado por la calidad de las demostraciones de expertos, ZTRS aprovecha el aprendizaje por refuerzo para mejorar el rendimiento en entornos simulados. Esta innovación es significativa, ya que podría llevar a vehículos autónomos más seguros y confiables en nuestras carreteras.

Une nouvelle approche de la conduite autonome appelée ZTRS fait sensation dans la communauté technologique. En utilisant des méthodes de bout en bout qui mappent les données brutes des capteurs directement aux trajectoires des véhicules, elle vise à éliminer les erreurs qui surviennent souvent avec les systèmes de perception traditionnels. Contrairement aux modèles existants qui dépendent fortement de l'apprentissage par imitation, limité par la qualité des démonstrations d'experts, ZTRS exploite l'apprentissage par renforcement pour améliorer les performances dans des environnements simulés. Cette innovation est significative car elle pourrait conduire à des véhicules autonomes plus sûrs et plus fiables sur nos routes.

A new approach to autonomous driving called ZTRS is making waves in the tech community. By using end-to-end methods that map raw sensor data directly to vehicle trajectories, it aims to eliminate errors that often arise from traditional perception systems. Unlike existing models that depend heavily on imitation learning, which can be limited by the quality of expert demonstrations, ZTRS leverages reinforcement learning to enhance performance in simulated environments. This innovation is significant as it could lead to safer and more reliable autonomous vehicles on our roads.

ZTRS: Zero-Imitation End-to-end Autonomous Driving with Trajectory Scoring

arXiv:2601.08247v1 Announce Type: new 
Abstract: Financial markets are influenced by human behavior that deviates from rationality due to cognitive biases. Traditional reinforcement learning (RL) models for financial decision-making assume rational agents, potentially overlooking the impact of psychological factors. This study integrates cognitive biases into RL frameworks for financial trading, hypothesizing that such models can exhibit human-like trading behavior and achieve better risk-adjusted returns than standard RL agents. We introduce biases, such as overconfidence and loss aversion, into reward structures and decision-making processes and evaluate their performance in simulated and real-world trading environments. Despite its inconclusive or negative results, this study provides insights into the challenges of incorporating human-like biases into RL, offering valuable lessons for developing robust financial AI systems.

دراسة حديثة نُشرت على arXiv تستكشف دمج التحيزات المعرفية في أطر التعلم المعزز (RL) لاتخاذ القرارات المالية، مشددةً على كيفية تأثير سلوك الإنسان المتأثر بتحيزات مثل الثقة الزائدة والقلق من الخسارة على استراتيجيات التداول. تهدف الأبحاث إلى إثبات أن نماذج التعلم المعزز التي تتضمن هذه التحيزات يمكن أن تحقق عوائد معدلة للمخاطر أفضل مقارنة بالنماذج التقليدية التي تفترض العقلانية.

Un estudio reciente publicado en arXiv explora la integración de sesgos cognitivos en los marcos de aprendizaje por refuerzo (RL) para la toma de decisiones financieras, destacando cómo el comportamiento humano influenciado por sesgos como la sobreconfianza y la aversión a la pérdida puede afectar las estrategias de trading. La investigación busca demostrar que los modelos de RL que incorporan estos sesgos pueden lograr mejores rendimientos ajustados al riesgo en comparación con los modelos tradicionales que asumen racionalidad.

Une étude récente publiée sur arXiv examine l'intégration des biais cognitifs dans les cadres d'apprentissage par renforcement (RL) pour la prise de décision financière, soulignant comment le comportement humain influencé par des biais tels que la surconfiance et l'aversion à la perte peut affecter les stratégies de trading. La recherche vise à démontrer que les modèles RL intégrant ces biais peuvent obtenir de meilleurs rendements ajustés au risque par rapport aux modèles traditionnels qui supposent la rationalité.

A recent study published on arXiv explores the integration of cognitive biases into reinforcement learning (RL) frameworks for financial decision-making, highlighting how human behavior influenced by biases like overconfidence and loss aversion can affect trading strategies. The research aims to demonstrate that RL models incorporating these biases can achieve better risk-adjusted returns compared to traditional models that assume rationality.

Incorporating Cognitive Biases into Reinforcement Learning for Financial Decision-Making

arXiv:2510.21060v2 Announce Type: replace 
Abstract: Policy optimization (PO) is a cornerstone of modern reinforcement learning (RL), with diverse applications spanning robotics, healthcare, and large language model training. The increasing deployment of PO in sensitive domains, however, raises significant privacy concerns. In this paper, we initiate a theoretical study of differentially private policy optimization, focusing explicitly on its sample complexity. We first formalize an appropriate definition of differential privacy (DP) tailored to PO, addressing the inherent challenges arising from on-policy learning dynamics and the subtlety involved in defining the unit of privacy. We then systematically analyze the sample complexity of widely-used PO algorithms, including policy gradient (PG), natural policy gradient (NPG) and more, under DP constraints and various settings, via a unified framework. Our theoretical results demonstrate that privacy costs can often manifest as lower-order terms in the sample complexity, while also highlighting subtle yet important observations in private PO settings. These offer valuable practical insights for privacy-preserving PO algorithms.

تم نشر دراسة حديثة حول تحسين السياسات بشكل مختلف (DPPO) تركز على تعقيد العينة في تحسين السياسات (PO) في التعلم المعزز (RL). تتناول هذه الدراسة المخاوف المتعلقة بالخصوصية في التطبيقات الحساسة مثل الروبوتات والرعاية الصحية من خلال صياغة تعريف للخصوصية المختلفة يتناسب مع PO وتحليل تعقيد العينة لعدة خوارزميات PO تحت قيود DP.

Se ha publicado un estudio reciente sobre la optimización de políticas diferencialmente privadas (DPPO), centrado en la complejidad de muestra de la optimización de políticas (PO) en el aprendizaje por refuerzo (RL). Esta investigación aborda las preocupaciones de privacidad en aplicaciones sensibles como la robótica y la atención médica al formalizar una definición de privacidad diferencial adaptada a la PO y analizar la complejidad de muestra de varios algoritmos de PO bajo restricciones de DP.

Une étude récente sur l'optimisation de politiques différemment privées (DPPO) a été publiée, se concentrant sur la complexité d'échantillonnage de l'optimisation de politiques (PO) dans l'apprentissage par renforcement (RL). Cette recherche aborde les préoccupations en matière de confidentialité dans des applications sensibles telles que la robotique et les soins de santé en formalisant une définition de la confidentialité différentielle adaptée à la PO et en analysant la complexité d'échantillonnage de divers algorithmes de PO sous des contraintes de DP.

A recent study on differentially private policy optimization (DPPO) has been published, focusing on the sample complexity of policy optimization (PO) in reinforcement learning (RL). This research addresses privacy concerns in sensitive applications such as robotics and healthcare by formalizing a definition of differential privacy tailored to PO and analyzing the sample complexity of various PO algorithms under DP constraints.

On the Sample Complexity of Differentially Private Policy Optimization

One More Thing in AI – Your Shortcut to AI Mastery

ZTRS: Zero-Imitation End-to-end Autonomous Driving with Trajectory Scoring

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Resyfy AI

Zemith-3bda3b

Dyad

Attentive AI

Ready to build your own newsroom?