arXiv:2510.16492v2 Announce Type: replace 
Abstract: As Large Language Model (LLM) agents increasingly operate in complex environments with real-world consequences, their safety becomes critical. While uncertainty quantification is well-studied for single-turn tasks, multi-turn agentic scenarios with real-world tool access present unique challenges where uncertainties and ambiguities compound, leading to severe or catastrophic risks beyond traditional text generation failures. We propose using "quitting" as a simple yet effective behavioral mechanism for LLM agents to recognize and withdraw from situations where they lack confidence. Leveraging the ToolEmu framework, we conduct a systematic evaluation of quitting behavior across 12 state-of-the-art LLMs. Our results demonstrate a highly favorable safety-helpfulness trade-off: agents prompted to quit with explicit instructions improve safety by an average of +0.39 on a 0-3 scale across all models (+0.64 for proprietary models), while maintaining a negligible average decrease of -0.03 in helpfulness. Our analysis demonstrates that simply adding explicit quit instructions proves to be a highly effective safety mechanism that can immediately be deployed in existing agent systems, and establishes quitting as an effective first-line defense mechanism for autonomous agents in high-stakes applications.

تسلط دراسة حديثة الضوء على أهمية الانسحاب الانتقائي في نماذج اللغة الكبيرة (LLM) لتعزيز سلامتها في البيئات المعقدة. مع تفاعل هذه النماذج مع أدوات العالم الحقيقي، يمكن أن تتصاعد المخاطر المرتبطة بالشكوك والالتباسات، مما قد يؤدي إلى عواقب وخيمة. من خلال تنفيذ استراتيجيات لإدارة هذه الشكوك، يمكننا تحسين موثوقية نماذج اللغة الكبيرة بشكل كبير، مما يجعلها أكثر أمانًا للاستخدامات العملية. هذه الأبحاث مهمة لأنها تتناول المخاوف المتزايدة بشأن سلامة أنظمة الذكاء الاصطناعي في السيناريوهات الواقعية.

Un estudio reciente destaca la importancia de renunciar selectivamente en los agentes de Modelos de Lenguaje Grande (LLM) para mejorar su seguridad en entornos complejos. A medida que estos agentes interactúan con herramientas del mundo real, los riesgos asociados con las incertidumbres y ambigüedades pueden escalar, lo que podría llevar a consecuencias graves. Al implementar estrategias para gestionar estas incertidumbres, podemos mejorar significativamente la fiabilidad de los LLM, haciéndolos más seguros para aplicaciones prácticas. Esta investigación es crucial, ya que aborda las crecientes preocupaciones sobre la seguridad de los sistemas de IA en escenarios del mundo real.

Une étude récente souligne l'importance de quitter sélectivement les agents de Modèle de Langage de Grande Taille (LLM) pour améliorer leur sécurité dans des environnements complexes. Alors que ces agents interagissent avec des outils du monde réel, les risques associés aux incertitudes et aux ambiguïtés peuvent s'intensifier, entraînant potentiellement des conséquences graves. En mettant en œuvre des stratégies pour gérer ces incertitudes, nous pouvons améliorer considérablement la fiabilité des LLM, les rendant plus sûrs pour des applications pratiques. Cette recherche est cruciale car elle aborde les préoccupations croissantes concernant la sécurité des systèmes d'IA dans des scénarios réels.

A recent study highlights the importance of selectively quitting in Large Language Model (LLM) agents to enhance their safety in complex environments. As these agents interact with real-world tools, the risks associated with uncertainties and ambiguities can escalate, potentially leading to severe consequences. By implementing strategies to manage these uncertainties, we can significantly improve the reliability of LLMs, making them safer for practical applications. This research is crucial as it addresses the growing concerns about the safety of AI systems in real-world scenarios.

Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety

arXiv:2510.21060v2 Announce Type: replace 
Abstract: Policy optimization (PO) is a cornerstone of modern reinforcement learning (RL), with diverse applications spanning robotics, healthcare, and large language model training. The increasing deployment of PO in sensitive domains, however, raises significant privacy concerns. In this paper, we initiate a theoretical study of differentially private policy optimization, focusing explicitly on its sample complexity. We first formalize an appropriate definition of differential privacy (DP) tailored to PO, addressing the inherent challenges arising from on-policy learning dynamics and the subtlety involved in defining the unit of privacy. We then systematically analyze the sample complexity of widely-used PO algorithms, including policy gradient (PG), natural policy gradient (NPG) and more, under DP constraints and various settings, via a unified framework. Our theoretical results demonstrate that privacy costs can often manifest as lower-order terms in the sample complexity, while also highlighting subtle yet important observations in private PO settings. These offer valuable practical insights for privacy-preserving PO algorithms.

تم نشر دراسة حديثة حول تحسين السياسات بشكل مختلف (DPPO) تركز على تعقيد العينة في تحسين السياسات (PO) في التعلم المعزز (RL). تتناول هذه الدراسة المخاوف المتعلقة بالخصوصية في التطبيقات الحساسة مثل الروبوتات والرعاية الصحية من خلال صياغة تعريف للخصوصية المختلفة يتناسب مع PO وتحليل تعقيد العينة لعدة خوارزميات PO تحت قيود DP.

Se ha publicado un estudio reciente sobre la optimización de políticas diferencialmente privadas (DPPO), centrado en la complejidad de muestra de la optimización de políticas (PO) en el aprendizaje por refuerzo (RL). Esta investigación aborda las preocupaciones de privacidad en aplicaciones sensibles como la robótica y la atención médica al formalizar una definición de privacidad diferencial adaptada a la PO y analizar la complejidad de muestra de varios algoritmos de PO bajo restricciones de DP.

Une étude récente sur l'optimisation de politiques différemment privées (DPPO) a été publiée, se concentrant sur la complexité d'échantillonnage de l'optimisation de politiques (PO) dans l'apprentissage par renforcement (RL). Cette recherche aborde les préoccupations en matière de confidentialité dans des applications sensibles telles que la robotique et les soins de santé en formalisant une définition de la confidentialité différentielle adaptée à la PO et en analysant la complexité d'échantillonnage de divers algorithmes de PO sous des contraintes de DP.

A recent study on differentially private policy optimization (DPPO) has been published, focusing on the sample complexity of policy optimization (PO) in reinforcement learning (RL). This research addresses privacy concerns in sensitive applications such as robotics and healthcare by formalizing a definition of differential privacy tailored to PO and analyzing the sample complexity of various PO algorithms under DP constraints.

On the Sample Complexity of Differentially Private Policy Optimization

One More Thing in AI – Your Shortcut to AI Mastery

Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Chattermate

Langtail

LangWatch

Legion AI

Ready to build your own newsroom?