arXiv:2511.10654v1 Announce Type: new 
Abstract: When deploying LLMs in agentic architectures requiring real-time decisions under temporal constraints, we assume they reliably determine whether action windows remain open or have closed. This assumption is untested. We characterize temporal constraint processing across eight production-scale models (2.8-8B parameters) using deadline detection tasks, revealing systematic deployment risks: bimodal performance distribution (models achieve either 95% or 50% accuracy), extreme prompt brittleness (30-60 percentage point swings from formatting changes alone), and systematic action bias (100% false positive rates in failing models). Parameter count shows no correlation with capability in this range-a 3.8B model matches 7B models while other 7B models fail completely. Fine-tuning on 200 synthetic examples improves models with partial capability by 12-37 percentage points. We demonstrate that temporal constraint satisfaction cannot be reliably learned through next-token prediction on natural language, even with targeted fine-tuning. This capability requires architectural mechanisms for: (1) continuous temporal state representation, (2) explicit constraint checking separate from linguistic pattern matching, (3) systematic compositional reasoning over temporal relations. Current autoregressive architectures lack these mechanisms. Deploying such systems in time-critical applications without hybrid architectures incorporating symbolic reasoning modules represents unacceptable risk.

تدرس الدراسة المعنونة 'التوصيف التجريبي لمعالجة القيود الزمنية في نماذج اللغة الكبيرة' كيفية تعامل نماذج اللغة الكبيرة (LLMs) مع القيود الزمنية في اتخاذ القرارات. يتم تقييم ثمانية نماذج على نطاق الإنتاج مع عدد من المعلمات يتراوح بين 2.8 إلى 8 مليارات. تكشف النتائج عن مخاطر كبيرة، بما في ذلك توزيع أداء ثنائي القطب، وحساسية شديدة للتغييرات في التنسيق، ومعدل إيجابيات كاذبة بنسبة 100% في بعض النماذج. أدى التعديل الدقيق على أمثلة صناعية إلى تحسين الأداء بنسبة تصل إلى 37 نقطة مئوية، لكن القدرة على تلبية القيود الزمنية لا تزال غير مثبتة.

El estudio titulado 'Caracterización empírica del procesamiento de restricciones temporales en LLMs' investiga cómo los grandes modelos de lenguaje (LLMs) manejan las restricciones temporales en la toma de decisiones. Se evalúan ocho modelos a gran escala con un rango de parámetros de 2.8 a 8 mil millones. Los hallazgos revelan riesgos significativos, incluyendo una distribución de rendimiento bimodal, alta sensibilidad a cambios en los formatos de entrada y una tasa de falsos positivos del 100% en algunos modelos. El ajuste fino en ejemplos sintéticos mejoró el rendimiento hasta en 37 puntos …

L'étude intitulée 'Caractérisation empirique du traitement des contraintes temporelles dans les LLM' examine comment les grands modèles de langage (LLM) gèrent les contraintes temporelles dans la prise de décision. Elle évalue huit modèles à grande échelle avec un nombre de paramètres allant de 2,8 à 8 milliards. Les résultats révèlent des risques significatifs, notamment une distribution de performance bimodale, une forte sensibilité aux changements de format et un taux de faux positifs de 100 % dans certains modèles. Un ajustement fin sur des exemples synthétiques a amélioré les performances…

The study titled 'Empirical Characterization of Temporal Constraint Processing in LLMs' investigates how large language models (LLMs) handle temporal constraints in decision-making. It evaluates eight production-scale models with parameter counts ranging from 2.8 to 8 billion. The findings reveal significant risks, including a bimodal performance distribution, high sensitivity to prompt changes, and a 100% false positive rate in some models. Fine-tuning on synthetic examples improved performance by up to 37 percentage points, but the ability to satisfy temporal constraints remains unproven.

Empirical Characterization of Temporal Constraint Processing in LLMs

Was this article worth reading? Share it

Ready to build your own newsroom?