arXiv:2605.24850v1 Announce Type: new 
Abstract: Evaluating whether large language models (LLMs) capture the structure of natural language beyond local fluency remains an open challenge. Existing evaluation methods, largely based on task performance or short-context behavior, provide limited insight into the long-range statistical organization of generated text.
  We propose a complementary evaluation framework based on repeated subsequences. By analyzing their distribution across scales and relating it to higher-order R\'enyi entropies, we probe how texts reuse previously established structure under finite-length conditions. Experiments on human-written texts and length-matched GPT-generated texts show that, while power-law models can describe restricted ranges of block length, the observed entropy growth is often equally or better characterized by logarithmic--power forms.
  Across datasets, natural language exhibits stable entropy-growth patterns over accessible ranges, with consistent average behavior despite variability across individual texts. In contrast, GPT-generated texts show systematic and statistically significant shifts in estimated exponents with model size. These results demonstrate that repeated-subsequence entropy provides a quantitative structural diagnostic that reveals systematic differences in long-range organization, distinguishing natural language from state-of-the-art LLM outputs beyond surface-level fluency.

دراسة حديثة نشرت على arXiv تستكشف قيود النماذج اللغوية الكبيرة (LLMs) في التقاط الفروق الهيكلية للغة الطبيعية، مقترحة إطار تقييم جديد يعتمد على التسلسلات الفرعية المتكررة. يهدف هذا الإطار إلى تحليل توزيع هذه التسلسلات الفرعية وعلاقتها بالانتروبيا من الدرجة العليا، كاشفًا عن فجوات كبيرة في أداء LLM مقارنة بالنصوص المكتوبة بواسطة البشر.

Un estudio reciente publicado en arXiv explora las limitaciones de los grandes modelos de lenguaje (LLMs) para capturar las sutilezas estructurales del lenguaje natural, proponiendo un nuevo marco de evaluación basado en subsecuencias repetidas. Este marco tiene como objetivo analizar la distribución de estas subsecuencias y su relación con las entropías de R'enyi de orden superior, revelando brechas significativas en el rendimiento de los LLM en comparación con los textos escritos por humanos.

Une étude récente publiée sur arXiv examine les limites des grands modèles de langage (LLMs) dans la capture des nuances structurelles du langage naturel, proposant un nouveau cadre d'évaluation basé sur des sous-séquences répétées. Ce cadre vise à analyser la distribution de ces sous-séquences et leur relation avec les entropies de R'enyi d'ordre supérieur, révélant des lacunes significatives dans la performance des LLM par rapport aux textes écrits par des humains.

A recent study published on arXiv explores the limitations of large language models (LLMs) in capturing the structural nuances of natural language, proposing a new evaluation framework based on repeated subsequences. This framework aims to analyze the distribution of these subsequences and their relation to higher-order R'enyi entropies, revealing significant gaps in LLM performance compared to human-written texts.