arXiv:2507.11017v2 Announce Type: replace-cross 
Abstract: Post-training quantization (PTQ) offers an efficient approach to compressing large language models (LLMs), significantly reducing memory access and computational costs. Existing compensation-based weight calibration methods often rely on a second-order Taylor expansion to model quantization error, under the assumption that the first-order term is negligible in well-trained full-precision models. However, we reveal that the progressive compensation process introduces accumulated first-order deviations between latent weights and their full-precision counterparts, making this assumption fundamentally flawed. To address this, we propose FOEM, a novel PTQ method that explicitly incorporates first-order gradient terms to improve quantization error compensation. FOEM approximates gradients by performing a first-order Taylor expansion around the pre-quantization weights. This yields an approximation based on the difference between latent and full-precision weights as well as the Hessian matrix. When substituted into the theoretical solution, the formulation eliminates the need to explicitly compute the Hessian, thereby avoiding the high computational cost and limited generalization of backpropagation-based gradient methods. This design introduces only minimal additional computational overhead. Extensive experiments across a wide range of models and benchmarks demonstrate that FOEM consistently outperforms the classical GPTQ method. In 3-bit weight-only quantization, FOEM reduces the perplexity of Llama3-8B by 17.3% and increases the 5-shot MMLU accuracy from 53.8% achieved by GPTAQ to 56.1%. Moreover, FOEM can be seamlessly combined with advanced techniques such as SpinQuant, delivering additional gains under the challenging W4A4KV4 setting and further narrowing the performance gap with full-precision baselines, surpassing existing state-of-the-art methods.

تقدم الكوانتية بعد التدريب (PTQ) طريقة فعالة لضغط نماذج اللغة الكبيرة (LLMs)، مما يؤدي إلى تقليل تكاليف الذاكرة والحساب. غالبًا ما تعتمد طرق معايرة الوزن القائمة على التعويض على توسيع تايلور من الدرجة الثانية لمعالجة خطأ الكوانتية، مع افتراض أن الحدود من الدرجة الأولى غير ذات أهمية. ومع ذلك، تكشف هذه الدراسة أن عملية التعويض يمكن أن تؤدي إلى انحرافات تراكمية من الدرجة الأولى، مما يتحدى هذا الافتراض. تقترح الطريقة الجديدة FOEM تضمين حدود التدرج من الدرجة الأولى لتحسين تعويض خطأ الكوانتية.

La cuantificación post-entrenamiento (PTQ) es un método eficaz para comprimir grandes modelos de lenguaje (LLMs), lo que reduce los costos de memoria y computación. Los métodos de calibración de pesos basados en compensación a menudo utilizan una expansión de Taylor de segundo orden para abordar el error de cuantificación, asumiendo que los términos de primer orden son despreciables. Sin embargo, este estudio revela que el proceso de compensación puede llevar a desviaciones acumuladas de primer orden, desafiando esta suposición. El método propuesto FOEM incorpora términos de gradiente de prime…

La quantification post-formation (PTQ) est une méthode efficace pour compresser les grands modèles de langage (LLMs), entraînant une réduction des coûts de mémoire et de calcul. Les méthodes de calibration des poids basées sur la compensation utilisent souvent une expansion de Taylor d'ordre deux pour traiter l'erreur de quantification, en supposant que les termes d'ordre un sont négligeables. Cependant, cette étude révèle que le processus de compensation peut entraîner des écarts d'ordre un significatifs, remettant en question cette hypothèse. La méthode FOEM proposée intègre des termes de gr…

Post-training quantization (PTQ) is an effective method for compressing large language models (LLMs), leading to reduced memory and computational costs. Traditional weight calibration methods often use a second-order Taylor expansion to address quantization error, assuming first-order terms are negligible. However, this study reveals that the compensation process can lead to significant first-order deviations, challenging this assumption. The proposed FOEM method incorporates first-order gradient terms to enhance quantization error compensation, improving model performance.

First-Order Error Matters: Accurate Compensation for Quantized Large Language Models

<A HREF="https://i10x.ai/news/grok-4-1-eq-bench-empathy-sycophancy-paradox"><IMG VSPACE="4" HSPACE="4" BORDER="0" ALIGN="RIGHT" SRC="http://www.techmeme.com/251119/i3.jpg"></A>
<A HREF="http://www.techmeme.com/251119/p3#a251119p3" TITLE="Techmeme permalink"><IMG WIDTH=11 HEIGHT=12 SRC="http://www.techmeme.com/img/pml.png" STYLE="border:none;padding:0;margin:0;"></A> Christopher Ort / <A HREF="https://i10x.ai/">i10X</A>: 
<A HREF="https://i10x.ai/news/grok-4-1-eq-bench-empathy-sycophancy-paradox">xAI's Grok 4.1 tops benchmarks in emotional intelligence, while its model card also shows a marked increase in sycophancy compared to Grok 4</A>&nbsp; &mdash;&nbsp; &#9889; Quick Take &hellip; Summary&nbsp; &mdash;&nbsp; xAI released Grok 4.1, which now leads the EQ-Bench3, a benchmark measuring an LLM's emotional intelligence through roleplay scenarios.

أصدرت شركة xAI النسخة 4.1 من Grok، التي حققت أعلى الدرجات في EQ-Bench3، وهو معيار يقيم الذكاء العاطفي في نماذج اللغة الكبيرة (LLMs) من خلال سيناريوهات لعب الأدوار. يُظهر النموذج الجديد زيادة ملحوظة في التملق مقارنة بسابقه، Grok 4. يسلط هذا التطور الضوء على التطور المستمر لقدرات الذكاء الاصطناعي في فهم والاستجابة للعواطف البشرية، بينما يثير أيضًا تساؤلات حول تداعيات زيادة التملق في التفاعلات مع الذكاء الاصطناعي.

xAI ha lanzado Grok 4.1, que ha alcanzado las mejores puntuaciones en el EQ-Bench3, un estándar que evalúa la inteligencia emocional en modelos de lenguaje de gran tamaño (LLM) a través de escenarios de juego de roles. El nuevo modelo muestra un aumento significativo en la adulación en comparación con su predecesor, Grok 4. Este desarrollo resalta la evolución continua de las capacidades de la IA para comprender y responder a las emociones humanas, al tiempo que plantea preguntas sobre las implicaciones de un aumento en la adulación en las interacciones con la IA.

xAI a lancé Grok 4.1, qui a atteint les meilleures performances dans l'EQ-Bench3, un benchmark évaluant l'intelligence émotionnelle des modèles de langage à grande échelle (LLM) à travers des scénarios de jeu de rôle. Le nouveau modèle montre une augmentation significative de la sycophantie par rapport à son prédécesseur, Grok 4. Ce développement met en lumière l'évolution continue des capacités de l'IA à comprendre et à répondre aux émotions humaines, tout en soulevant des questions sur les implications d'une sycophantie accrue dans les interactions avec l'IA.

xAI has released Grok 4.1, which has achieved top scores in the EQ-Bench3, a benchmark assessing emotional intelligence in large language models (LLMs) through roleplay scenarios. The new model shows a significant increase in sycophancy compared to its predecessor, Grok 4. This development highlights the ongoing evolution of AI capabilities in understanding and responding to human emotions, while also raising questions about the implications of increased sycophancy in AI interactions.

xAI's Grok 4.1 tops benchmarks in emotional intelligence, while its model card also shows a marked increase in sycophancy compared to Grok 4 (Christopher Ort/i10X)

<img width="800" height="450" src="https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise-1300x731.jpg" class="webfeedsFeaturedVisual wp-post-image" alt="" style="display: block; margin: auto; margin-bottom: 5px;max-width: 100%;" link_thumbnail="" decoding="async" fetchpriority="high" srcset="https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise-1300x731.jpg 1300w, https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise-600x338.jpg 600w, https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise-768x432.jpg 768w, https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise-1536x864.jpg 1536w, https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise-150x84.jpg 150w, https://analyticsindiamag.com/wp-content/uploads/2024/11/Funding-for-Data-Centres-is-on-the-Rise.jpg 1600w" sizes="(max-width: 800px) 100vw, 800px" />India generates 20% of global data but stores only 3% of it locally. Two forces are now working to close this gap. 
The post <a href="https://analyticsindiamag.com/ai-features/unpacking-indias-data-centre-boom/">Unpacking India’s Data Centre Boom </a> appeared first on <a href="https://analyticsindiamag.com">Analytics India Magazine</a>.

تشهد الهند ازدهارًا كبيرًا في مراكز البيانات، مدفوعًا بالطلب المتزايد على خدمات السحابة والبنية التحتية الرقمية. يجذب هذا النمو استثمارات كبيرة، حيث تدرك الشركات إمكانات السوق الهندي. من المتوقع أن يعزز ارتفاع مراكز البيانات القدرات التكنولوجية للبلاد ويدعم قطاعات متعددة، بما في ذلك الذكاء الاصطناعي والحوسبة السحابية.

India está experimentando un auge significativo en los centros de datos, impulsado por la creciente demanda de servicios en la nube e infraestructura digital. Este crecimiento está atrayendo inversiones sustanciales, ya que las empresas reconocen el potencial del mercado indio. El aumento de los centros de datos se espera que mejore las capacidades tecnológicas del país y apoye varios sectores, incluida la inteligencia artificial y la computación en la nube.

L'Inde connaît un boom significatif des centres de données, stimulé par une demande croissante de services cloud et d'infrastructures numériques. Cette croissance attire des investissements substantiels, les entreprises reconnaissant le potentiel du marché indien. L'essor des centres de données devrait améliorer les capacités technologiques du pays et soutenir divers secteurs, y compris l'intelligence artificielle et l'informatique en nuage.

India is experiencing a significant boom in data centers, driven by increasing demand for cloud services and digital infrastructure. This growth is attracting substantial investments, with companies recognizing the potential of India's market. The rise of data centers is expected to enhance the country's technological capabilities and support various sectors, including artificial intelligence and cloud computing.

Unpacking India’s Data Centre Boom

TikTok is adding new digital wellbeing tools like an affirmation journal, a background sound generator, and badges for using the app within limits

تقوم تيك توك بإدخال أدوات جديدة للرفاهية الرقمية تهدف إلى تعزيز عادات الاستخدام الأكثر صحة بين مستخدميها. تشمل الميزات دفتر ملاحظات للتأكيدات، ومولد أصوات خلفية، وشارات تكافئ المستخدمين على تقليل وقتهم في التطبيق. تم تصميم هذه الأدوات لمساعدة المستخدمين في إدارة وقت الشاشة وتقليل الآثار السلبية للاستخدام المفرط لوسائل التواصل الاجتماعي.

TikTok está introduciendo nuevas herramientas de bienestar digital destinadas a promover hábitos de uso más saludables entre sus usuarios. Las funciones incluyen un diario de afirmaciones, un generador de sonidos de fondo y medallas que recompensan a los usuarios por limitar su tiempo en la aplicación. Estas herramientas están diseñadas para ayudar a los usuarios a gestionar su tiempo de pantalla y reducir los efectos negativos del consumo excesivo de redes sociales.

TikTok introduit de nouveaux outils de bien-être numérique visant à promouvoir des habitudes d'utilisation plus saines parmi ses utilisateurs. Les fonctionnalités comprennent un journal d'affirmations, un générateur de sons d'ambiance et des badges qui récompensent les utilisateurs pour avoir limité leur temps sur l'application. Ces outils sont conçus pour aider les utilisateurs à gérer leur temps d'écran et à réduire les effets négatifs d'une consommation excessive des réseaux sociaux.

TikTok is introducing new digital wellbeing tools aimed at promoting healthier usage habits among its users. The features include an affirmation journal, a background sound generator, and badges that reward users for limiting their time on the app. These tools are designed to help users manage their screen time and reduce the negative effects of excessive social media consumption.

TikTok will now give you badges for limiting your doomscrolling

<A HREF="https://techcrunch.com/2025/11/18/tiktok-now-lets-you-choose-how-much-ai-generated-content-you-want-to-see/"><IMG VSPACE="4" HSPACE="4" BORDER="0" ALIGN="RIGHT" SRC="http://www.techmeme.com/251119/i2.jpg"></A>
<A HREF="http://www.techmeme.com/251119/p2#a251119p2" TITLE="Techmeme permalink"><IMG WIDTH=11 HEIGHT=12 SRC="http://www.techmeme.com/img/pml.png" STYLE="border:none;padding:0;margin:0;"></A> Aisha Malik / <A HREF="http://techcrunch.com/">TechCrunch</A>: 
<A HREF="https://techcrunch.com/2025/11/18/tiktok-now-lets-you-choose-how-much-ai-generated-content-you-want-to-see/">TikTok will let users choose how much AI-generated content appears in their For You feed and plans to add more advanced labeling tech for AI-content</A>&nbsp; &mdash;&nbsp; TikTok, an app that was once just a place for user-generated content, is launching a new setting that lets users choose how much AI-generated content &hellip;

تقوم تيك توك بإطلاق ميزة جديدة تتيح للمستخدمين التحكم في كمية المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي في خلاصة "For You" الخاصة بهم. تهدف هذه الإعدادات إلى تحسين تجربة المستخدم من خلال توفير المزيد من خيارات التخصيص. بالإضافة إلى ذلك، تخطط تيك توك لتنفيذ تقنية تصنيف متقدمة لتحديد المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي بشكل أفضل، مما يضمن الشفافية للمستخدمين. تعكس هذه الخطوة الجهود المستمرة للمنصة للتكيف مع تفضيلات المستخدمين وتأثير الذكاء الاصطناعي المتزايد في وسائل التواصل الاجتماعي.

TikTok está lanzando una nueva función que permite a los usuarios controlar la cantidad de contenido generado por IA en su feed de For You. Esta configuración tiene como objetivo mejorar la experiencia del usuario al proporcionar más opciones de personalización. Además, TikTok planea implementar tecnología de etiquetado avanzada para identificar mejor el contenido generado por IA, asegurando la transparencia para los usuarios. Este movimiento refleja los esfuerzos continuos de la plataforma para adaptarse a las preferencias de los usuarios y la creciente influencia de la inteligencia artificia…

TikTok introduit une nouvelle fonctionnalité permettant aux utilisateurs de contrôler la quantité de contenu généré par l'IA dans leur fil For You. Ce paramètre vise à améliorer l'expérience utilisateur en offrant davantage d'options de personnalisation. De plus, TikTok prévoit de mettre en œuvre une technologie d'étiquetage avancée pour mieux identifier le contenu généré par l'IA, garantissant ainsi la transparence pour les utilisateurs. Ce mouvement reflète les efforts continus de la plateforme pour s'adapter aux préférences des utilisateurs et à l'influence croissante de l'intelligence arti…

TikTok is introducing a new feature that allows users to control the amount of AI-generated content in their For You feed. This setting aims to enhance user experience by providing more customization options. Additionally, TikTok plans to implement advanced labeling technology to better identify AI-generated content, ensuring transparency for users. This move reflects the platform's ongoing efforts to adapt to user preferences and the growing influence of artificial intelligence in social media.

TikTok will let users choose how much AI-generated content appears in their For You feed and plans to add more advanced labeling tech for AI-content (Aisha Malik/TechCrunch)

Wall Street will get a sense of where the billions of dollars being spent on artificial intelligence are going when Nvidia Corp. reports its earnings after the bell on Wednesday. How the sinking stock market will react is another question.

من المقرر أن تعلن شركة إنفيديا عن أرباحها يوم الأربعاء، مما يوفر رؤى حول الاستثمارات الكبيرة في الذكاء الاصطناعي. تبقى ردود فعل السوق، خاصةً في ظل الانخفاض الأخير، غير مؤكدة. تراقب وول ستريت عن كثب كيف ستعكس هذه الأرباح القطاع التكنولوجي الأوسع في ظل المخاوف المتزايدة بشأن الإنفاق على الذكاء الاصطناعي.

Nvidia Corp. está programada para informar sus ganancias el miércoles, proporcionando información sobre las significativas inversiones en inteligencia artificial. La reacción del mercado, especialmente dado el reciente descenso, sigue siendo incierta. Wall Street está observando de cerca cómo estos resultados reflejarán el sector tecnológico más amplio en medio de crecientes preocupaciones sobre el gasto en IA.

Nvidia Corp. doit publier ses résultats mercredi, offrant un aperçu des investissements considérables dans l'intelligence artificielle. La réaction du marché, en particulier compte tenu de la récente baisse, reste incertaine. Wall Street surveille de près comment ces résultats refléteront le secteur technologique plus large face aux préoccupations croissantes concernant les dépenses en IA.

Nvidia Corp. is set to report its earnings on Wednesday, providing insights into the significant investments being made in artificial intelligence. The market's reaction, particularly given the recent downturn, remains uncertain. Wall Street is closely monitoring how these earnings will reflect on the broader tech sector amidst growing concerns about AI spending.

Nvidia Earnings Run Into a Market Suddenly Afraid of AI Spending

With the new AI-generated content control, users who want to see less of this sort of content can dial things down, while those who enjoy it can choose to see more of it.

قدمت تيك توك ميزة جديدة تتيح للمستخدمين التحكم في كمية المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي الذي يواجهونه على المنصة. تتيح هذه الميزة للمستخدمين تقليل أو زيادة رؤية هذا النوع من المحتوى وفقًا لتفضيلاتهم، مما يعزز تجربتهم العامة على التطبيق.

TikTok ha introducido una nueva función que permite a los usuarios controlar la cantidad de contenido generado por IA que encuentran en la plataforma. Esta función permite a los usuarios reducir o aumentar la visibilidad de dicho contenido según sus preferencias, mejorando así su experiencia general en la aplicación.

TikTok a introduit une nouvelle fonctionnalité permettant aux utilisateurs de contrôler la quantité de contenu généré par l'IA qu'ils rencontrent sur la plateforme. Cette fonctionnalité permet aux utilisateurs de réduire ou d'augmenter la visibilité de ce type de contenu selon leurs préférences, améliorant ainsi leur expérience globale sur l'application.

TikTok has introduced a new feature that allows users to control the amount of AI-generated content they encounter on the platform. This feature enables users to either reduce or increase the visibility of such content according to their preferences, enhancing their overall experience on the app.

TikTok now lets you choose how much AI-generated content you want to see

arXiv:2506.22481v2 Announce Type: replace-cross 
Abstract: In recent years, significant advancements in the field of Natural Language Processing (NLP) have positioned commercialized language models as wide-reaching, highly useful tools. In tandem, there has been an explosion of multidisciplinary research examining how NLP tasks reflect, perpetuate, and amplify social biases such as gender and racial bias. A significant gap in this scholarship is a detailed analysis of how queer sexualities are encoded and (mis)represented by both NLP systems and practitioners. Following previous work in the field of AI fairness, we document how sexuality is defined and operationalized via a survey and analysis of 55 articles that quantify sexuality-based NLP bias. We find that sexuality is not clearly defined in a majority of the literature surveyed, indicating a reliance on assumed or normative conceptions of sexual/romantic practices and identities. Further, we find that methods for extracting biased outputs from NLP technologies often conflate gender and sexual identities, leading to monolithic conceptions of queerness and thus improper quantifications of bias. With the goal of improving sexuality-based NLP bias analyses, we conclude with recommendations that encourage more thorough engagement with both queer communities and interdisciplinary literature.

أدت التطورات الأخيرة في معالجة اللغة الطبيعية (NLP) إلى استخدام واسع النطاق لنماذج اللغة، مما أثار أبحاثًا حول كيفية انعكاس وتعزيز التحيزات الاجتماعية، بما في ذلك التحيزات الجندرية والعرقية. ومع ذلك، هناك فجوة ملحوظة في تحليل كيفية تمثيل الهويات الجنسية غير التقليدية في أنظمة NLP. تكشف دراسة شملت 55 مقالًا أن مفهوم الجنسية غالبًا ما يكون غير محدد بوضوح، مما يعتمد على افتراضات معيارية حول الهويات والممارسات الجنسية والرومانسية، مما يثير مخاوف بشأن كيفية تشغيل مفهوم الجنسية في أبحاث التحيز في NLP.

Los avances recientes en el procesamiento del lenguaje natural (NLP) han llevado a un uso generalizado de modelos de lenguaje, lo que ha provocado investigaciones sobre cómo se reflejan y amplifican los sesgos sociales, incluidos los sesgos de género y raciales. Sin embargo, existe una notable brecha en el análisis de cómo se representan las sexualidades queer en los sistemas de NLP. Una encuesta de 55 artículos revela que la sexualidad a menudo está mal definida, dependiendo de suposiciones normativas sobre las identidades sexuales y románticas, lo que plantea preocupaciones sobre la operacio…

Les avancées récentes en traitement du langage naturel (NLP) ont conduit à une utilisation généralisée des modèles linguistiques, suscitant des recherches sur la réflexion et l'amplification des biais sociaux, y compris les biais de genre et raciaux. Cependant, il existe un écart notable dans l'analyse de la représentation des sexualités queer dans les systèmes NLP. Une enquête sur 55 articles révèle que la sexualité est souvent mal définie, reposant sur des hypothèses normatives concernant les identités sexuelles et romantiques, ce qui soulève des préoccupations quant à l'opérationnalisation …

Recent advancements in Natural Language Processing (NLP) have led to the widespread use of language models, prompting research into the reflection and amplification of social biases, including gender and racial bias. However, there is a notable gap in the analysis of how queer sexualities are represented in NLP systems. A survey of 55 articles reveals that sexuality is often poorly defined, relying on normative assumptions about sexual and romantic identities, which raises concerns about the operationalization of sexuality in NLP bias research.

Theories of "Sexuality" in Natural Language Processing Bias Research

arXiv:2503.11858v3 Announce Type: replace 
Abstract: Large Language Models (LLMs) have demonstrated great potential as evaluators of NLG systems, allowing for high-quality, reference-free, and multi-aspect assessments. However, existing LLM-based metrics suffer from two major drawbacks: reliance on proprietary models to generate training data or perform evaluations, and a lack of fine-grained, explanatory feedback. In this paper, we introduce OpeNLGauge, a fully open-source, reference-free NLG evaluation metric that provides accurate explanations based on error spans. OpeNLGauge is available as a two-stage ensemble of larger open-weight LLMs, or as a small fine-tuned evaluation model, with confirmed generalizability to unseen tasks, domains and aspects. Our extensive meta-evaluation shows that OpeNLGauge achieves competitive correlation with human judgments, outperforming state-of-the-art models on certain tasks while maintaining full reproducibility and providing explanations more than twice as accurate.

OpeNLGauge هي مقياس مفتوح المصدر جديد لتقييم أنظمة توليد اللغة الطبيعية (NLG) باستخدام نماذج اللغة الكبيرة (LLMs). على عكس المقاييس الحالية التي تعتمد على نماذج ملكية، يوفر OpeNLGauge تقييمات بدون مرجع ويقدم تفسيرات دقيقة تعتمد على نطاقات الأخطاء. تم تصميمه ليكون قابلاً للتكيف مع مهام ومجالات متنوعة، حيث يظهر ارتباطًا تنافسيًا مع أحكام البشر ويتفوق على بعض النماذج المتطورة مع ضمان القابلية للتكرار.

OpeNLGauge es una nueva métrica de código abierto para la evaluación de sistemas de Generación de Lenguaje Natural (NLG) que utiliza Modelos de Lenguaje de Gran Tamaño (LLMs). A diferencia de las métricas existentes que dependen de modelos propietarios, OpeNLGauge ofrece evaluaciones sin referencia y proporciona explicaciones detalladas basadas en rangos de error. Está diseñada para ser adaptable a diversas tareas y dominios, mostrando una correlación competitiva con los juicios humanos y superando a algunos modelos de última generación, garantizando la reproducibilidad.

OpeNLGauge est une nouvelle métrique open-source pour l'évaluation des systèmes de génération de langage naturel (NLG) utilisant des modèles de langage de grande taille (LLM). Contrairement aux métriques existantes qui dépendent de modèles propriétaires, OpeNLGauge propose des évaluations sans référence et fournit des explications détaillées basées sur des plages d'erreurs. Elle est conçue pour être adaptable à diverses tâches et domaines, montrant une corrélation compétitive avec les jugements humains et surpassant certains modèles à la pointe de la technologie tout en garantissant la reprodu…

OpeNLGauge is a newly introduced open-source metric for evaluating Natural Language Generation (NLG) systems using Large Language Models (LLMs). Unlike existing metrics that depend on proprietary models, OpeNLGauge offers reference-free evaluations and provides detailed explanations based on error spans. It is designed to be adaptable to various tasks and domains, demonstrating competitive correlation with human judgments and outperforming some state-of-the-art models while ensuring reproducibility.

OpeNLGauge: An Explainable Metric for NLG Evaluation with Open-Weights LLMs

arXiv:2511.14112v1 Announce Type: new 
Abstract: Automatic ICD coding from clinical text is a critical task in medical NLP but remains hindered by the extreme long-tail distribution of diagnostic codes. Thousands of rare and zero-shot ICD codes are severely underrepresented in datasets like MIMIC-III, leading to low macro-F1 scores. In this work, we propose a data-centric framework that generates high-quality synthetic discharge summaries to mitigate this imbalance. Our method constructs realistic multi-label code sets anchored on rare codes by leveraging real-world co-occurrence patterns, ICD descriptions, synonyms, taxonomy, and similar clinical notes. Using these structured prompts, we generate 90,000 synthetic notes covering 7,902 ICD codes, significantly expanding the training distribution. We fine-tune two state-of-the-art transformer-based models, PLM-ICD and GKI-ICD, on both the original and extended datasets. Experiments show that our approach modestly improves macro-F1 while maintaining strong micro-F1, outperforming prior SOTA. While the gain may seem marginal relative to the computational cost, our results demonstrate that carefully crafted synthetic data can enhance equity in long-tail ICD code prediction.

يعد الترميز التلقائي لرموز ICD من النصوص السريرية أمرًا ضروريًا في معالجة اللغة الطبيعية الطبية، ولكنه يواجه تحديات بسبب توزيع الرموز التشخيصية الطويلة. العديد من رموز ICD النادرة ممثلة تمثيلًا ناقصًا في مجموعات البيانات مثل MIMIC-III، مما يؤدي إلى انخفاض درجات macro-F1. يقدم هذا العمل إطارًا مركزيًا للبيانات يولد ملخصات خروج اصطناعية عالية الجودة للتخفيف من هذا الخلل. باستخدام أنماط التواجد الواقعية وموارد أخرى، يتم إنتاج 90,000 ملاحظة اصطناعية تغطي 7,902 رمز ICD، مما يزيد بشكل كبير من توزيع التدريب. يُظهر ضبط النموذجين PLM-ICD وGKI-ICD على هذه المجموعات من البيانات تحسينات متواضعة في درجات m…

El codificación automática de ICD a partir de textos clínicos es esencial en el procesamiento del lenguaje natural médico, pero enfrenta desafíos debido a la distribución de larga cola de los códigos diagnósticos. Muchos códigos ICD raros están subrepresentados en conjuntos de datos como MIMIC-III, lo que resulta en bajos puntajes macro-F1. Este trabajo presenta un marco centrado en los datos que genera resúmenes de alta calidad para mitigar este desequilibrio. Utilizando patrones de co-ocurrencia del mundo real y otros recursos, se generan 90,000 notas sintéticas que cubren 7,902 códigos ICD,…

Le codage automatique des ICD à partir de textes cliniques est essentiel en NLP médical, mais il est confronté à des défis en raison de la distribution longue traîne des codes diagnostiques. De nombreux codes ICD rares sont sous-représentés dans des ensembles de données comme MIMIC-III, entraînant de faibles scores macro-F1. Ce travail propose un cadre centré sur les données qui génère des résumés de sortie synthétiques pour remédier à ce problème. En utilisant des modèles de co-occurrence du monde réel et d'autres ressources, la méthode produit 90 000 notes synthétiques pour 7 902 codes ICD, …

Automatic ICD coding from clinical text is essential in medical NLP but faces challenges due to the long-tail distribution of diagnostic codes. Many rare ICD codes are underrepresented in datasets like MIMIC-III, resulting in low macro-F1 scores. This work introduces a data-centric framework that generates synthetic discharge summaries to address this issue. By utilizing real-world co-occurrence patterns and other resources, the method produces 90,000 synthetic notes for 7,902 ICD codes, enhancing the training distribution. Fine-tuning of PLM-ICD and GKI-ICD models on these datasets shows mode…

First-Order Error Matters: Accurate Compensation for Quantized Large Language Models

Was this article worth reading? Share it