arXiv:2511.15260v1 Announce Type: new 
Abstract: In this paper, we report the results of the TeamNRC's participation in the BHASHA-Task 1 Grammatical Error Correction shared task https://github.com/BHASHA-Workshop/IndicGEC2025/ for 5 Indian languages. Our approach, focusing on zero/few-shot prompting of language models of varying sizes (4B to large proprietary models) achieved a Rank 4 in Telugu and Rank 2 in Hindi with GLEU scores of 83.78 and 84.31 respectively. In this paper, we extend the experiments to the other three languages of the shared task - Tamil, Malayalam and Bangla, and take a closer look at the data quality and evaluation metric used. Our results primarily highlight the potential of small language models, and summarize the concerns related to creating good quality datasets and appropriate metrics for this task that are suitable for Indian language scripts.

تناقش الورقة أداء فريق NRC في مهمة تصحيح الأخطاء النحوية BHASHA-Task 1، مع التركيز على خمس لغات هندية. استخدم النهج أسلوب التحفيز الصفري/القليل من أمثلة نماذج اللغة المختلفة، محققًا تصنيفات ملحوظة في التيلجو والهندية مع درجات GLEU تبلغ 83.78 و84.31 على التوالي. كما تفحص الدراسة جودة البيانات ومقاييس التقييم، مع التأكيد على إمكانيات نماذج اللغة الأصغر للكتابات الهندية.

El artículo discute el desempeño del TeamNRC en la tarea de corrección de errores gramaticales BHASHA-Task 1, centrándose en cinco lenguas indias. El enfoque utilizó el prompting cero/pocos ejemplos de varios modelos de lenguaje, logrando clasificaciones notables en telugu e hindi con puntajes GLEU de 83.78 y 84.31, respectivamente. El estudio también examina la calidad de los datos y las métricas de evaluación, enfatizando el potencial de los modelos de lenguaje más pequeños para los scripts indios.

Cet article traite des performances de TeamNRC dans la tâche de correction grammaticale BHASHA-Task 1, en se concentrant sur cinq langues indiennes. L'approche a utilisé le prompting zéro/peu d'exemples de divers modèles de langue, atteignant des classements notables en télougou et en hindi avec des scores GLEU de 83,78 et 84,31, respectivement. L'étude examine également la qualité des données et les métriques d'évaluation, soulignant le potentiel des petits modèles de langue pour les scripts indiens.

The paper discusses TeamNRC's performance in the BHASHA-Task 1 Grammatical Error Correction shared task, focusing on five Indian languages. The approach utilized zero/few-shot prompting of various language models, achieving notable ranks in Telugu and Hindi with GLEU scores of 83.78 and 84.31, respectively. The study also examines data quality and evaluation metrics, emphasizing the potential of smaller language models for Indian scripts.

IndicGEC: Powerful Models, or a Measurement Mirage?

The world's first dataset aimed at improving the quality of English-to-Malayalam machine translation—a long-overlooked language spoken by more than 38 million people in India—has been developed by researchers at the University of Surrey.

قام باحثون من جامعة ساري بتطوير أول مجموعة بيانات في العالم تهدف إلى تحسين الترجمة الآلية من الإنجليزية إلى المالايالامية، مما يعالج فجوة كبيرة لهذه اللغة ذات الموارد المحدودة التي يتحدث بها أكثر من 38 مليون شخص في الهند.

Investigadores de la Universidad de Surrey han desarrollado el primer conjunto de datos del mundo diseñado para mejorar la traducción automática del inglés al malayalam, abordando una brecha significativa para este idioma de bajos recursos hablado por más de 38 millones de personas en India.

Des chercheurs de l'Université de Surrey ont développé le premier ensemble de données au monde destiné à améliorer la traduction automatique de l'anglais vers le malayalam, comblant ainsi une lacune importante pour cette langue à faibles ressources parlée par plus de 38 millions de personnes en Inde.

Researchers at the University of Surrey have developed the world's first dataset designed to enhance English-to-Malayalam machine translation, addressing a significant gap for this low-resource language spoken by over 38 million people in India.

First-ever dataset to improve English-to-Malayalam machine translation fills critical gap for low-resource languages

arXiv:2601.08629v1 Announce Type: new 
Abstract: Data curation is a critical yet under-researched step in the machine translation training paradigm. To train translation systems, data acquisition relies primarily on human translations and digital parallel sources or, to a limited degree, synthetic generation. But, for low-resource languages, human translation to generate sufficient data is prohibitively expensive. Therefore, it is crucial to develop a framework that screens source sentences to form efficient parallel text, ensuring optimal MT system performance in low-resource environments. We approach this by evaluating English-Hindi bi-text to determine effective sentence selection strategies for optimal MT system training. Our extensively tested framework, (Lexical And Linguistically Informed Text Analysis) LALITA, targets source sentence selection using lexical and linguistic features to curate parallel corpora. We find that by training mostly on complex sentences from both existing and synthetic datasets, our method significantly improves translation quality. We test this by simulating low-resource data availabilty with curated datasets of 50K to 800K English sentences and report improved performances on all data sizes. LALITA demonstrates remarkable efficiency, reducing data needs by more than half across multiple languages (Hindi, Odia, Nepali, Norwegian Nynorsk, and German). This approach not only reduces MT systems training cost by reducing training data requirement, but also showcases LALITA's utility in data augmentation.

تبرز دراسة حديثة أهمية تنسيق البيانات في الترجمة الآلية، خاصة للغات ذات الموارد المحدودة. تقدم الدراسة LALITA، وهو إطار مصمم لتحسين اختيار الجمل المصدرية لإنشاء مجموعات نصية متوازية، مع التركيز على النص الثنائي الإنجليزي-الهندي لتحسين أداء الترجمة الآلية.

Un estudio reciente enfatiza la importancia de la curación de datos en la traducción automática, especialmente para lenguas de bajos recursos. La investigación presenta LALITA, un marco diseñado para optimizar la selección de oraciones fuente para crear corpora paralelos, enfocándose en el bi-texto inglés-hindi para mejorar el rendimiento de la traducción automática.

Une étude récente souligne l'importance de la curation des données dans la traduction automatique, en particulier pour les langues à faibles ressources. La recherche présente LALITA, un cadre conçu pour optimiser la sélection des phrases sources afin de créer des corpus parallèles, en se concentrant sur le bi-texte anglais-hindi pour améliorer les performances de la traduction automatique.

A recent study emphasizes the importance of data curation in machine translation, particularly for low-resource languages. The research introduces LALITA, a framework designed to optimize the selection of source sentences for creating parallel corpora, focusing on English-Hindi bi-text to enhance machine translation performance.

IndicGEC: Powerful Models, or a Measurement Mirage?

Was this article worth reading? Share it

Himalayas

Zemith-3bda3b

Be Like Native

CodeRank

Graza.ai

ChatOne

Ready to build your own newsroom?