arXiv:2511.16528v1 Announce Type: new 
Abstract: Neural information retrieval systems excel in high-resource languages but remain underexplored for morphologically rich, lower-resource languages such as Turkish. Dense bi-encoders currently dominate Turkish IR, yet late-interaction models -- which retain token-level representations for fine-grained matching -- have not been systematically evaluated. We introduce TurkColBERT, the first comprehensive benchmark comparing dense encoders and late-interaction models for Turkish retrieval. Our two-stage adaptation pipeline fine-tunes English and multilingual encoders on Turkish NLI/STS tasks, then converts them into ColBERT-style retrievers using PyLate trained on MS MARCO-TR. We evaluate 10 models across five Turkish BEIR datasets covering scientific, financial, and argumentative domains. Results show strong parameter efficiency: the 1.0M-parameter colbert-hash-nano-tr is 600$\times$ smaller than the 600M turkish-e5-large dense encoder while preserving over 71\% of its average mAP. Late-interaction models that are 3--5$\times$ smaller than dense encoders significantly outperform them; ColmmBERT-base-TR yields up to +13.8\% mAP on domain-specific tasks. For production-readiness, we compare indexing algorithms: MUVERA+Rerank is 3.33$\times$ faster than PLAID and offers +1.7\% relative mAP gain. This enables low-latency retrieval, with ColmmBERT-base-TR achieving 0.54 ms query times under MUVERA. We release all checkpoints, configs, and evaluation scripts. Limitations include reliance on moderately sized datasets ($\leq$50K documents) and translated benchmarks, which may not fully reflect real-world Turkish retrieval conditions; larger-scale MUVERA evaluations remain necessary.

تم تقديم TurkColBERT كأول معيار شامل لاسترجاع المعلومات باللغة التركية، حيث يقارن بين النماذج الكثيفة ونماذج التفاعل المتأخر. تسلط الدراسة الضوء على الإمكانيات غير المستكشفة لأنظمة استرجاع المعلومات العصبية للغة التركية، وهي لغة غنية مورفولوجيًا وأقل موارد. تشمل التقييمات 10 نماذج عبر خمسة مجموعات بيانات BEIR تركية، مما يظهر كفاءة كبيرة في المعلمات، خاصة مع نموذج colbert-hash-nano-tr، الذي هو أصغر بكثير من المشفرات الكثيفة الموجودة.

TurkColBERT se presenta como el primer benchmark integral para la recuperación de información en turco, comparando codificadores densos y modelos de interacción tardía. El estudio destaca el potencial inexplorado de los sistemas de recuperación de información neuronal para el turco, un idioma morfológicamente rico y con menos recursos. La evaluación incluye 10 modelos en cinco conjuntos de datos BEIR turcos, demostrando una eficiencia de parámetros significativa, especialmente con el modelo colbert-hash-nano-tr, que es considerablemente más pequeño que los codificadores densos existentes.

TurkColBERT est présenté comme le premier benchmark complet pour la recherche d'informations en turc, comparant les encodeurs denses et les modèles d'interaction tardive. L'étude met en lumière le potentiel sous-exploré des systèmes de recherche d'informations neuronaux pour le turc, une langue morphologiquement riche et moins dotée en ressources. L'évaluation comprend 10 modèles sur cinq ensembles de données BEIR turques, montrant une efficacité des paramètres significative, en particulier avec le modèle colbert-hash-nano-tr, qui est beaucoup plus petit que les encodeurs denses existants.

TurkColBERT is introduced as the first comprehensive benchmark for Turkish information retrieval, comparing dense encoders and late-interaction models. The study highlights the underexplored potential of neural information retrieval systems for Turkish, a morphologically rich, lower-resource language. The evaluation includes 10 models across five Turkish BEIR datasets, demonstrating significant parameter efficiency, particularly with the colbert-hash-nano-tr model, which is substantially smaller than existing dense encoders.

TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval

arXiv:2512.01460v1 Announce Type: cross 
Abstract: Limited data for low-resource languages typically yield weaker language models (LMs). Since pre-training is compute-intensive, it is more pragmatic to target improvements during fine-tuning. In this work, we examine the use of Active Learning (AL) methods augmented by structured data selection strategies which we term 'Active Learning schedulers', to boost the fine-tuning process with a limited amount of training data. We connect the AL to data clustering and propose an integrated fine-tuning pipeline that systematically combines AL, clustering, and dynamic data selection schedulers to enhance model's performance. Experiments in the Slovak, Maltese, Icelandic and Turkish languages show that the use of clustering during the fine-tuning phase together with AL scheduling can simultaneously produce annotation savings up to 30% and performance improvements up to four F1 score points, while also providing better fine-tuning stability.

قدمت دراسة حديثة تحسينات على ضبط BERT لتحليل المشاعر، مع التركيز بشكل خاص على اللغات ذات الموارد المحدودة مثل السلوفاكية، المالطية، الآيسلندية والتركية. تستخدم الدراسة طرق التعلم النشط مع استراتيجيات اختيار البيانات المنظمة، التي تُسمى 'جدولة التعلم النشط'، لتحسين عملية الضبط الدقيق مع كمية محدودة من بيانات التدريب، مما يحقق تحسينات كبيرة في الأداء وتوفير في التوصيف.

Un estudio reciente ha introducido mejoras en el ajuste fino de BERT para el análisis de sentimientos, enfocándose específicamente en idiomas de bajos recursos como el eslovaco, maltés, islandés y turco. La investigación emplea métodos de Aprendizaje Activo combinados con estrategias de selección de datos estructurados, denominados 'programadores de Aprendizaje Activo', para optimizar el proceso de ajuste fino con una cantidad limitada de datos de entrenamiento, logrando mejoras significativas en el rendimiento y ahorros en la anotación.

Une étude récente a introduit des améliorations dans le fine-tuning de BERT pour l'analyse des sentiments, ciblant spécifiquement les langues à faibles ressources telles que le slovaque, le maltais, l'islandais et le turc. La recherche utilise des méthodes d'apprentissage actif combinées à des stratégies de sélection de données structurées, appelées 'planificateurs d'apprentissage actif', pour optimiser le processus de fine-tuning avec des données d'entraînement limitées, réalisant des améliorations significatives de performance et des économies d'annotation.

A recent study has introduced enhancements to BERT fine-tuning for sentiment analysis specifically targeting lower-resourced languages such as Slovak, Maltese, Icelandic, and Turkish. The research employs Active Learning methods combined with structured data selection strategies, termed 'Active Learning schedulers', to optimize the fine-tuning process with limited training data, achieving significant performance improvements and annotation savings.

TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval

Was this article worth reading? Share it

PrettyPolly

Bytefitz

Sellm