arXiv:2605.27379v2 Announce Type: replace-cross 
Abstract: We present Soro, a family of Tajik-specialized conversational large language models (LLMs) designed for real-world deployment under tight compute and connectivity constraints in Tajikistan. Starting from open-weight Gemma 3 checkpoints, we perform Tajik-only continual pretraining on a curated 1.9-billion-token corpus spanning filtered web text, PDF documents, and curriculum-aligned educational materials, followed by supervised instruction tuning on 40K Tajik teacher-style examples. To enable rigorous evaluation despite the limited coverage of Tajik in standard benchmarks, we introduce a suite of Tajik benchmarks covering general knowledge, linguistic competence, and school- and university entrance-exam domains, and we open-source them on Hugging Face. Across these Tajik benchmarks, Soro substantially outperforms same-size Gemma 3 baselines while retaining strong English performance on standard datasets. We further show that FP8 and INT4 quantization of Soro preserves most Tajik-language gains while reducing memory requirements for edge deployment, supporting an ongoing education-sector pilot and planned scale-out across schools in Tajikistan.

يمثل إطلاق سورو، وهو مجموعة من نماذج اللغة الكبيرة المتخصصة في اللغة الطاجيكية، تقدمًا كبيرًا في تكنولوجيا الذكاء الاصطناعي المصممة لتناسب طاجيكستان، حيث تم استخدام مجموعة بيانات تحتوي على 1.9 مليار رمز للتدريب. تم تصميم هذا النموذج للعمل بكفاءة تحت قيود الموارد الحاسوبية والاتصال المحدود، مما يلبي الاحتياجات الفريدة للغة الطاجيكية.

El lanzamiento de Soro, una familia de modelos de lenguaje conversacionales especializados en tayiko, representa un avance significativo en la tecnología de IA adaptada a Tayikistán, utilizando un corpus de 1.9 mil millones de tokens para su entrenamiento. Este modelo está diseñado para operar de manera eficiente bajo limitaciones de recursos computacionales y conectividad, abordando las necesidades únicas del idioma tayiko.

Le lancement de Soro, une famille de modèles de langage conversationnels spécialisés en tadjik, constitue une avancée significative dans la technologie de l'IA adaptée au Tadjikistan, utilisant un corpus de 1,9 milliard de tokens pour l'entraînement. Ce modèle est conçu pour fonctionner efficacement sous des contraintes de ressources informatiques et de connectivité limitées, répondant aux besoins uniques de la langue tadjike.

The launch of Soro, a family of Tajik-specialized conversational large language models (LLMs), marks a significant advancement in AI technology tailored for Tajikistan, utilizing a 1.9-billion-token corpus for training. This model is designed to operate efficiently under limited computational resources and connectivity constraints, addressing the unique needs of the Tajik language.