arXiv:2511.14696v1 Announce Type: new 
Abstract: We investigate tokenization strategies for Kurdish word embeddings by comparing word-level, morpheme-based, and BPE approaches on morphological similarity preservation tasks. We develop a BiLSTM-CRF morphological segmenter using bootstrapped training from minimal manual annotation and evaluate Word2Vec embeddings across comprehensive metrics including similarity preservation, clustering quality, and semantic organization. Our analysis reveals critical evaluation biases in tokenization comparison. While BPE initially appears superior in morphological similarity, it evaluates only 28.6\% of test cases compared to 68.7\% for morpheme model, creating artificial performance inflation. When assessed comprehensively, morpheme-based tokenization demonstrates superior embedding space organization, better semantic neighborhood structure, and more balanced coverage across morphological complexity levels. These findings highlight the importance of coverage-aware evaluation in low-resource language processing and offers different tokenization methods for low-resourced language processing.

تستكشف الدراسة استراتيجيات تقسيم الكلمات لتضمين الكلمات الكردية، من خلال مقارنة الأساليب القائمة على الكلمات، والمورفيمات، وBPE، مع التركيز على الحفاظ على التشابه الصرفي. تم تطوير مقسم صرفي BiLSTM-CRF باستخدام تدريب معزز من خلال الحد الأدنى من التوصيف اليدوي. كشفت تقييمات تضمين Word2Vec عن تحيزات حرجة في مقارنات تقسيم الكلمات. على الرغم من أن BPE أظهر تفوقًا أوليًا في التشابه الصرفي، إلا أنه قيم 28.6% فقط من حالات الاختبار، مقارنةً بـ 68.7% لنموذج المورفيم، مما أدى إلى تضخيم الأداء بشكل مصطنع. عند التقييم الشامل، أظهرت تقسيمات المورفيمات تنظيمًا أفضل لمساحة التضمين وبنية جمالية أكثر توازنًا.

El estudio investiga estrategias de tokenización para embeddings de palabras kurdas, comparando métodos a nivel de palabra, basados en morfemas y BPE, enfocados en la preservación de la similitud morfológica. Se desarrolló un segmentador morfológico BiLSTM-CRF utilizando entrenamiento bootstrap a partir de una mínima anotación manual. La evaluación de embeddings Word2Vec reveló sesgos críticos en las comparaciones de tokenización. Aunque BPE mostró inicialmente superioridad en la similitud morfológica, solo evaluó el 28.6% de los casos de prueba, mientras que el modelo basado en morfemas evalu…

Cette étude examine les stratégies de tokenisation pour les embeddings de mots kurdes, en comparant les méthodes basées sur les mots, les morphèmes et BPE, axées sur la préservation de la similarité morphologique. Un segmentateur morphologique BiLSTM-CRF a été développé à partir d'une annotation manuelle minimale pour un entraînement bootstrap. L'évaluation des embeddings Word2Vec a révélé des biais critiques dans les comparaisons de tokenisation. Bien que BPE ait montré une supériorité initiale, il n'a évalué que 28,6 % des cas de test, contre 68,7 % pour le modèle basé sur les morphèmes. En …

The study investigates tokenization strategies for Kurdish word embeddings, comparing word-level, morpheme-based, and BPE methods focused on preserving morphological similarity. A BiLSTM-CRF morphological segmenter was developed using minimal manual annotation for bootstrapped training. The evaluation of Word2Vec embeddings revealed critical biases in tokenization comparisons. Although BPE showed initial superiority in morphological similarity, it only evaluated 28.6% of test cases, while the morpheme model assessed 68.7%. Ultimately, morpheme-based tokenization outperformed in embedding organ…

Subword Tokenization Strategies for Kurdish Word Embeddings

Was this article worth reading? Share it

Airparser

Humanize AI

Kosmik

Kwrds

Dubsmart LLC

Better Synonyms

Ready to build your own newsroom?