arXiv:2511.12109v1 Announce Type: new 
Abstract: In this paper, we explore the effectiveness of combining fine-tuning and backtranslation on a small Japanese corpus for neural machine translation. Starting from a baseline English{\textrightarrow}Japanese model (COMET = 0.460), we first apply backtranslation (BT) using synthetic data generated from monolingual Japanese corpora, yielding a modest increase (COMET = 0.468). Next, we fine-tune (FT) the model on a genuine small parallel dataset drawn from diverse Japanese news and literary corpora, achieving a substantial jump to COMET = 0.589 when using Mistral 7B. Finally, we integrate both backtranslation and fine-tuning{ -- }first augmenting the small dataset with BT generated examples, then adapting via FT{ -- }which further boosts performance to COMET = 0.597. These results demonstrate that, even with limited training data, the synergistic use of backtranslation and targeted fine-tuning on Japanese corpora can significantly enhance translation quality, outperforming each technique in isolation. This approach offers a lightweight yet powerful strategy for improving low-resource language pairs.

تستكشف هذه الورقة فعالية الجمع بين الضبط الدقيق والترجمة العكسية لترجمة الآلات العصبية، مع التركيز على مجموعة بيانات يابانية صغيرة. بدءًا من نموذج أساسي للغة الإنجليزية إلى اليابانية (COMET = 0.460)، أدت الترجمة العكسية باستخدام بيانات اصطناعية تم إنشاؤها من مجموعات بيانات يابانية أحادية اللغة إلى زيادة طفيفة (COMET = 0.468). أدى الضبط الدقيق على مجموعة بيانات متوازية صغيرة مأخوذة من مصادر يابانية متنوعة إلى قفزة كبيرة (COMET = 0.589). أخيرًا، أدت دمج الطريقتين إلى تحسين الأداء إلى COMET = 0.597، مما يظهر إمكانية هذه التقنيات حتى مع بيانات تدريب محدودة.

Este artículo investiga la efectividad de combinar el ajuste fino y la retrotraducción para la traducción automática neuronal, centrándose en un pequeño corpus japonés. Comenzando con un modelo base de inglés a japonés (COMET = 0.460), la retrotraducción utilizando datos sintéticos generados a partir de corpus monolingües japoneses resultó en una ligera mejora (COMET = 0.468). El ajuste fino en un pequeño conjunto de datos paralelos de diversas fuentes japonesas llevó a un aumento significativo (COMET = 0.589). La integración de ambos métodos mejoró aún más el rendimiento a COMET = 0.597, most…

Cet article examine l'efficacité de la combinaison de l'ajustement fin et de la rétro-traduction pour la traduction automatique neuronale, en se concentrant sur un petit corpus japonais. En partant d'un modèle de base anglais-japonais (COMET = 0,460), la rétro-traduction utilisant des données synthétiques provenant de corpus japonais monolingues a entraîné une légère amélioration (COMET = 0,468). L'ajustement fin sur un petit ensemble de données parallèles provenant de diverses sources japonaises a conduit à une augmentation significative (COMET = 0,589). L'intégration des deux méthodes a enco…

This paper investigates the effectiveness of combining fine-tuning and backtranslation for neural machine translation, specifically on a small Japanese corpus. Starting with a baseline English-Japanese model (COMET = 0.460), backtranslation using synthetic data from monolingual Japanese corpora resulted in a slight improvement (COMET = 0.468). Fine-tuning on a small parallel dataset from diverse Japanese sources led to a significant increase (COMET = 0.589). The integration of both methods further enhanced performance to COMET = 0.597, showcasing the potential of these techniques even with lim…

Exploring Parameter-Efficient Fine-Tuning and Backtranslation for the WMT 25 General Translation Task

arXiv:2511.15059v1 Announce Type: new 
Abstract: Multimodal Large Language Models (MLLMs) have seen rapid advances in recent years and are now being applied to visual document understanding tasks. They are expected to process a wide range of document images across languages, including Japanese. Understanding documents from images requires models to read what are written in them. Since some Japanese documents are written vertically, support for vertical writing is essential. However, research specifically focused on vertically written Japanese text remains limited. In this study, we evaluate the reading capability of existing MLLMs on vertically written Japanese text. First, we generate a synthetic Japanese OCR dataset by rendering Japanese texts into images, and use it for both model fine-tuning and evaluation. This dataset includes Japanese text in both horizontal and vertical writing. We also create an evaluation dataset sourced from the real-world document images containing vertically written Japanese text. Using these datasets, we demonstrate that the existing MLLMs perform worse on vertically written Japanese text than on horizontally written Japanese text. Furthermore, we show that training MLLMs on our synthesized Japanese OCR dataset results in improving the performance of models that previously could not handle vertical writing. The datasets and code are publicly available https://github.com/llm-jp/eval_vertical_ja.

تقيّم هذه الدراسة أداء نماذج اللغة متعددة الوسائط (MLLMs) على النصوص اليابانية المكتوبة عموديًا، وهي منطقة شهدت أبحاثًا محدودة. قام المؤلفون بإنشاء مجموعة بيانات OCR يابانية صناعية تشمل الكتابة الأفقية والعمودية لتدريب النموذج وتقييمه. تهدف النتائج إلى تحسين فهم الصور الوثائقية باللغة اليابانية، خاصة تلك التي تحتوي على تنسيقات نص عمودي.

Este estudio evalúa el rendimiento de los Modelos de Lenguaje Multimodal (MLLM) en textos japoneses escritos verticalmente, un área que ha visto investigaciones limitadas. Los autores generaron un conjunto de datos OCR japonés sintético que incluye tanto escritura horizontal como vertical para el ajuste y la evaluación del modelo. Los hallazgos buscan mejorar la comprensión de las imágenes de documentos en japonés, particularmente aquellos con formatos de texto vertical.

Cette étude évalue la performance des modèles de langage multimodaux (MLLM) sur des textes japonais écrits verticalement, un domaine qui a connu peu de recherches. Les auteurs ont généré un ensemble de données OCR japonais synthétique comprenant à la fois des écritures horizontales et verticales pour le réglage et l'évaluation des modèles. Les résultats visent à améliorer la compréhension des images de documents en japonais, en particulier ceux avec des formats de texte vertical.

This study evaluates the performance of Multimodal Large Language Models (MLLMs) on vertically written Japanese text, an area that has seen limited research. The authors generated a synthetic Japanese OCR dataset that includes both horizontal and vertical writing for model fine-tuning and evaluation. The findings aim to enhance the understanding of document images in Japanese, particularly those with vertical text formats.

Exploring Parameter-Efficient Fine-Tuning and Backtranslation for the WMT 25 General Translation Task

Was this article worth reading? Share it