arXiv:2510.24134v2 Announce Type: replace 
Abstract: Recent advances in text-to-video (T2V) generation highlight the critical role of high-quality video-text pairs in training models capable of producing coherent and instruction-aligned videos. However, strategies for optimizing video captions specifically for T2V training remain underexplored. In this paper, we introduce VC4VG (Video Captioning for Video Generation), a comprehensive caption optimization framework tailored to the needs of T2V models. We begin by analyzing caption content from a T2V perspective, decomposing the essential elements required for video reconstruction into multiple dimensions, and proposing a principled caption design methodology. To support evaluation, we construct VC4VG-Bench, a new benchmark featuring fine-grained, multi-dimensional, and necessity-graded metrics aligned with T2V-specific requirements. Extensive T2V fine-tuning experiments demonstrate a strong correlation between improved caption quality and video generation performance, validating the effectiveness of our approach. We release all benchmark tools and code at https://github.com/alimama-creative/VC4VG to support further research.

تقديم VC4VG، وهو إطار جديد لتحسين تسميات الفيديو، يمثل تقدمًا كبيرًا في توليد الفيديو من النص. يهدف هذا الإطار إلى تحسين جودة أزواج الفيديو والنص، والتي تعتبر ضرورية لتدريب النماذج القادرة على إنشاء مقاطع فيديو متماسكة ومتوافقة مع التعليمات. من خلال التركيز على تحسين التسميات، يعالج VC4VG فجوة في البحث الحالي، مما قد يؤدي إلى تقنيات توليد فيديو أكثر فعالية ودقة. هذا التطور مهم لأنه يمكن أن يحسن تطبيقات متنوعة، من إنشاء المحتوى إلى التعليم، مما يجعل توليد الفيديو أكثر سهولة وكفاءة.

La introducción de VC4VG, un nuevo marco para optimizar los subtítulos de video, marca un avance significativo en la generación de video a partir de texto. Este marco tiene como objetivo mejorar la calidad de los pares de video-texto, que son esenciales para entrenar modelos que crean videos coherentes y alineados con las instrucciones. Al centrarse en la optimización de subtítulos, VC4VG aborda una brecha en la investigación actual, lo que podría llevar a tecnologías de generación de video más efectivas y precisas. Este desarrollo es crucial, ya que podría mejorar diversas aplicaciones, desde la creación de contenido hasta la educación, haciendo que la generación de video sea más accesible y eficiente.

L'introduction de VC4VG, un nouveau cadre pour l'optimisation des légendes vidéo, marque une avancée significative dans la génération de vidéos à partir de texte. Ce cadre vise à améliorer la qualité des paires vidéo-texte, essentielles pour former des modèles capables de créer des vidéos cohérentes et alignées sur les instructions. En se concentrant sur l'optimisation des légendes, VC4VG comble une lacune dans la recherche actuelle, ce qui pourrait conduire à des technologies de génération vidéo plus efficaces et précises. Ce développement est crucial car il pourrait améliorer diverses applications, de la création de contenu à l'éducation, rendant la génération vidéo plus accessible et efficace.

The introduction of VC4VG, a new framework for optimizing video captions, marks a significant advancement in text-to-video generation. This framework aims to enhance the quality of video-text pairs, which are essential for training models that create coherent and instruction-aligned videos. By focusing on caption optimization, VC4VG addresses a gap in current research, potentially leading to more effective and accurate video generation technologies. This development is crucial as it could improve various applications, from content creation to education, making video generation more accessible and efficient.

VC4VG: Optimizing Video Captions for Text-to-Video Generation

arXiv:2511.18684v1 Announce Type: new 
Abstract: Robust concept removal for text-to-image (T2I) and text-to-video (T2V) models is essential for their safe deployment. Existing methods, however, suffer from costly retraining, inference overhead, or vulnerability to adversarial attacks. Crucially, they rarely model the latent semantic overlap between the target erase concept and surrounding content -- causing collateral damage post-erasure -- and even fewer methods work reliably across both T2I and T2V domains. We introduce Instant Concept Erasure (ICE), a training-free, modality-agnostic, one-shot weight modification approach that achieves precise, persistent unlearning with zero overhead. ICE defines erase and preserve subspaces using anisotropic energy-weighted scaling, then explicitly regularises against their intersection using a unique, closed-form overlap projector. We pose a convex and Lipschitz-bounded Spectral Unlearning Objective, balancing erasure fidelity and intersection preservation, that admits a stable and unique analytical solution. This solution defines a dissociation operator that is translated to the model's text-conditioning layers, making the edit permanent and runtime-free. Across targeted removals of artistic styles, objects, identities, and explicit content, ICE efficiently achieves strong erasure with improved robustness to red-teaming, all while causing only minimal degradation of original generative abilities in both T2I and T2V models.

قدم الباحثون تقنية Instant Concept Erasure (ICE)، وهي نهج جديد لإزالة المفاهيم بشكل موثوق في نماذج النص إلى صورة (T2I) والنص إلى فيديو (T2V). تلغي هذه الطريقة الحاجة إلى إعادة التدريب المكلفة وتقلل من عبء الاستدلال، بينما تعالج الثغرات الأمنية ضد الهجمات العدائية. تستخدم ICE تقنية تعديل الوزن في خطوة واحدة دون تدريب، مما يضمن إلغاء تعلم دقيق ودائم دون أضرار جانبية للمحتوى المحيط.

Investigadores han presentado el Instant Concept Erasure (ICE), un enfoque novedoso para la eliminación robusta de conceptos en modelos de texto-a-imagen (T2I) y texto-a-video (T2V). Este método elimina la necesidad de reentrenamiento costoso y minimiza la sobrecarga de inferencia, al tiempo que aborda las vulnerabilidades a ataques adversariales. ICE emplea una técnica de modificación de pesos en una sola vez, sin necesidad de entrenamiento, que asegura un desaprendizaje preciso y persistente sin daños colaterales al contenido circundante.

Des chercheurs ont introduit l'Instant Concept Erasure (ICE), une nouvelle approche pour la suppression robuste de concepts dans les modèles de texte-à-image (T2I) et de texte-à-vidéo (T2V). Cette méthode élimine le besoin de réentraînement coûteux et minimise la surcharge d'inférence tout en abordant les vulnérabilités aux attaques adversariales. ICE utilise une technique de modification de poids en une seule fois, sans formation, qui garantit un désapprentissage précis et persistant sans dommages collatéraux au contenu environnant.

Researchers have introduced Instant Concept Erasure (ICE), a novel approach for robust concept removal in text-to-image (T2I) and text-to-video (T2V) models. This method eliminates the need for costly retraining and minimizes inference overhead while addressing vulnerabilities to adversarial attacks. ICE employs a training-free, one-shot weight modification technique that ensures precise and persistent unlearning without collateral damage to surrounding content.

VC4VG: Optimizing Video Captions for Text-to-Video Generation

Was this article worth reading? Share it

Postugc

Veo 2

VidBoard AI