arXiv:2605.29951v1 Announce Type: cross 
Abstract: Understanding how harm emerges from interaction between otherwise benign image-text pairs requires intent-aware cross-modal reasoning beyond surface-level features. Existing vision-language models (VLMs) excel at literal reasoning over perceptual cues but often fail to derive harmful semantics that rely on implicit, context-dependent reasoning. To evaluate VLMs on compositional harm detection and reasoning, we introduce Multimodal Pragmatic Harm Interpretation (MuPHI), a dataset containing image-text pairs where harm is encoded in subtle multimodal cues. MuPHI spans diverse harm categories and includes annotated harm rationales for assessing VLM reasoning chains. To improve both detection and reasoning in VLMs, we propose MuPHIRM, a reasoning-augmented training framework which learns joint semantics by optimizing multi-perspective rewards. MuPHIRM improves both harm detection and reasoning quality of VLMs while demonstrating superior out-of-distribution robustness compared to both trained and inference-time baselines. Our findings suggest that reasoning-oriented reward optimization offers a promising direction towards building multimodal systems that generalize beyond benchmark-specific shortcuts.

تم تقديم مجموعة بيانات جديدة تُدعى تفسير الضرر العملي متعدد الوسائط (MuPHI) لتعزيز فهم الضرر في أزواج الصور والنصوص من خلال التفكير العابر للوسائط الواعي بالنوايا. تتضمن هذه المجموعة من البيانات تبريرات للضرر مُعلمة وتهدف إلى تحسين أداء نماذج الرؤية-اللغة (VLMs) في اكتشاف الضرر والتفكير حوله عندما لا يكون واضحًا على الفور.

Se ha introducido un nuevo conjunto de datos llamado Multimodal Pragmatic Harm Interpretation (MuPHI) para mejorar la comprensión del daño en pares de imagen-texto a través del razonamiento cross-modal consciente de la intención. Este conjunto de datos incluye racionales de daño anotados y tiene como objetivo mejorar el rendimiento de los modelos de visión-lenguaje (VLMs) en la detección y el razonamiento sobre daños que no son inmediatamente evidentes.

Un nouveau jeu de données appelé Multimodal Pragmatic Harm Interpretation (MuPHI) a été introduit pour améliorer la compréhension des dommages dans les paires image-texte grâce à un raisonnement cross-modal conscient de l'intention. Ce jeu de données comprend des rationales de dommages annotées et vise à améliorer la performance des modèles de vision-langage (VLMs) dans la détection et le raisonnement sur des dommages qui ne sont pas immédiatement évidents.

A new dataset called Multimodal Pragmatic Harm Interpretation (MuPHI) has been introduced to enhance understanding of harm in image-text pairs through intent-aware cross-modal reasoning. This dataset includes annotated harm rationales and aims to improve the performance of vision-language models (VLMs) in detecting and reasoning about harm that is not immediately obvious.