arXiv:2511.10234v3 Announce Type: replace 
Abstract: While promising, graph reasoners based on Large Language Models (LLMs) lack built-in invariance to symmetries in graph representations. Operating on sequential graph serializations, LLMs can produce different outputs under node reindexing, edge reordering, or formatting changes, raising robustness concerns. We systematically analyze these effects, studying how fine-tuning impacts encoding sensitivity as well generalization on unseen tasks. We propose a principled decomposition of graph serializations into node labeling, edge encoding, and syntax, and evaluate LLM robustness to variations of each of these factors on a comprehensive benchmarking suite. We also contribute a novel set of spectral tasks to further assess generalization abilities of fine-tuned reasoners. Results show that larger (non-fine-tuned) models are more robust. Fine-tuning reduces sensitivity to node relabeling but may increase it to variations in structure and format, while it does not consistently improve performance on unseen tasks.

تسلط دراسة حديثة الضوء على قيود المحللات الرسومية المعتمدة على نماذج اللغة الكبيرة (LLMs)، وخاصة عدم وجود ثبات أمام التناظر في التمثيلات الرسومية. تحلل البحث بشكل منهجي كيف تؤثر التغيرات في تسمية العقد، وترميز الحواف، والنحو على متانة مخرجات LLM، كاشفة أن الضبط الدقيق يمكن أن يقلل من الحساسية لإعادة تسمية العقد ولكنه قد يزيد من الحساسية للتغيرات الهيكلية.

Un estudio reciente destaca las limitaciones de los razonadores gráficos basados en Modelos de Lenguaje de Gran Escala (LLMs), específicamente su falta de invariancia ante simetrías en las representaciones gráficas. La investigación analiza sistemáticamente cómo las variaciones en el etiquetado de nodos, la codificación de aristas y la sintaxis afectan la robustez de las salidas de los LLM, revelando que el ajuste fino puede reducir la sensibilidad al reetiquetado de nodos, pero puede aumentar la sensibilidad a cambios estructurales.

Une étude récente met en lumière les limites des raisonneurs graphiques basés sur des modèles de langage de grande taille (LLMs), en particulier leur manque d'invariance face aux symétries dans les représentations graphiques. La recherche analyse systématiquement comment les variations dans l'étiquetage des nœuds, l'encodage des arêtes et la syntaxe affectent la robustesse des sorties des LLM, révélant que le fine-tuning peut réduire la sensibilité au relabeling des nœuds mais peut augmenter la sensibilité aux changements structurels.

A recent study highlights the limitations of graph reasoners based on Large Language Models (LLMs), specifically their lack of invariance to symmetries in graph representations. The research systematically analyzes how variations in node labeling, edge encoding, and syntax affect the robustness of LLM outputs, revealing that fine-tuning can reduce sensitivity to node relabeling but may increase sensitivity to structural changes.