arXiv:2510.21693v1 Announce Type: new 
Abstract: Neural networks have advanced combinatorial optimization, with Transformer-based solvers achieving near-optimal solutions on the Traveling Salesman Problem (TSP) in milliseconds. However, these models operate as black boxes, providing no insight into the geometric patterns they learn or the heuristics they employ during tour construction. We address this opacity by applying sparse autoencoders (SAEs), a mechanistic interpretability technique, to a Transformer-based TSP solver, representing the first application of activation-based interpretability methods to operations research models. We train a pointer network with reinforcement learning on 100-node instances, then fit an SAE to the encoder's residual stream to discover an overcomplete dictionary of interpretable features. Our analysis reveals that the solver naturally develops features mirroring fundamental TSP concepts: boundary detectors that activate on convex-hull nodes, cluster-sensitive features responding to locally dense regions, and separator features encoding geometric partitions. These findings provide the first model-internal account of what neural TSP solvers compute before node selection, demonstrate that geometric structure emerges without explicit supervision, and suggest pathways toward transparent hybrid systems that combine neural efficiency with algorithmic interpretability. Interactive feature explorer: https://reubennarad.github.io/TSP_interp

لقد أدت التطورات الأخيرة في الشبكات العصبية إلى تحسين كبير في تحسين التوليفات، وخاصة مع الحلول المعتمدة على المحولات التي تتعامل بكفاءة مع مشكلة البائع المتجول (TSP). ومع ذلك، غالبًا ما تعمل هذه النماذج كصناديق سوداء، مما يترك المستخدمين في حالة من الجهل بشأن عمليات اتخاذ القرار الخاصة بهم. تقدم دراسة جديدة مشفرات متناثرة (SAE) لتحسين التفسير الميكانيكي، مما يسلط الضوء على الأنماط الهندسية والهيورستيك التي تستخدمها هذه النماذج. لا تعزز هذه الخطوة فهمنا لهذه الأنظمة المعقدة فحسب، بل تمهد أيضًا الطريق لحلول تحسين أكثر شفافية وفعالية.

Los recientes avances en redes neuronales han mejorado significativamente la optimización combinatoria, especialmente con los solucionadores basados en transformadores que abordan el problema del vendedor viajero (TSP) de manera eficiente. Sin embargo, estos modelos a menudo funcionan como cajas negras, dejando a los usuarios sin información sobre sus procesos de toma de decisiones. Un nuevo estudio introduce autoencoders dispersos (SAE) para mejorar la interpretabilidad mecanicista, iluminando los patrones geométricos y las heurísticas que estos modelos utilizan. Este avance no solo mejora nuestra comprensión de estos sistemas complejos, sino que también allana el camino para soluciones de optimización más transparentes y efectivas.

Les récentes avancées dans les réseaux de neurones ont considérablement amélioré l'optimisation combinatoire, en particulier avec les solveurs basés sur des transformateurs qui s'attaquent efficacement au problème du voyageur de commerce (TSP). Cependant, ces modèles fonctionnent souvent comme des boîtes noires, laissant les utilisateurs dans l'ignorance de leurs processus décisionnels. Une nouvelle étude introduit des autoencodeurs épars (SAE) pour améliorer l'interprétabilité mécaniste, éclairant les motifs géométriques et les heuristiques que ces modèles utilisent. Cette avancée améliore non seulement notre compréhension de ces systèmes complexes, mais ouvre également la voie à des solutions d'optimisation plus transparentes et efficaces.

Recent advancements in neural networks have significantly improved combinatorial optimization, particularly with Transformer-based solvers that tackle the Traveling Salesman Problem (TSP) efficiently. However, these models often function as black boxes, leaving users in the dark about their decision-making processes. A new study introduces sparse autoencoders (SAEs) to enhance mechanistic interpretability, shedding light on the geometric patterns and heuristics these models utilize. This breakthrough not only enhances our understanding of these complex systems but also paves the way for more transparent and effective optimization solutions.

Mechanistic Interpretability for Neural TSP Solvers

arXiv:2511.17254v1 Announce Type: new 
Abstract: Despite their impressive performance across a wide range of tasks, Large Vision-Language Models (LVLMs) remain prone to hallucination. In this study, we propose a comprehensive intervention framework aligned with the transformer's causal architecture in LVLMs, integrating the effects of different intervention paths on hallucination. We find that hallucinations in LVLMs do not arise from a single causal path, but rather from the interplay among image-to-input-text, image-to-output-text, and text-to-text pathways. For the first time, we also find that LVLMs rely on different pathways depending on the question-answer alignment format. Building on these insights, we propose simple yet effective methods to identify and intervene on critical hallucination heads within each pathway, tailored to discriminative and generative formats. Experiments across multiple benchmarks demonstrate that our approach consistently reduces hallucinations across diverse alignment types.

تقدم دراسة جديدة إطار العمل Intervene-All-Paths، الذي يهدف إلى التخفيف من الهلوسات في نماذج اللغة الكبيرة للرؤية (LVLMs) من خلال معالجة تفاعل مسارات سببية متنوعة. تبرز هذه البحث أن الهلوسات تنشأ من مصادر متعددة، بما في ذلك التفاعلات من الصورة إلى نص الإدخال ومن النص إلى النص، وتقترح تدخلات مستهدفة لأشكال محاذاة الأسئلة والأجوبة المختلفة.

Un nuevo estudio presenta el marco Intervene-All-Paths, destinado a mitigar las alucinaciones en los Modelos de Lenguaje de Visión Grande (LVLMs) al abordar la interacción de diversas rutas causales. Esta investigación destaca que las alucinaciones provienen de múltiples fuentes, incluidas las interacciones de imagen a texto de entrada y de texto a texto, y propone intervenciones específicas para diferentes formatos de alineación de preguntas y respuestas.

Une nouvelle étude présente le cadre Intervene-All-Paths, visant à atténuer les hallucinations dans les grands modèles de vision-langage (LVLMs) en abordant l'interaction de divers chemins causaux. Cette recherche met en évidence que les hallucinations proviennent de multiples sources, y compris les interactions image-texte d'entrée et texte-texte, et propose des interventions ciblées pour différents formats d'alignement question-réponse.

A new study introduces the Intervene-All-Paths framework, aimed at mitigating hallucinations in Large Vision-Language Models (LVLMs) by addressing the interplay of various causal pathways. This research highlights that hallucinations stem from multiple sources, including image-to-input-text and text-to-text interactions, and proposes targeted interventions for different question-answer alignment formats.

Mechanistic Interpretability for Neural TSP Solvers

Was this article worth reading? Share it

CoSpaceGPT

Solvice

One More Thing in AI