arXiv:2605.29901v1 Announce Type: cross 
Abstract: Large language models (LLMs) can detect software vulnerabilities, but how do they actually identify vulnerable code? We address this question using mechanistic interpretability; analyzing the internal computations of a neural network to understand its reasoning process.Using Circuit Tracer on Gemma-2-2b, we trace the computational pathways activated when the model classifies 472 C/C++ code samples as vulnerable or safe. Our analysis reveals a surprising finding: the model primarily relies on safety detectors, attention heads that recognize safe coding patterns, rather than directly detecting vulnerability signatures. When these safety detectors fail to activate, the model classifies code as vulnerable. We identify the critical neural components: specific attention heads in early layers (L5, L7) that focus on safety patterns, and Multilayer Perceptron (MLP) neurons in Layer 7 that encode vulnerability-related features. Ablation experiments confirm their causal role; removing Layer 11 drops vulnerability detection accuracy from 100% to 6%, while ablating just 20 neurons in Layer 7 reduces it by 50%.Our findings show that LLM vulnerability detection uses sparse, interpretable circuits (only 16% of model capacity), enabling circuit-level explanations for security predictions and targeted improvements to detection systems.

أظهرت دراسة حديثة كيف تكشف نماذج اللغة الكبيرة (LLMs)، وخاصة Gemma-2-2b، عن الثغرات البرمجية من خلال تحليل حساباتها الداخلية. استخدمت الدراسة قابلية التفسير الميكانيكي لتتبع المسارات الحسابية، وكشفت أن النموذج يعتمد على كاشفات الأمان لتصنيف عينات الشيفرة على أنها ضعيفة أو آمنة، بدلاً من التعرف مباشرة على توقيعات الثغرات.

Un estudio reciente analizó cómo los modelos de lenguaje de gran tamaño (LLMs), específicamente Gemma-2-2b, detectan vulnerabilidades de software al examinar sus cálculos internos. La investigación utilizó la interpretabilidad mecanicista para rastrear las vías computacionales, revelando que el modelo se basa en detectores de seguridad para clasificar muestras de código como vulnerables o seguras, en lugar de identificar directamente las firmas de vulnerabilidad.

Une étude récente a analysé comment les modèles de langage de grande taille (LLMs), en particulier Gemma-2-2b, détectent les vulnérabilités logicielles en examinant leurs calculs internes. La recherche a utilisé l'interprétabilité mécaniste pour tracer les voies computationnelles, révélant que le modèle s'appuie sur des détecteurs de sécurité pour classer les échantillons de code comme vulnérables ou sûrs, plutôt que d'identifier directement les signatures de vulnérabilité.

A recent study analyzed how large language models (LLMs), specifically Gemma-2-2b, detect software vulnerabilities by examining their internal computations. The research utilized mechanistic interpretability to trace computational pathways, revealing that the model relies on safety detectors to classify code samples as vulnerable or safe, rather than directly identifying vulnerability signatures.