arXiv:2606.12247v1 Announce Type: cross 
Abstract: Research on bias in large language models (LLMs) has predominantly focused on third-person audits, which study how models represent or evaluate demographic groups as external subjects. However, this paradigm overlooks a structural blind spot because the user is absent from the audit. In practice, LLMs are used in open-ended, personal interactions, during which the model implicitly represents the user and adjusts its responses accordingly. When identical requests yield different responses depending on who is asking, bias manifests not in how the model describes others but in how it treats its interlocutor. We propose Situated Interaction Auditing (SIA), a user-centered framework for studying how user profile signals -- implicit sociodemographic markers, writing style, and stated identity -- systematically shape LLM response quality, content, and tone. We demonstrate the framework through a case study that intersects gender and socioeconomic status signals across multiple task domains and outline a research agenda for SIA as a new mission for natural language processing.

تم تقديم تدقيق التفاعل الموقعي (SIA)، وهو إطار يركز على المستخدم يهدف إلى دراسة كيفية تأثير العلامات الاجتماعية الديموغرافية الضمنية وهوية المستخدم على ردود نماذج اللغة الكبيرة (LLMs). تتناول هذه المقاربة فجوة كبيرة في أبحاث التحيز، التي ركزت إلى حد كبير على عمليات التدقيق من طرف ثالث التي تتجاهل دور المستخدم في تشكيل التفاعلات مع النموذج.

Se ha introducido la Auditoría de Interacción Situada (SIA), un marco centrado en el usuario que busca examinar cómo los marcadores sociodemográficos implícitos y la identidad del usuario influyen en las respuestas de los modelos de lenguaje de gran tamaño (LLMs). Este enfoque aborda una brecha significativa en la investigación sobre sesgos, que se ha centrado en gran medida en auditorías de terceros que ignoran el papel del usuario en la configuración de las interacciones del modelo.

Une recherche a introduit l'Audit d'Interaction Située (SIA), un cadre centré sur l'utilisateur visant à examiner comment les marqueurs sociodémographiques implicites et l'identité de l'utilisateur influencent les réponses des modèles de langage de grande taille (LLMs). Cette approche comble une lacune significative dans la recherche sur les biais, qui s'est largement concentrée sur des audits de tiers négligeant le rôle de l'utilisateur dans la formation des interactions avec le modèle.

Research has introduced Situated Interaction Auditing (SIA), a user-centered framework aimed at examining how implicit sociodemographic markers and user identity influence the responses of large language models (LLMs). This approach addresses a significant gap in bias research, which has largely focused on third-person audits that neglect the user's role in shaping model interactions.