arXiv:2510.20787v2 Announce Type: replace-cross 
Abstract: Linear-attention models that compress the entire input sequence into a fixed-size recurrent state offer an efficient alternative to Transformers, but their finite memory induces forgetfulness that harms retrieval-intensive tasks. To mitigate the issue, we explore a series of hybrid models that restore direct access to past tokens. We interleave token mixers with intermediate time and space complexity between linear and full attention, including sparse attention with token eviction, and the query-aware native sparse attention. Particularly, we propose a novel learnable token eviction approach. Combined with sliding-window attention, an end-to-end trainable lightweight CNN aggregates information from both past and future adjacent tokens to adaptively retain a limited set of critical KV-pairs per head, maintaining linear attention's constant time and space complexity. Efficient Triton kernels for the sparse attention mechanisms are provided. Empirical evaluations on retrieval-intensive benchmarks support the effectiveness of our approaches.

تستكشف دراسة حديثة نماذج هجينة مبتكرة لتعزيز آليات الانتباه الخطي، حيث تعالج مشكلة النسيان التي يمكن أن تعيق الأداء في المهام التي تتطلب استرجاعًا مكثفًا. من خلال دمج خلاطات الرموز مع تعقيدات زمنية ومكانية متوسطة، تهدف هذه النماذج إلى استعادة الوصول المباشر إلى الرموز السابقة، مما يجعلها بديلاً واعدًا عن المحولات التقليدية. هذه التطورات مهمة لأنها قد تؤدي إلى معالجة أكثر كفاءة في تطبيقات متنوعة، مما يحسن فعالية أنظمة الذكاء الاصطناعي.

Un estudio reciente explora modelos híbridos innovadores para mejorar los mecanismos de atención lineal, abordando el problema del olvido que puede obstaculizar el rendimiento en tareas intensivas de recuperación. Al entrelazar mezcladores de tokens con complejidades variables, estos modelos buscan restaurar el acceso directo a tokens pasados, convirtiéndolos en una alternativa prometedora a los Transformers tradicionales. Este avance es significativo, ya que podría llevar a un procesamiento más eficiente en diversas aplicaciones, mejorando así la efectividad de los sistemas de IA.

Une étude récente explore des modèles hybrides innovants pour améliorer les mécanismes d'attention linéaire, en abordant le problème de l'oubli qui peut nuire aux performances dans les tâches intensives en récupération. En entrelaçant des mélangeurs de tokens avec des complexités variées, ces modèles visent à restaurer l'accès direct aux tokens passés, ce qui en fait une alternative prometteuse aux Transformers traditionnels. Cette avancée est significative car elle pourrait conduire à un traitement plus efficace dans diverses applications, améliorant ainsi l'efficacité des systèmes d'IA.

A recent study explores innovative hybrid models to enhance linear-attention mechanisms, addressing the forgetfulness issue that can hinder performance in retrieval-intensive tasks. By interleaving token mixers with varying complexities, these models aim to restore direct access to past tokens, making them a promising alternative to traditional Transformers. This advancement is significant as it could lead to more efficient processing in various applications, ultimately improving the effectiveness of AI systems.

Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction

One More Thing in AI – Your Shortcut to AI Mastery

Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Humanize AI

Magicley AI

CodeSpaced

The Visualizer

Ready to build your own newsroom?