arXiv:2509.19331v2 Announce Type: replace-cross 
Abstract: Complex-valued signals encode both amplitude and phase, yet most deep models treat attention as real-valued correlation, overlooking interference effects. We introduce the Holographic Transformer, a physics-inspired architecture that incorporates wave interference principles into self-attention. Holographic attention modulates interactions by relative phase and coherently superimposes values, ensuring consistency between amplitude and phase. A dual-headed decoder simultaneously reconstructs the input and predicts task outputs, preventing phase collapse when losses prioritize magnitude over phase. We demonstrate that holographic attention implements a discrete interference operator and maintains phase consistency under linear mixing. Experiments on PolSAR image classification and wireless channel prediction show strong performance, achieving high classification accuracy and F1 scores, low regression error, and increased robustness to phase perturbations. These results highlight that enforcing physical consistency in attention leads to generalizable improvements in complex-valued learning and provides a unified, physics-based framework for coherent signal modeling. The code is available at https://github.com/EonHao/Holographic-Transformers.

تقديم الـ Holographic Transformer يمثل تقدمًا كبيرًا في مجال معالجة الإشارات من خلال دمج تداخل الطور في آليات الانتباه الذاتي. تتناول هذه البنية المبتكرة قيود النماذج العميقة التقليدية التي غالبًا ما تتجاهل الطبيعة المعقدة للإشارات، والتي تشمل كل من السعة والطور. من خلال دمج مبادئ تداخل الموجات، يحسن الـ Holographic Transformer الطريقة التي تعالج بها النماذج المعلومات، مما يضمن تمثيلًا أكثر دقة للإشارات المعقدة. هذا التطور مهم لأنه يفتح آفاقًا جديدة للبحث والتطبيقات في مجالات متنوعة، بما في ذلك الاتصالات وتحليل البيانات.

La introducción del Holographic Transformer marca un avance significativo en el campo del procesamiento de señales al integrar la interferencia de fase en los mecanismos de autoatención. Esta arquitectura innovadora aborda las limitaciones de los modelos profundos tradicionales que suelen pasar por alto la naturaleza compleja de las señales, que incluyen tanto la amplitud como la fase. Al incorporar principios de interferencia de ondas, el Holographic Transformer mejora la forma en que los modelos procesan la información, asegurando una representación más precisa de señales complejas. Este desarrollo es crucial, ya que abre nuevas avenidas para la investigación y aplicaciones en diversos campos, incluidas las telecomunicaciones y el análisis de datos.

L'introduction du Holographic Transformer représente une avancée significative dans le domaine du traitement du signal en intégrant l'interférence de phase dans les mécanismes d'attention. Cette architecture innovante répond aux limites des modèles profonds traditionnels qui négligent généralement la nature complexe des signaux, qui incluent à la fois l'amplitude et la phase. En incorporant des principes d'interférence des ondes, le Holographic Transformer améliore la manière dont les modèles traitent l'information, garantissant une représentation plus précise des signaux complexes. Ce développement est crucial car il ouvre de nouvelles voies pour la recherche et les applications dans divers domaines, y compris les télécommunications et l'analyse de données.

The introduction of the Holographic Transformer marks a significant advancement in the field of signal processing by integrating phase interference into self-attention mechanisms. This innovative architecture addresses the limitations of traditional deep models that typically overlook the complex nature of signals, which include both amplitude and phase. By incorporating wave interference principles, the Holographic Transformer enhances the way models process information, ensuring a more accurate representation of complex signals. This development is crucial as it opens new avenues for research and applications in various fields, including telecommunications and data analysis.

Holographic Transformers for Complex-Valued Signal Processing: Integrating Phase Interference into Self-Attention

Was this article worth reading? Share it

AI Humanizer

Octofy

Humai