arXiv:2511.00044v2 Announce Type: replace 
Abstract: Physical Neural Networks (PNN) are promising platforms for next-generation computing systems. However, recent advances in digital neural network performance are largely driven by the rapid growth in the number of trainable parameters and, so far, demonstrated PNNs are lagging behind by several orders of magnitude in terms of scale. This mirrors size and performance constraints found in early digital neural networks. In that period, efficient reuse of parameters contributed to the development of parameter-efficient architectures such as convolutional neural networks.
  In this work, we numerically investigate hardware-friendly weight-tying for PNNs. Crucially, with many PNN systems, there is a time-scale separation between the fast dynamic active elements of the forward pass and the only slowly trainable elements implementing weights and biases. With this in mind,we propose the Reuse of Layers for eXpanding a Neural Network (ReLaX-Net) architecture, which employs a simple layer-by-layer time-multiplexing scheme to increase the effective network depth and efficiently use the number of parameters. We only require the addition of fast switches for existing PNNs. We validate ReLaX-Nets via numerical experiments on image classification and natural language processing tasks. Our results show that ReLaX-Net improves computational performance with only minor modifications to a conventional PNN. We observe a favorable scaling, where ReLaX-Nets exceed the performance of equivalent traditional RNNs or DNNs with the same number of parameters.

يقدم ReLaX-Net نهجًا مبتكرًا لتحسين كفاءة الشبكات العصبية الفيزيائية (PNN) من خلال إعادة استخدام الطبقات. تعتبر الشبكات العصبية الفيزيائية منصات واعدة لأنظمة الحوسبة المستقبلية، لكنها حاليًا متأخرة مقارنة بالشبكات العصبية الرقمية من حيث النطاق والأداء. تركز هذه الدراسة على طرق ربط الوزن المناسبة للأجهزة، مع معالجة التحدي المتمثل في العناصر البطيئة التدريب في الشبكات العصبية الفيزيائية مقارنة بمكوناتها الديناميكية السريعة. تهدف الدراسة إلى تحسين كفاءة المعلمات في الشبكات العصبية الفيزيائية، مع رسم أوجه التشابه مع التقدم المبكر في الشبكات العصبية الرقمية.

ReLaX-Net propone un enfoque innovador para mejorar la eficiencia de las Redes Neuronales Físicas (PNN) mediante la reutilización de capas. Las PNN se consideran prometedoras para los sistemas informáticos del futuro, pero actualmente están rezagadas en comparación con las redes neuronales digitales en términos de escala y rendimiento. Esta investigación se centra en métodos de vinculación de pesos amigables con el hardware, abordando el desafío de los elementos de entrenamiento lentos en las PNN en comparación con sus componentes dinámicos rápidos. El estudio busca mejorar la eficiencia de pa…

ReLaX-Net propose une approche novatrice pour améliorer l'efficacité des Réseaux Neuronaux Physiques (PNN) en réutilisant des couches. Les PNN sont considérés comme prometteurs pour les systèmes informatiques futurs, mais ils sont actuellement à la traîne par rapport aux réseaux neuronaux numériques en termes d'échelle et de performance. Cette recherche se concentre sur des méthodes de liaison de poids adaptées au matériel, abordant le défi des éléments d'entraînement lents dans les PNN par rapport à leurs composants dynamiques rapides. L'étude vise à améliorer l'efficacité des paramètres des …

ReLaX-Net proposes a novel approach to enhance the efficiency of Physical Neural Networks (PNNs) by reusing layers. PNNs are seen as promising for future computing systems, yet they currently lag behind digital neural networks in terms of scale and performance. This research focuses on hardware-friendly weight-tying methods, addressing the challenge of slow training elements in PNNs compared to their fast dynamic components. The study aims to improve the parameter efficiency of PNNs, drawing parallels with early advancements in digital neural networks.

ReLaX-Net: Reusing Layers for Parameter-Efficient Physical Neural Networks

Was this article worth reading? Share it

LucidQuery AI

Airparser

Hypertune

Blunge

Brainactive

Neuronum

Ready to build your own newsroom?