arXiv:2603.14830v3 Announce Type: replace-cross 
Abstract: Dataset distillation, a training-aware data compression technique, has recently attracted increasing attention as an effective tool for mitigating costs of optimization and data storage. However, progress remains largely empirical. Mechanisms underlying the extraction of task-relevant information from the training process and the efficient encoding of such information into synthetic data points remain elusive. In this paper, we theoretically analyze practical algorithms of dataset distillation applied to the gradient-based training of two-layer neural networks with width $L$. By focusing on a non-linear task structure called multi-index model, we prove that the low-dimensional structure of the problem is efficiently encoded into the resulting distilled data. This dataset reproduces a model with high generalization ability for a required memory complexity of $\tilde{\Theta}$$(r^2d+L)$, where $d$ and $r$ are the input and intrinsic dimensions of the task. To the best of our knowledge, this is one of the first theoretical works that include a specific task structure, leverage its intrinsic dimensionality to quantify the compression rate and study dataset distillation implemented solely via gradient-based algorithms.

دراسة حديثة نُشرت على arXiv تقدم تحليلًا نظريًا لتقنية تقطير البيانات، وهي تقنية ضغط بيانات تشفر بشكل فعال تمثيلات منخفضة الأبعاد من التعلم القائم على التدرجات في الشبكات العصبية ذات الطبقتين. تركز الدراسة على نموذج متعدد المؤشرات، موضحةً كيف يمكن استخراج المعلومات ذات الصلة بالمهام وتحويلها إلى نقاط بيانات صناعية، مما يعزز قدرة النموذج على التعميم مع إدارة تعقيد الذاكرة.

Un estudio reciente publicado en arXiv presenta un análisis teórico de la destilación de conjuntos de datos, una técnica de compresión de datos que codifica de manera eficiente representaciones de baja dimensión a partir del aprendizaje basado en gradientes en redes neuronales de dos capas. La investigación se centra en el modelo multi-índice, demostrando cómo se puede destilar información relevante para la tarea en puntos de datos sintéticos, mejorando así la capacidad de generalización del modelo mientras gestiona la complejidad de la memoria.

Une étude récente publiée sur arXiv présente une analyse théorique de la distillation de jeux de données, une technique de compression de données qui encode efficacement des représentations de faible dimension à partir de l'apprentissage basé sur le gradient dans des réseaux de neurones à deux couches. La recherche se concentre sur le modèle multi-index, démontrant comment les informations pertinentes pour la tâche peuvent être distillées en points de données synthétiques, améliorant ainsi la capacité de généralisation du modèle tout en gérant la complexité de la mémoire.

A recent study published on arXiv presents a theoretical analysis of dataset distillation, a data compression technique that efficiently encodes low-dimensional representations from gradient-based learning in two-layer neural networks. The research focuses on the multi-index model, demonstrating how task-relevant information can be distilled into synthetic data points, enhancing the model's generalization ability while managing memory complexity.