arXiv:2509.19465v3 Announce Type: replace 
Abstract: Cross-frequency transfer learning (CFTL) has emerged as a popular framework for curating large-scale time series datasets to pre-train foundation forecasting models (FFMs). Although CFTL has shown promise, current benchmarking practices fall short of accurately assessing its performance. This shortcoming stems from many factors: an over-reliance on small-scale evaluation datasets; inadequate treatment of sample size when computing summary statistics; reporting of suboptimal statistical models; and failing to account for non-negligible risks of overlap between pre-training and test datasets. To address these limitations, we introduce a unified reimplementation of widely-adopted neural forecasting networks, adapting them for the CFTL setup; we pre-train only on proprietary and synthetic data, being careful to prevent test leakage; and we evaluate on 15 large, diverse public forecast competition datasets. Our empirical analysis reveals that statistical models' accuracy is frequently underreported. Notably, we confirm that statistical models and their ensembles consistently outperform existing FFMs by more than 8.2% in sCRPS, and by more than 20% MASE, across datasets. However, we also find that synthetic dataset pre-training does improve the accuracy of a FFM by 7% percent.

لقد أصبح التعلم عبر الترددات المتقاطعة (CFTL) إطارًا شائعًا لتطوير مجموعات بيانات زمنية كبيرة الحجم من أجل تدريب نماذج التنبؤ الأساسية (FFMs). على الرغم من إمكانياته، فإن ممارسات التقييم الحالية لا تقيم أداء CFTL بدقة بسبب عوامل مثل الاعتماد على مجموعات بيانات صغيرة، والمعالجة غير الكافية لحجم العينة، ونماذج إحصائية دون المستوى، وفشل في أخذ المخاطر غير القابلة للتجاهل من التداخل بين مجموعات بيانات التدريب والاختبار في الاعتبار. تقترح هذه الدراسة إعادة تنفيذ موحدة لشبكات التنبؤ العصبية المعتمدة، مع تعديلها لتناسب إعداد CFTL، حيث يتم التدريب فقط على بيانات خاصة وصناعية، مع الحرص على منع تسرب الا…

El aprendizaje por transferencia de frecuencia cruzada (CFTL) ha surgido como un marco popular para desarrollar conjuntos de datos de series temporales a gran escala para preentrenar modelos de pronóstico fundamentales (FFMs). A pesar de su potencial, las prácticas actuales de evaluación no logran medir adecuadamente el rendimiento del CFTL debido a factores como la dependencia de conjuntos de datos pequeños, el tratamiento inadecuado del tamaño de la muestra, modelos estadísticos subóptimos y el riesgo de superposición entre los conjuntos de datos de entrenamiento y prueba. Este estudio propo…

L'apprentissage par transfert inter-fréquence (CFTL) est devenu un cadre populaire pour le développement de grands ensembles de données de séries temporelles afin de préformer des modèles de prévision fondamentaux (FFMs). Malgré son potentiel, les méthodes de benchmarking actuelles évaluent de manière inadéquate la performance du CFTL en raison de facteurs tels que la dépendance à de petits ensembles de données, un traitement inapproprié de la taille de l'échantillon, des modèles statistiques sous-optimaux et des risques de chevauchement entre les ensembles de données d'entraînement et de test…

Cross-frequency transfer learning (CFTL) has gained traction as a framework for developing large-scale time series datasets to pre-train foundation forecasting models (FFMs). Despite its potential, existing benchmarking methods inadequately evaluate CFTL's performance due to factors such as reliance on small datasets, improper sample size treatment, suboptimal statistical models, and risks of overlap between training and test datasets. This study proposes a unified reimplementation of neural forecasting networks tailored for CFTL, utilizing proprietary and synthetic data while preventing test …

A More Realistic Evaluation of Cross-Frequency Transfer Learning and Foundation Forecasting Models

One More Thing in AI – Your Shortcut to AI Mastery

A More Realistic Evaluation of Cross-Frequency Transfer Learning and Foundation Forecasting Models

Was this article worth reading? Share it

One More Thing in AI

finlight.me

LucidQuery AI

MyFramework

Octofy

Hypertune

Ready to build your own newsroom?