Deep Learning for Improved Multi-variate Time Series Forecasting

Abstract

Time series forecasting is crucial across various domains, particularly when dealing with multivariate datasets characterized by complex dynamics and intricate interdependencies among multiple variables. Traditional approaches often employ high-capacity architec- tures like recurrent neural networks (RNNs) and attention-based models to handle such complexities. However, recent studies have revealed that simpler, univariate linear models can sometimes outperform these sophisticated methods on several benchmarks. This re- search conducts a comprehensive performance analysis of 10 forecasting models, including transformers, linear models, MLP mixing models, and other deep learning models special- ized in time series forecasting. The goal is to identify the most suitable model for different datasets by examining their performance under various conditions and complexities. This analysis provides valuable insights for practitioners, helping them make informed decisions about model selection to achieve optimal forecasting accuracy and efficiency for specific applications. The primary objective is to improve a model TSMixer: An All-MLP Archi- tecture for Time Series Forecasting, that leverages advanced neural network architectures to improve predictive performance. We implemented 5 different versions of modifications to our model including the CNN. This research provides crucial insights into optimizing deep learning models for time series forecasting. The enhanced TSMixer model signif- icantly advances multivariate time series forecasting, establishing a solid foundation for future innovations.

La prévision de séries chronologiques est cruciale dans divers domaines, en partic- ulier lorsqu’il s’agit d’ensembles de données multivariés caractérisés par une dynamique complexe et des interdépendances complexes entre plusieurs variables. Les approches traditionnelles utilisent souvent des architectures à haute capacité telles que les réseaux neuronaux récurrents (RNN) et des modèles basés sur l’attention pour gérer de telles complexités. Cependant, des études récentes ont révélé que des modèles linéaires univar- iés plus simples peuvent parfois surpasser ces méthodes sophistiquées sur plusieurs points de référence. Cette recherche effectue une analyse complète des performances de 10 mod- èles de prévision, notamment des transformateurs, des modèles linéaires, des modèles de mélange MLP et d’autres modèles d’apprentissage en profondeur spécialisés dans la prévi- sion de séries chronologiques. L’objectif est d’identifier le modèle le plus approprié pour différents ensembles de données en examinant leurs performances dans diverses conditions et complexités. Cette analyse fournit des informations précieuses aux praticiens, les aidant à prendre des décisions éclairées concernant la sélection de modèles afin d’obtenir une pré- cision et une efficacité de prévision optimales pour des applications spécifiques. L’objectif principal est d’améliorer un modèle TSMixer : une architecture entièrement MLP pour la prévision de séries chronologiques, qui exploite des architectures de réseaux neuronaux avancées pour améliorer les performances prédictives. Nous avons implémenté 5 versions différentes de modifications de notre modèle, y compris le CNN. Cette recherche fournit des informations cruciales sur l’optimisation des modèles d’apprentissage profond pour la prévision de séries chronologiques. Le modèle TSMixer amélioré fait progresser consid- érablement la prévision de séries chronologiques multivariées, établissant ainsi une base solide pour les innovations futures.