基于FNet模型的滚动长期预测及定制化数据集的可视化分析

简介：
本研究提出了一种利用FNet模型进行滚动长期预测的方法，并构建了定制化的数据集以支持高效的可视化数据分析。 本博客将介绍一种新的时间序列预测模型——FNet。该模型通过使用傅里叶变换代替自注意力机制，旨在解决传统Transformer模型中的效率问题。FNet利用简单的线性变换，包括非参数化的傅里叶变换来“混合”输入令牌，从而实现了快速且高效的处理方式。这种创新的方法在保持相对较高的准确性的同时，显著提高了训练速度，特别是在处理长序列数据时更显优势。 本博客将介绍FNet的工作原理，并通过一个实战案例展示如何实现基于FNET的可视化结果和滚动长期预测。该模型适用于多元预测、单元预测及长期预测等场景，在硬件受限的情况下尤为适用。作为一种基于Transformer编码器架构的模型，FNet通过替换自注意力子层为简单的线性变换（特别是傅里叶变换）来加速处理过程。 在FNET架构中，每一层由一个傅里叶混合子层和一个前馈子层组成。傅里叶子层应用2D离散傅里叶变换(DFT)到其输入，在序列维度和隐藏维度上分别进行一维DFT操作。 总结：相比传统的Transformer模型，FNet的主要改进在于将注意力机制替换为傅里叶变换。尽管论文声称精度没有变化，但从实验结果来看，我的分析显示精度有所下降。