Informer2020: AAAI 2021收录论文Informer的GitHub仓库

简介：
Informer是AAAI 2021会议所收录的一篇论文中的创新成果，该GitHub项目提供了Informer的相关代码和资源。此模型致力于高效地处理长序列时间预测任务，在速度与准确性上都具有显著优势。 告密者（Informer）是用于长序列时间序列预测的超越高效变压器模型，并获得了AAAI21最佳论文奖。这是原始Pytorch实现版本。 特别感谢Jieqi Peng为此存储库建立贡献。 新闻更新： - 2021年2月22日：我们提供了便于使用的版本。 - 2021年2月8日：我们的Informer论文被授予AAAI最佳论文奖。我们将继续进行研究，并对这个仓库进行定期更新。 如果您发现我们的工作对您有帮助，请关注此存储库并引用我们的论文。 图1展示了Informer的架构，其中稀疏注意自我注意分数形成一个长尾分布，“活跃”查询位于“头部”区域而“懒惰”的查询则分布在“尾部”。我们设计了ProbSparse Attention机制来选择这些“活跃”查询。带有Top-u查询的ProbSparse Attention通过概率分布形成了一个更加稀疏且高效的Transformer模型。 为什么不是其他方法呢？Informer在处理长序列时间预测问题时，展现出了超越传统变压器架构的效率和性能优势。