Memory-Compressed Attention: 在“通过总结长序列生成维基百科”文章中的实现
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
本文介绍了Memory-Compressed Attention机制及其在从长序列中生成类似维基百科条目的应用，有效提升了模型处理长文本摘要的能力。
在Pytorch中实现了拟议的“自我注意”层，并使用内存压缩技术来优化性能。该存储库提供了因果变量和非因果变量的支持，并且当序列长度不能被压缩率整除时，会自动填充以确保完整性。
此外，代码还处理了一种特殊情况：即，在自动回归方案下，第一个查询可能没有要关注的键的情况。为了解决这个问题，使用了空键/值并将其添加到最终的压缩集中，从而保证每个查询至少有一个关联的键。
安装方法如下：
```
pip install memory_compressed_attention
```
用法示例代码：
```python
import torch
from memory_compressed_attention import MemoryCompressedAttention
attn = MemoryCompressedAttention(dim=512, heads=8)
```
全部评论 (0)
还没有任何评论哟~
