
Att-LSTM及其分层版本:Att-LSTM与层级化Att-LSTM
5星
- 浏览量: 0
- 大小:None
- 文件类型:ZIP
简介:
本研究介绍了Att-LSTM模型,并提出了其分层版本——层级化Att-LSTM。这些模型结合了注意力机制和长短期记忆网络的优势,用于处理序列数据中的长期依赖问题。通过引入层次结构,增强了模型在复杂任务上的表现能力。
Att-LSTM的示意图
分层式Att-LSTM的示意图
要求:
使用Python 3.5.2版本。
数据集:
Hochreiter 和 Schmidhuber 提出了“添加问题”,并随机创建了相关数据集。
手写数字分类(MNIST)的顺序版本,由tensorflow下载提供。
最常用的数据集是用于问题分类的任务。
MSQC 数据集是从特定来源提取而来。
用法:
训练模式:
对于“添加问题”的使用方法,请运行命令:python test_add.py
可选参数说明:
- batch_size :批量大小。 默认值为20。
- step_size :输入的长度,在论文中称为T。 建议在{100, 200, 400, 600}范围内选择此值。
- input_size :输入维度,默认值为2。
- output_size :输出尺寸,预设默认为1。
- unit_size :隐藏单元数量, 默认设置为100。
- learning_rate :学习率。 默认设定为0.001。
参数:
epoch_n
全部评论 (0)
还没有任何评论哟~


