
SAKT:基于PyTorch的知识追踪自关注模型实现
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
本文介绍了一种名为SAKT的知识追踪模型,该模型采用PyTorch框架实现了自注意力机制,有效提升了知识掌握状态预测的准确性。
SAKT-火炬是基于“知识跟踪的自我专注模型”的Pytorch实现版本。该模型通过考虑学生过去的问题与答案来预测其未来问题的答案正确性。先前的方法如DKT、DKVMN等都是基于RNN,但在处理稀疏数据时这些方法的表现不佳。相比之下,SAKT能够识别出从学生的过往活动中提取的知识概念,并用于预测未来的活动情况。该模型使用了自我注意机制以发现知识概念之间的关联。
在训练过程中,SAKT达到了AUC 0.749的验证效果。其架构参数包括:window_size(整数)——输入序列长度;dim(整数)——嵌入维度大小;heads(整数)——多头注意力中的头部数量;dropout(浮点型数值)——前馈层中应用的辍学率以防止过拟合;learn_rate(浮点型数值)——模型的学习速率。
全部评论 (0)
还没有任何评论哟~


