
pytorch入门NLP教程(二)——CBOW
5星
- 浏览量: 0
- 大小:None
- 文件类型:PDF
简介:
我们在之前的课程中介绍了NNLM模型。然而,尽管NNLM考虑到一个词前缀的影响,但它无法顾及后缀的情况,并且其计算复杂度较高。因此,我们可以采用Word2vec架构中基于上下文的CBOW模型来解决这个问题。目标:基于附近词汇预测核心词w(t)
目标函数:该模型旨在累加条件概率P(w|content(w)),即J=∑ω∈corpus P(w|content(w))
输入:作为输入的向量是上下文单词的一热编码,其中假设单词向量空间维数为V,且上下文单词数量为C,则输入矩阵维度为C×V
PROJECTION: 该过程涉及将这些向量映射到某个空间中。
全部评论 (0)
还没有任何评论哟~


