基于人体姿态的动作识别研究——PyTorch中的注意力机制实现

简介：
本文探讨了在PyTorch框架下利用注意力机制进行人体姿态动作识别的研究，通过优化算法提高模型对复杂动作序列的理解和分类能力。 姿势引导动作识别枪是一项研究工作，旨在利用人体姿态信息来辅助进行动作识别。我们实施了三种不同的模型：注意池方法（使用ResNet101主干）、C3D方法以及二流法，并探讨了人类的姿势信息是否有助于提高动作识别的效果。 在具体实现过程中，我们将人体的姿态信息通过削弱背景的方式应用于C3D架构中；同时，在自上而下的注意力机制中直接添加关节位置热图。这两种方式都显示出一定程度上的改善效果：即有无姿态信息的情况下进行对比实验后发现，加入姿势信息确实可以提升动作识别的准确性。 鉴于以上结果表明人体姿态信息在动作识别任务中有一定的帮助作用，我们进一步研究了如何正确地使用这些信息。为此，我们将两个流架构进行了修改，并用VGG16替换了光流部分。这样的改动基于一种直觉：通过利用已在ImageNet上预训练好的网络（而非从头开始进行整个模型的训练），可以更好地捕捉到动作中的关键特征点和动态变化趋势，从而进一步提升动作识别的效果。 综上所述，该研究不仅验证了人体姿态信息在提高动作识别准确性方面的潜在价值，还探索了一种更有效的利用姿势数据的方法。