基于LSTM的眼动行为识别与人机交互应用

简介：
本研究探索了利用长短期记忆网络（LSTM）分析眼动数据，以实现更准确的行为识别和自然的人机互动。通过深度学习技术提升用户体验。 在人机交互领域中，眼动交互具有广泛的应用前景。然而，传统的眼动交互传感设备存在侵入性强、校准复杂且成本高昂的问题，并且普通单目摄像头传感器的分辨率较低。为解决这些问题，本段落提出了一种基于前置摄像头视频源的人眼行为识别方法，该方法结合了方向梯度直方图（HOG）特征、支持向量机（SVM）和长短时记忆网络（LSTM），以实现简单有效的人机交互应用。 具体而言，此方法首先定位并跟踪人脸，在完成对齐操作后依据四个眼角关键点的坐标获取双眼区域。然后使用SVM模型判断眼睛是睁眼还是闭眼以及非眨眼状态，并通过分析相邻帧之间眼球中心的位置来粗略地判断眼动情况。对于疑似有意的眼势，系统会将这些视频序列输入到LSTM网络中进行预测，输出最终的眼动行为识别结果并触发相应的计算机命令完成交互。 实验结果显示，在自制的包含20,000个样本（其中约10%为负样本）的数据集中测试后，该方法在动态眨眼识别方面的准确率超过95%，眼动行为预测准确性达到了99.3%。