ECE 535课程项目涉及深度学习驱动的面部动画技术。

简介：
语音驱动的面部动画的内在动机，源于非语言行为信号——例如面部表情——，能够传递我们思维、行为或反应的关键信息。这项研究既引人注目，又充满挑战，因为这些信号往往是隐蔽的，或者可能因个体差异而有所不同。本项目的核心目标是利用机器学习方法来模拟人类的面部表情。具体而言，我们旨在构建一个系统，能够在仅听到一位从未见过的陌生人说话的情况下，准确预测该人的面部表情。技术细节方面，该项目主要包含以下三个关键组成部分：首先，我们需要对音频和视频数据进行特征提取，采用快速傅里叶变换（FFT）和地标变换等技术；其次，需要建立从语音到面部特征的映射关系，利用卷积神经网络（CNN）与循环神经网络（RNN）进行建模；最后，将提取的人脸特征转换为图像表示形式，通过深度卷积生成的对抗网络（DCGAN）来实现。此外，为了确保项目的顺利进行，需要遵循以下预处理数据集操作说明：所有语音文件应存放在./speech目录下；火车视频文件应放置在./train/video目录下；测试视频文件则应存放在./test/video目录下。使用Python 3运行preprocess_tra脚本。