全集：语音信号处理课程学习

简介：
本课程全面涵盖语音信号处理的核心理论与技术，包括声学模型、数字信号处理及语音识别等内容，适合深入系统地学习和研究。 【语音信号处理】是计算机科学领域的重要分支之一，主要研究如何获取、分析、处理以及合成人类的语音信号。在该课程中，我们将深入了解一系列关键概念和技术。 近年来，在自然语言处理（NLP）广泛应用之后，【Transformer模型】也开始被引入到语音识别等其他领域，并取得了一定进展。其核心在于【自注意力机制（Self-Attention）】，它使模型能够关注输入序列的不同部分而不仅限于当前的位置信息。该模型由两个主要组件构成：即【Encoder】和【Decoder】。前者通过多层的自注意力及前馈神经网络来处理输入数据；后者则负责生成输出序列，并运用了针对编码表示以及先前产生的输出序列进行操作的两层Multi-Head Attention。 在课程一中，我们学习了语音识别的基础知识，包括声音特征（Acoustic Feature）提取的方法如frame制作、常用的声音数据集和模型，例如seq2seq。其中【Listen, Attend and Spell (LAS)】是一个典型的端到端（End-to-End）模型，由监听（Listen）、注意（Attend）及拼写（Spell）三个步骤构成：在listen阶段涉及下采样，在attention部分使用了注意力机制，并通过束搜索(Beam Search)进行解码。 课程还介绍了几种不同的语音识别模型，如【CTC (Connectionist Temporal Classification)】解决了序列到序列建模中的时间对齐问题；【RNN Transducer(RNN-T)】结合了循环神经网络（RNN）与CTC的特点，支持实时预测。此外还有【Neural Transducer】和【Monotonic Chunkwise Attention(MoChA)】等模型，在优化对齐及预测效率方面取得了进展。 选修课程深入探讨了HMM(隐马尔科夫模型)在语音识别中的应用，并讲解如何在HMM、CTC以及RNN-T中进行对齐。此外，还详细介绍了RNN-T的训练过程包括计算对齐概率和偏微分计算等步骤。 随后，在【Language Modeling】课程中，我们了解到语言模型对于语音识别与自然语言处理的重要性，探讨了不同类型的LM（如N-gram、连续LM以及基于RNN的LM）及其如何应用于提升LASS（例如浅层融合Shallow Fusion、深层融合Deep Fusion和冷启动融合Cold Fusion）。 最后两门课程分别涉及【Voice Conversion】及【Speech Separation】。前者能够将一个人的声音转换为另一个人，而无需平行数据；后者则从混合声音中分离出多个说话人的语音信号，并通常采用SNR（Signal-to-Noise Ratio）、SI-SDR（Scale Invariant Signal-to-Distortion Ratio）等评估指标及深度聚类方法来解决样本排列问题。 该课程全面覆盖了语音信号处理的各个方面，从基础理论到高级技术，为学生提供了深入理解与实践这些关键技术的机会。