CMU 11-777 多模态机器学习 Fall 2019 讲义

简介：
这是一份来自卡内基梅隆大学（CMU）2019年秋季学期的《多模态机器学习》课程讲义，该课程由计算机学院开设，是全球顶尖的人工智能相关课程之一。 该讲义的版权属于卡内基梅隆大学（CMU），是该校开设的一门名为“多模态机器学习”的课程资料，每年秋季学期开课。本版本为2019年秋季版。 这门课程旨在介绍多模态机器学习这一跨学科的研究领域，通过整合和建模语言、声音及视觉等多种沟通模式来实现人工智能的原始目标。随着音频-视频语音识别研究以及最近的语言与视觉项目（如图像和视频描述）的发展，该领域的研究人员面临数据异质性和各模式之间关联性的独特挑战。 课程内容包括多模态机器学习五个主要难题的相关数学概念：多模态表示学习、翻译映射、模式对齐、多模态融合及协同学习。涵盖的内容不仅有多种自编码器和深度典型相关分析，还包括多重核学习模型以及注意力机制与多模态递归神经网络等。 此外，课程还会回顾近期发表的关于MMML（多模态机器学习）领域的先进概率模型和计算算法，并讨论当前存在的及未来可能面临的挑战。该课程将涵盖许多最新的应用案例，如多模态情感识别、图像/视频描述生成以及跨模式多媒体检索。 这门研究生级别的课程主要面向LTI（语言技术研究所）、MLD（机器学习部门）、CSD（计算机科学系）、HCII（人机交互研究所）和RI（机器人学院）的博士生及研究型硕士学生。其他专业的同学，例如CS专业或职业硕士学位项目的本科生需事先获得讲师许可方可选修。 参加该课程的学生需要具备基本的人工智能知识背景，如通过10-401、10-601、10-701、11-663、11-441、11-641或 11-741等课程的学习。熟悉深度学习的知识是加分项。