北航计算机专业2011年的机器学习课程复习材料和考试题库

简介：
机器学习概论 机器学习概述 机器学习是一门探讨计算机自主学习经验并进而提升其执行任务能力的学科。在北航计算机科学研究生课程体系中，机器学习被列为一个重要的教学模块，在此框架下教授学生如何从数据中提炼规律，并指导他们以便实现预测与决策。 最高概率的估计方法 最大似然法（Maximum Likelihood Estimation, MLE）是一种广泛应用的参数估计技术，在统计学中具有重要地位。对于服从高斯分布的数据集，在计算其参数时采用最大似然法的基础上寻求均值与方差的最佳匹配；其数学表达式如下所示：条件概率$P(x|\theta)$等于标准化常数$\frac{1}{\sqrt{2\pi}\delta}$乘以指数函数$\exp\left(-\frac{1}{2}\cdot \frac{(x-\mu\delta)^2}{\delta^2}\right)$在其中θ代表一组参数具体包括均值μ和方差δ，在最大似然估计方法中其主要目的是寻找能够使得观测数据出现概率最高的参数设置。这种技术不仅显著地适应各种应用场景，并且能够在满足一定条件下达到一致性与有效性的双重优势。然而，在处理某些复杂情况时存在不足之处线性分类器 Linear Classifier Linear Classifier Linear Classifier该分类技术作为机器学习中的核心工具被广泛应用，在解决模式识别问题时表现出显著优势。具体而言，在降维与区分任务方面主要包含$LDA$（基于Fisher线性判别方法）以及感知机算法。该文介绍了一种称为**Fisher线性判别分析**（LDA）的技术。该方法通过确定一个投影方向来最大化类间散度的同时最小化类内散度。其目标函数为$S_{\text{间}}^2/(\text{S}_{\text{内1}}^2 + \text{S}_{\text{内2}}^2)$, 通过求解其最大值来确定分类面的位置参数。值得注意的是, LDA无需预先设定特定的样本分布假设, 但在面对高维数据且样本数量较多时, 投影后的样本往往呈现近似的正态分布特征。 **感知机**是一种基于简单线性模型的分类器，在监督学习中通过逐步优化权重参数来实现对输入数据的正确划分。当出现误分情况时，其权重参数将朝着导致错误分类的方向进行调整。该算法在处理线性可分的数据集时表现出良好的效果；然而，在面对复杂的非线性问题时可能会遇到收敛困难，并且可能存在多个满足条件的解。 LDA与感知机的区别与联系： LDA在确定分类方向后会设定一个清晰的分类界限；而感知机则通过逐步优化直接获得完整的线性判别模型。相比于感知机而言，LDA展现出更好的分类性能。这是因为其建立的决策面基于全局优化的结果；而感知机由于可能出现迭代过程中的非收敛现象而导致其在某些情况下无法达到理想的效果。支持向量分类器（SVM） 支持向量机（SVM）是一种强大的监督学习算法，在处理那些在原始空间中线性不可分的数据方面表现出色。该方法特别擅长利用非线性映射函数将数据从原始低维空间转换至高维特征空间，并使得原本在低维空间中无法分割的数据可以在高维特征空间中被分割开来。随后，在这一高维特征空间中寻找一个能够最好地区分两类数据的理想超平面位置，并通过求解最大间隔问题来确定最优参数。为了保证模型的有效性,SVM不仅要求最大化分类边界的间距（margin），还需要满足Karush-Kuhn-Tucker（KKT）条件,从而确保所有支撑向量都位于距分类边界最远的位置。 概述而言，在北航的计算机科学研究生课程中承担了这些机器学习方法的核心角色：最大似然估计、线性分类器（LDA和感知机）以及支持向量机。这些技术为理解和解决实际问题承担了提供理论基础与技术工具的任务。学生能够掌握利用数据进行有效预测与决策的能力。 概述而言，在北航的计算机科学研究生课程中承担了这些机器学习方法的核心角色：最大似然估计、线性分类器（LDA和感知机）以及支持向量机。这些技术为理解和解决实际问题承担了提供理论基础与技术工具的任务。学生能够掌握利用数据进行有效预测与决策的能力。