本作业为刘成林教授于中国科学院开设的《模式识别》课程中的第一次作业，内容涵盖基础概念理解与实践应用探索。
模式识别第一章作业题
问题1 (Pattern Classification, Chapter 2, Problem 12)
设ωmax(x)是满足P(ωmax|x) ≥ P(ωi|x), 对所有i = 1,...,c的自然状态。
(a)证明：P(ωmax|x) ≥ 1/c
(b)对于最小错误率决策规则，平均误差概率为：
P(error) = 1−∫RP(ωmax|x)p(x)dx
(c)利用上述两个结果，证明：
P(error) ≤ (c-1)/c
(d)描述一种P(error)=(c-1)/c的情况
问题2 (Pattern Classification, Chapter 2, Problem 13)
在许多模式分类问题中，可以选择将模式分配到C个类别之一或拒绝其作为不可识别的。如果拒绝的成本不高，则拒绝可能是一个可取的行为。
令λ(αi|ωi) =
0 i ≠ j i,j = 1,...,c
λr i = c + 1
λs 其他情况
其中，λr是选择第(c+1)个动作（即拒绝）所造成的损失，而 λs 是造成替代错误的损失。证明：最小风险在我们决定 ωi 如果 P(ωi|x) ≥ P(ωj|x) 对所有 j，并且如果P(ωi|x)≥ 1−λr/λs 的情况下获得；否则拒绝。
当 λr = 0 和 λr > λs时，会发生什么情况？
问题3
我们现在有N个样本，每个样本xi, i=1,...,N具有d维。请提供PCA算法的证明和伪代码。
问题4 (Pattern Classification, Chapter 2, Problem 10)
考虑以下用于二类一维问题的决策规则：如果x > θ，则决定ω1；否则决定 ω2。
(a)展示该规则的概率错误为：
P(error)=P(ω1)∫θ−∞p(x|ω1)dx+P(ω2)∫∞θ p(x|ω2)dx
(b)通过微分，证明最小化P(error)的一个必要条件是 θ 满足 p(θ|ω1)P(ω1)=p(θ|ω2)P(ω2)
(c)d这个方程唯一定义了θ吗？
(d)给出一个使该等式成立的值实际上最大化错误概率的例子。
问题5 (Pattern Classification, Chapter 2, Problem 24)
考虑协方差矩阵Σ为对角阵σij =0且 σii=σ²i 的多变量正态密度，即 Σ = diag(σ²1,σ²2,...,σ²d)。
(a)证明证据是：
p(x)=1/Qd i=1 √2πσi exp[-½∑di=1(xi−µi/ σi )²]
(b)绘制并描述常数密度的等高线图
(c)写出从x到μ的马氏距离表达式。
问题6 (Pattern Classification, Chapter 2, Problem 32)
设p(x|ωi) ∼ N(µi，σ²I)，对于一个二维d维问题且P(ω1)= P(ω2)=½。
(a)证明最小错误概率为：
Pe = 1/√2π∫∞ae−μ²/2 dμ, 其中a=|| µ₂ - µ₁ ||/(2σ)
(b)设µ₁ =0 并且 μ=(μ₁,...，μd)t。 使用来自[Pattern Classification, Chapter 2, Problem 31]的不等式证明当维度d趋向于无穷大时Pe趋近零。
(c)用文字表达这个结果的意义。
计算机练习
多个计算机练习将依赖以下数据：
ω₁ ω₂ ω₃
样本 x₁ x₂ x₃ x₁ x₂ x₃ x₁ x₂ x₃
5星
