Thomas M. Cover 的《信息论基础第二版》答案，由张华翻译。

简介：
### 信息论基础第二版答案解析#### 一、引言本书《信息论基础》第二版由Thomas M. Cover及Joy A. Thomas编写，是信息理论领域内的一本经典教材。张华对本书进行了翻译，并针对国科大的教学需求提供了相应的教材配套答案。该书不仅涵盖了信息论的基础概念，还深入探讨了熵、相对熵、互信息等核心概念，以及这些概念在实际问题中的应用。#### 二、熵、相对熵与互信息本章主要介绍了熵、相对熵和互信息的基本概念及其计算方法，并通过一系列例题帮助读者更好地理解和掌握这些概念。##### 2.1 熵熵是衡量随机变量不确定性的度量。在信息论中，熵越高表示信息的不确定性越大。对于离散随机变量$X$，其熵定义为：\[ H(X) = -\sum_{i} P(x_i) \log_2 P(x_i) \]其中，$P(x_i)$表示随机变量$X$取值为$x_i$的概率。##### 2.2 相对熵相对熵，也称为Kullback-Leibler散度，用来度量两个概率分布之间的差异。对于两个离散概率分布$P$和$Q$，$P$相对于$Q$的相对熵定义为：\[ D_{KL}(P \| Q) = \sum_{i} P(x_i) \log_2 \frac{P(x_i)}{Q(x_i)} \]##### 2.3 互信息互信息用来度量两个随机变量之间相互依赖的程度。对于随机变量$X$和$Y$，它们之间的互信息定义为：\[ I(X; Y) = \sum_{x, y} P(x, y) \log_2 \frac{P(x, y)}{P(x)P(y)} \]#### 三、习题解答示例**例题**：一枚公平硬币被连续抛掷，直到出现第一次正面为止。设随机变量$X$表示出现第一次正面所需的抛掷次数。- (a) 求$X$的熵$H(X)$（单位为比特）。以下公式可能有用： \[ \sum_{n=0}^{\infty} r^n = \frac{1}{1-r}, \] \[ \sum_{n=0}^{\infty} nr^n = \frac{r}{(1-r)^2}. \]- (b) 根据这个分布随机抽取一个随机变量$X$。设计一个“高效”的一连串“是/否”问题，形式为：“$X$是否包含在集合$S$中？”比较$H(X)$与确定$X$所需的问题数量的期望值。**解答**：- (a) 随机变量$X$表示直到出现第一次正面所需要的抛掷次数，其分布服从几何分布，参数$p=\frac{1}{2}$，即$P(X=n)=p q^{n-1}, n \in \{1, 2, \ldots\}$。因此，$X$的熵为： \[ H(X) = -\sum_{n=1}^{\infty} p q^{n-1} \log(p q^{n-1}) \] \[ = - \left[ \sum_{n=0}^{\infty} p q^n \log p + \sum_{n=0}^{\infty} np q^n \log q \right] \] \[ = -p \log p \cdot \frac{1}{1-q} - pq \log q \cdot \frac{1}{p} \] \[ = -\log \frac{1}{2} - \frac{1}{2} \log \frac{1}{2} \] \[ = 1 - \frac{1}{2} \] \[ = \frac{1}{2} \text{比特} \]- (b) 为了高效地确定随机变量$X$，可以采用分段查询的方式。例如，首先询问“$X$是否小于等于2？”如果答案是否定的，则继续询问“$X$是否小于等于4？”以此类推。这样的策略能够快速缩小$X$的可能范围，从而减少所需提问的数量。对于几何分布而言，随着$n$的增大，$P(X=n)$呈指数级减小，这意味着较大的$n$值出现的概率很小，因此这种策略是高效的。由于$X$的熵为$\frac{1}{2}$比特，这表示在理想情况下，我们需要大约$\frac{1}{2}$比特的信息来确定$X$的值。在实际操作中，每次提问都可以提供1比特的信息，因此平均来说，我们至少需要提出1次问题才能确定$X$的值，这与$H(X)$的值接近。以上解答展示了如何计算几何分布下的熵，并设计了一种高效确定随机变量的方法。通过对这些问题的解答，我们可以更深入地理解信息论中关于熵、相对熵和互信息的基本概念及其实际应用。