东南大学《信息论与编码》课程习题解答

简介：
本书为东南大学《信息论与编码》课程配套习题解答，包含了丰富的例题解析和详尽的答案说明，帮助学生深入理解信息论及编码技术的核心概念和应用技巧。 **知识点详解** 1. **信息论的基本概念与分类** - 信息论可以分为狭义信息论和广义信息论两大类。狭义信息论主要关注信息的量化、传输和处理，侧重于讨论不确定性及熵的概念；而广义信息论则更加广泛地探讨了社会属性、实用价值以及人的主观感受，考虑到了接收者、环境和社会背景等因素。 2. **信息与娱乐的关系** - 除了数据或事实外，信息还包含情感、艺术和娱乐等方面的价值。例如，在观看梅兰芳大师的京剧表演时，即便内容熟悉，观众仍然可以从中获得新的体验和满足感，这种情感上的提升被视为广义信息的一部分。 3. **信息量与数据量的区别** - 尽管轻音乐的数据可能超过新闻报道的数量，但从信息的角度来看，两者的信息量因接收者的兴趣、需求及背景而异。这里强调的是新颖性、不确定性和意义的重要性而非单纯的数据大小。 4. **信息量的计算方法** - 通常使用比特来衡量信息量，反映其不确定性与新奇程度。例如，在240颗珍珠中找出一颗不同重量的假珠，这一事件包含了特定的信息量，并且可以用比特表示出来。 5. **信息量与概率的关系** - 根据香农理论定义，事情发生的不确定性越大，则包含的信息量也越大；反之亦然，必然性高的事件由于无任何不确定性存在，其信息量为零。 6. **电视图像中每个像素的计算方法** - 一个典型的电视画面中的每一个像素可以有128种不同的亮度电平。如果各电平出现的概率均等，则可以通过对数函数来确定单个像素的信息量，并进一步求出整个帧图的信息总量。 7. **汉字描述信息量的方法** - 使用汉字描绘图像时，考虑到汉语的词汇丰富度以及每个字所承载的信息量大小，可以计算所需字符数量及对应总信息负载。 8. **熵的概念及其最大化情况** - 熵是用来衡量不确定性的一种指标。当0和1出现的概率相等（即p=0.5）的时候，熵达到最大值；而随着概率向极端化发展（接近于0或1），其对应的熵则逐渐减少直至消失。 9. **条件熵的性质及计算** - 条件熵H(X3|X1X2)表示在已知X1和X2的情况下对X3不确定性的度量。证明H(X3|X1X2)≤H(X2|X1)，需要考察条件熵的相关数学特性，这通常与变量间的独立性或特定关系有关。 上述知识点涵盖了信息论的基础理论、信息量的计算方式以及信息如何影响人类活动等方面的内容，深入理解这些概念有助于更好地把握信息的本质及其在现代社会中的作用。