电子科技大学分布式并行计算考前复习（未定义MPI通信域和占有率计算方法）

简介：
本课程为电子科技大学分布式并行计算考试备考设计，重点涵盖MPI编程中未定义的通信域设置及系统占有率计算技巧，帮助学生深入理解与应用相关概念。 分布式并行计算是现代计算机科学中的一个重要领域，它涉及如何高效地利用多台计算机协同处理大规模数据和计算任务。在电子科技大学的考前复习中，主要涵盖了并行系统的结构、硬件分类以及互联网络的特性。 弗林分类法用于区分不同类型的计算机系统，并包括SISD（单指令流，单数据流）、SIMD（单指令流，多数据流）、MISD（多指令流，单数据流）和MIMD（多指令流，多数据流）。SIMD系统适用于执行同一操作于大量数据的情况，如向量处理器；而MIMD系统则支持多个线程或进程的并发执行，在现代多核处理器和分布式系统中较为常见。MIMD系统的异步特性意味着每个处理器可能拥有独立的控制单元和算术逻辑单元（ALU），处理不同的指令流。 共享内存系统与分布式内存系统是并行计算中的两种主要架构。在共享内存系统中，多个处理器通过互连网络连接到统一的存储系统，可以快速访问所有数据，适合隐式通信。多核处理器中的每个核心可能有自己的私有缓存，这种情况下共享内存系统又分为UMA（均匀存储访问）和NUMA（非均匀存储访问）。在UMA中，所有处理器访问内存的时间相同；而在NUMA中，则会因为位置差异导致不同区域的访问延迟有所不同。分布式内存系统的每个处理器拥有独立的内存，并通过显式的消息传递完成数据交换。 互联网络是并行系统中处理器间通信的基础，其性能关键指标包括直径、对分宽度和节点度等。其中，直径决定了网络中任意两点之间通信的最大时间；对分宽度衡量的是在将网络分割后两部分之间的最大通信容量，它是评估带宽能力的一个标准；而节点度是指每个节点连接的边数，在理想情况下应保持恒定，并且随着节点数量增加时最大边长不变。 常见的互联网络结构包括全连接、线状（如环形）和二维网格等。在全连接网络中，每台设备都与其他所有设备直接相连，适合用于小规模系统或需要高带宽的场景；而线状与环形网络则更加节省资源，但通信效率相对较低；二维网格结构适用于大型并行计算任务，并且相邻节点之间的通信也更为便捷。 理解这些基本概念和互联特性对于分布式并行计算的学习至关重要，因为它们直接影响到并行算法的设计、优化以及系统性能。因此，在准备考试时深入掌握上述知识点将有助于解答关于设计策略、性能分析及优化方案的问题。