并行计算中的可扩展性评估标准（中科大讲义）

简介：
本讲义探讨了在并行计算环境中如何有效评估系统的可扩展性，提出了若干关键指标和方法，旨在帮助研究者和工程师优化大规模分布式系统性能。出自中国科学技术大学教学资料。 可扩放性是并行计算中的一个重要性能指标。最简单的理解就是，在特定的应用场景下，计算机系统（或算法、程序）的性能随着处理器数量增加而按比例提高的能力。 影响加速比的因素包括： 1. 处理器的数量和问题规模； 2. 求解过程中包含的串行部分； 3. 并行处理导致的额外开销，如通信延迟、等待时间、竞争状况以及冗余操作等同步需求； 增加处理器数量超过算法所需的并发程度也会对性能产生负面影响。然而，在某些情况下增大问题规模有助于提高加速比： 1. 较大的问题可以提供更高的并行度； 2. 额外开销的增长速度可能低于有效计算的提升速率； 3. 算法中的串行部分比例随着问题大小增加而减小。 但是，当处理器数量过多时会导致额外开销增大，并且会降低单个处理器的工作效率。因此对于特定并行系统（算法或程序），其能否有效地利用不断增加的处理资源是有一定限制的。衡量这种能力就是可扩放性这一指标所要体现的内容。