Infiniband网络架构解析2

简介：
本文深入剖析了InfiniBand网络架构，探讨其在高性能计算和数据中心中的应用原理、优势以及最新发展动态。适合技术爱好者及专业人士阅读。 InfiniBand是一种高性能的互连技术，在服务器、存储设备及网络装置之间扮演关键角色。该技术自1999年制定规范以来，在2005年后被广泛应用于超级计算机集群中，其高速版本如FDR（Fourteen Data Rate）和EDR（Enhanced Data Rate），以满足高性能计算(HPC)、企业数据中心以及云计算环境中的高数据吞吐量需求。 InfiniBand技术在性能上显著优于传统技术。例如，与光纤通道(FC)相比，其传输速度提高了3.5倍，并且交换机延迟仅为FC的十分之一。它支持SAN和NAS，并通过iSER（iSCSI Remote Direct Memory Access）实现了存储协议标准化。包括EMC、IBM XIV Gen3以及DDN SFA系列在内的多个存储系统采用了InfiniBand网络。 InfiniBand使用PCI串行高速带宽链接，提供SDR、DDR、QDR、FDR到EDR的HCA（Host Channel Adapter）连接方式，能够实现微秒甚至纳秒级别的低延迟。其链路层流控机制有助于先进的拥塞控制，并通过虚拟通道(VL, Virtual Lanes)提供了服务质量(QoS)保证，每条物理链接支持多达15个标准虚通道和一个管理通道（VL15），确保通信在共享物理连接时的独立性。 远程直接内存访问(RDMA)是InfiniBand的关键特性之一。它允许远程节点之间进行无CPU参与的直接读写操作，从而大大减轻了对CPU的需求。相比之下，TCPIP协议需要不断的确认和重发数据包，而InfiniBand通过流控制确保数据完整性并减少了延迟。 在结构上，InfiniBand网络基于通道采用交换式拓扑，并支持使用中继器进行线路延伸。在一个子网(Subnet)内最多可有65,536个节点，跨多个子网则需要路由器或网关连接。每个节点通过适配器（Adapter）接入到子网，其中HCA连接CPU和内存而TCA(Target Channel Adapter)连接硬盘及IO设备。 传输介质方面，InfiniBand可以使用铜质线箔、铜缆或者光纤以适应不同的距离需求。对于铜缆而言，其最大传输距离为17米；而对于光纤，则能够支持更远的距离。 凭借高性能、低延迟以及高效的QoS和RDMA技术，在需要高数据吞吐量及低延迟的应用场景中（如超级计算机集群和数据中心），InfiniBand在现代计算环境中扮演着重要角色。随着技术的不断发展，它在未来高性能计算领域将继续发挥关键作用。