Advertisement

Infiniband网络架构解析（五）

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：PDF

简介：
本文为《InfiniBand网络架构解析》系列文章的第五篇，深入探讨了InfiniBand网络的技术细节和应用实践，旨在帮助读者全面理解该技术。 InfiniBand架构是一种高性能的网络技术，旨在提升服务器平台的数据输入输出性能。最初的设计目的是将PCI总线技术进行网络化处理，并因此具备高带宽及低延迟的特点，能够支持多达64000个可寻址设备。与传统的以太网不同，InfiniBand使用独立于IP的协议栈且不支持套接字应用，这导致它无法兼容基于旧版IP的应用程序。 在一些集群环境中，为了管理需求可能需要同时部署InfiniBand和以太网基础设施，从而增加了成本及复杂性。InfiniBand网络结构与它的协议层次紧密相连，并类似于TCP/IP模型的架构： 1. 物理层：定义了电缆、插座的电气和机械标准，包括光纤和铜介质。这一层还负责将比特信号转化为符号，形成帧、数据符号和填充，并制定了编码、解码及信号边界等规定。 2. 链路层：处理数据包格式以及操作协议，如流量控制与子网内的路由策略。它包含链路管理数据包和实际的数据传输两类内容，确保在子网络内稳定地传送信息。 3. 网络层：类似于IP网络中的功能，负责跨多个子网的分组转发任务。该层级利用全局路由头（GRH）进行路径决策，并使用GID地址格式来决定数据包应被导向何方；路由器根据这些信息执行相应的传输操作以确保端到端的数据完整性和可靠性。 4. 传输层：这一层次负责将报文分配给特定的队列对(Queue Pair, QP)，并指示QP如何处理接收到的消息，包括消息超过最大传输单元(MTU)时进行分段和重组等任务。此外还包括数据包复用、基本通信服务及发送接收操作。 5. 上层协议：InfiniBand支持多种高级别的通信标准，如SDP（Stream Data Protocol）、SRP（SCSI RDMA Protocol）、iSER（Internet SCSI over InfiniBand）、RDS（Reliable Datagram Sockets）以及IPoIB和uDAPL等。其中SDP允许TCP/IP程序在InfiniBand上运行；SRP实现了SCSI命令的RDMA通信机制，而iSER则是在该网络环境下优化过的存储访问协议。 这些层次共同构成了InfiniBand网络的基础框架，并使其成为高性能计算、数据中心和存储系统中的理想选择。然而，在部署时需考虑与现有IP基础设施集成的问题，因为其不兼容传统的IP网络环境。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • Infiniband网络架构解析（五）
    优质
    本文为《InfiniBand网络架构解析》系列文章的第五篇，深入探讨了InfiniBand网络的技术细节和应用实践，旨在帮助读者全面理解该技术。 InfiniBand架构是一种高性能的网络技术，旨在提升服务器平台的数据输入输出性能。最初的设计目的是将PCI总线技术进行网络化处理，并因此具备高带宽及低延迟的特点，能够支持多达64000个可寻址设备。与传统的以太网不同，InfiniBand使用独立于IP的协议栈且不支持套接字应用，这导致它无法兼容基于旧版IP的应用程序。 在一些集群环境中，为了管理需求可能需要同时部署InfiniBand和以太网基础设施，从而增加了成本及复杂性。InfiniBand网络结构与它的协议层次紧密相连，并类似于TCP/IP模型的架构： 1. 物理层：定义了电缆、插座的电气和机械标准，包括光纤和铜介质。这一层还负责将比特信号转化为符号，形成帧、数据符号和填充，并制定了编码、解码及信号边界等规定。 2. 链路层：处理数据包格式以及操作协议，如流量控制与子网内的路由策略。它包含链路管理数据包和实际的数据传输两类内容，确保在子网络内稳定地传送信息。 3. 网络层：类似于IP网络中的功能，负责跨多个子网的分组转发任务。该层级利用全局路由头（GRH）进行路径决策，并使用GID地址格式来决定数据包应被导向何方；路由器根据这些信息执行相应的传输操作以确保端到端的数据完整性和可靠性。 4. 传输层：这一层次负责将报文分配给特定的队列对(Queue Pair, QP)，并指示QP如何处理接收到的消息，包括消息超过最大传输单元(MTU)时进行分段和重组等任务。此外还包括数据包复用、基本通信服务及发送接收操作。 5. 上层协议：InfiniBand支持多种高级别的通信标准，如SDP（Stream Data Protocol）、SRP（SCSI RDMA Protocol）、iSER（Internet SCSI over InfiniBand）、RDS（Reliable Datagram Sockets）以及IPoIB和uDAPL等。其中SDP允许TCP/IP程序在InfiniBand上运行；SRP实现了SCSI命令的RDMA通信机制，而iSER则是在该网络环境下优化过的存储访问协议。 这些层次共同构成了InfiniBand网络的基础框架，并使其成为高性能计算、数据中心和存储系统中的理想选择。然而，在部署时需考虑与现有IP基础设施集成的问题，因为其不兼容传统的IP网络环境。
     
  • InfiniBand网络架构解析1
    优质
    《InfiniBand网络架构解析1》深入浅出地介绍了InfiniBand技术的基本原理和网络架构，旨在帮助读者理解其在高性能计算与数据中心通信中的应用优势。 InfiniBand是一种专为高性能计算设计的网络通信标准，具有高吞吐量和低延迟的特点。它主要用于服务器之间的直接连接、服务器与存储系统间的互连以及存储设备间的连接，在大规模数据中心环境中尤为适用。 该技术采用“交换式”架构并被称为IO网络，数据传输路径由控制信息决定，类似于网络交换机的工作原理。128位的IPv6地址空间确保了巨大的扩展潜力，支持大量设备的连接需求。InfiniBand中的数据传输以包的形式进行，并且可以实现远程直接内存访问（RDMA）操作、多点传送以及不同信道间的通信。 从硬件角度看，InfiniBand包括主机通道适配器(HCA)和目标通道适配器(TCA)，前者连接到处理器而后者则用于外围设备。这两种适配器共同确保信息在预设的服务质量等级下可靠传输，并且数据传输始于并终于这些适配器上。 软件层面，InfiniBand通过简化应用程序的部署来支持现有应用（如IPTCP套接字、SCSI、iSCSI和文件系统）运行于其网络之上。这包括内核模块及协议层的设计，例如驱动程序、中间件和服务接口等。用户级的应用无需关心底层互连技术的具体细节。 InfiniBand的核心服务包括通信管理器（CM）、子网管理员客户端(SA 客户端)以及性能监控代理(PMA)，这些组件共同确保网络的高效运行和维护。 队列对(QP)是该架构中处理不同类型传输的关键部分，例如管理和数据传输。此外，“verbs”是一组API接口，允许应用程序访问InfiniBand硬件和服务层的功能。 最后，InfiniBand驱动程序支持高级协议（如IPoIB、SRP、SDP和iSER）在系统上无缝运行，并利用其高带宽、低延迟及低CPU占用率的特点。例如，通过IPoIB可以实现TCPIP流量直接在InfiniBand网络上的传输。 总之，InfiniBand是为高性能计算场景设计的高效互连技术，在服务器集群、存储系统和数据中心环境中提供强大的支持。
     
  • Infiniband网络架构解析2
    优质
    本文深入剖析了InfiniBand网络架构，探讨其在高性能计算和数据中心中的应用原理、优势以及最新发展动态。适合技术爱好者及专业人士阅读。 InfiniBand是一种高性能的互连技术，在服务器、存储设备及网络装置之间扮演关键角色。该技术自1999年制定规范以来，在2005年后被广泛应用于超级计算机集群中，其高速版本如FDR（Fourteen Data Rate）和EDR（Enhanced Data Rate），以满足高性能计算(HPC)、企业数据中心以及云计算环境中的高数据吞吐量需求。 InfiniBand技术在性能上显著优于传统技术。例如，与光纤通道(FC)相比，其传输速度提高了3.5倍，并且交换机延迟仅为FC的十分之一。它支持SAN和NAS，并通过iSER（iSCSI Remote Direct Memory Access）实现了存储协议标准化。包括EMC、IBM XIV Gen3以及DDN SFA系列在内的多个存储系统采用了InfiniBand网络。 InfiniBand使用PCI串行高速带宽链接，提供SDR、DDR、QDR、FDR到EDR的HCA（Host Channel Adapter）连接方式，能够实现微秒甚至纳秒级别的低延迟。其链路层流控机制有助于先进的拥塞控制，并通过虚拟通道(VL, Virtual Lanes)提供了服务质量(QoS)保证，每条物理链接支持多达15个标准虚通道和一个管理通道（VL15），确保通信在共享物理连接时的独立性。 远程直接内存访问(RDMA)是InfiniBand的关键特性之一。它允许远程节点之间进行无CPU参与的直接读写操作，从而大大减轻了对CPU的需求。相比之下，TCPIP协议需要不断的确认和重发数据包，而InfiniBand通过流控制确保数据完整性并减少了延迟。 在结构上，InfiniBand网络基于通道采用交换式拓扑，并支持使用中继器进行线路延伸。在一个子网(Subnet)内最多可有65,536个节点，跨多个子网则需要路由器或网关连接。每个节点通过适配器（Adapter）接入到子网，其中HCA连接CPU和内存而TCA(Target Channel Adapter)连接硬盘及IO设备。 传输介质方面，InfiniBand可以使用铜质线箔、铜缆或者光纤以适应不同的距离需求。对于铜缆而言，其最大传输距离为17米；而对于光纤，则能够支持更远的距离。 凭借高性能、低延迟以及高效的QoS和RDMA技术，在需要高数据吞吐量及低延迟的应用场景中（如超级计算机集群和数据中心），InfiniBand在现代计算环境中扮演着重要角色。随着技术的不断发展，它在未来高性能计算领域将继续发挥关键作用。
     
  • Infiniband网络架构解析3
    优质
    本文深入探讨了InfiniBand网络技术的架构细节，包括其在高性能计算和数据中心中的应用原理及优势。 InfiniBand网络中的RDS（ Reliable Datagram Sockets）协议旨在提供可靠的数据包传输服务，并在InfiniBand架构内实现了类似TCP的服务特性，但具有更低的延迟和更高的效率，特别适合需要实时性的应用环境。它允许应用程序直接访问远程系统的内存资源，从而减少CPU介入数据传输的需求并提高整体性能。 IPoIB（Internet Protocol over InfiniBand）是在InfiniBand网络上运行的标准IP协议，使传统的基于IP的应用能够利用InfiniBand的高性能特性。通过将IP数据包封装在InfiniBand的数据包中，它实现了对现有IP网络环境的支持，并保持透明性。 uDAPL（User Direct Access Programming Library）是一种用于开发InfiniBand应用程序的接口，允许直接访问硬件以实现高效的数据传输和并行计算操作。这种技术特别适用于高性能计算及大规模数据处理场景。 InfiniBand网络的主要组件包括： 1. 主机通道适配器 (Host Channel Adapter, HCA)：安装于服务器上，作为主机系统与InfiniBand网络之间的接口，负责处理发送接收的数据包并执行RDMA操作。 2. 目标通道适配器（Target Channel Adapter, TCA）: 通常位于存储设备中，用于响应来自HCA的传输请求。 3. 交换机 (Switch)：作为核心组件连接多个HCA和TCA，并根据数据的目的地址进行路由处理。 4. 终端（Endpoint）：网络中的每个节点如服务器、存储系统或交换机都被称为一个终端，拥有独一无二的全球唯一标识符(GUID)。 5. 队列对（Queue Pair, QP）: 传输层的关键概念，包括发送队列和接收队列负责数据包的收发操作。 6. 服务等级 (Service Level, SL): InfiniBand支持多种服务质量级别以确保不同优先级的数据流得到相应的处理。 7. 路由（Routing）：网络层级通过GRH进行全局寻址来完成子网间路由任务。 8. 传输路径（Path）: 数据包从源到目的地所经过的一系列交换机和适配器的连接。 InfiniBand技术的优点包括： 1. 高性能：提供高达400GBs的带宽以及微秒级延迟，特别适合于大数据及高性能计算环境。 2. 可扩展性：支持大规模设备扩展（使用128位地址空间）允许网络随着需求的增长而扩展。 3. 可靠性：通过冗余路径和错误检测机制确保数据传输的安全可靠。 4. 效率：RDMA技术使得远程内存直接访问成为可能，减少CPU负载并提高系统效率。 5. 灵活性：支持多种协议及应用适应各种工作负荷和网络布局。 综上所述，InfiniBand是一种专为高性能计算与数据中心通信而设计的网络技术。凭借其高带宽、低延迟以及高度可扩展性赢得了广泛的认可，并通过精心设计的层次化结构和网络架构提供了服务器间高效的数据交互支持。
     
  • Infiniband网络架构解析（四）
    优质
    本文为《InfiniBand网络架构解析》系列文章第四部分，深入探讨了InfiniBand技术在网络通信中的高级应用和优化策略。 InfiniBand是一种专为高性能计算和数据中心环境设计的通信标准，其核心优势在于高带宽、低延迟以及出色的系统扩展性。它不仅用于服务器之间的连接，还涉及服务器与存储系统及网络设备间的互连。InfiniBand协议支持远程直接内存访问（RDMA），允许直接访问远程系统的内存，从而提高效率和灵活性。 InfiniBand的带宽极高，从早期4xDDR 20Gbps到QDR技术下的4xQDR 40Gbps，延迟极低，如交换机延迟仅为140ns，应用延迟可以低至1μs。这种技术设计不是为了普通的网络连接，而是为了解决服务器端的高性能需求问题，例如在服务器复制、分布式工作负载、存储区域网络（SAN）和直接存储附件等场景中的高效连接。 InfiniBand架构与传统的IO子系统不同，它被视作一个完整的IO网络，并采用了类似于交换机的工作模型。信息通过控制校正信息确定传输路径。InfiniBand利用IPv6的128位地址空间提供几乎无限的设备扩展性。数据传输以数据包形式进行，经由主机通道适配器（HCA）和目标通道适配器（TCA），确保在指定的服务质量等级下可靠地传递信息。 对于基于Intel架构的处理器而言，InfiniBand解决了PCI或PCI-X总线带宽限制的问题。它可以被直接集成到系统主板中，并与CPU及内存子系统进行交互。然而，在初期阶段可能仍需依赖于PCI或PCI-X适配器。从长远来看，InfiniBand将广泛整合进服务器设计之中。 InfiniBand具有极强的扩展性：一个子网可以支持数千个节点，多个子网可以通过路由器连接形成复杂的网络结构。子网管理器负责路由分组、网络拓扑映射、链路管理和性能监控，并提供带宽保证及不同优先级的数据流服务。这种智能组件通常内置在交换机内。 InfiniBand架构设计比TCP更为轻量，它在更低的链路层提供了有序数据包交付，在传输层仅需检查包序列并实现基于信用的流控制机制以避免发送方过度填充接收方缓冲区。这样的设计降低了处理开销，并提高了整体性能，尤其适合大数据量和低延迟要求的应用场景。
     
  • Infiniband网络架构解析（六）
    优质
    本文为《InfiniBand网络架构解析》系列文章第六篇，深入探讨了InfiniBand技术在网络通信中的应用与优势，详细分析其架构细节。 InfiniBand是一种高性能的计算机网络通信标准，旨在解决服务器连接问题，并特别适用于数据中心和高性能计算环境。它具备高吞吐量、低延迟以及几乎无限设备扩展性的特点。 InfiniBand的网络结构主要由四个层次构成： 1. 物理层：定义了物理特性，包括电缆、插座等硬件接口标准及信号编码规则。 2. 链路层：负责数据包格式与协议管理，并进行流量控制和子网内路由。这一层级处理链路管理和普通传输两类数据包，确保错误检测与纠正功能正常运行。 3. 网络层：类似于IP网络中的网络层，主要职责为跨子网的数据转发决策。它使用全局路由头（GRH）来实现不同子网间的正确路由。 4. 传输层：处理报文分发和通道多路复用任务，并将数据包发送至指定队列进行进一步操作。如果消息大小超出最大传输单元，则需要拆分成多个小数据包传送，接收端再重组并放入缓冲区中。 此外，InfiniBand还支持多种上层协议以满足不同应用需求： - SDP（Socket Direct Protocol）允许TCP/IP应用程序在该网络环境中高速运行。 - SRP（SCSI RDMA Protocol）通过RDMA技术实现系统间直接传输SCSI命令，从而达到存储资源共享的目的。 - iSER（iSCSI RDMA Extension）则为基于iSCSI协议的应用提供了更高效的传输方式。 由于具备上述特性，InfiniBand在网络结构上的分层设计确保了数据的高效、可靠及灵活传输。同时其远程直接内存访问(RDMA)功能极大地减少了IO操作对CPU的影响，进而提升了整个系统的性能表现。因此，在高性能计算、存储区域网络(SAN)、并行处理和大数据分析等领域中应用广泛且效果显著。
     
  • InfiniBand网络架构
    优质
    InfiniBand网络架构是一种高性能计算和数据中心环境下的互连技术，旨在提供低延迟、高带宽的数据传输能力。 A very good way to introduce InfiniBand is by covering the entire architecture.
     
  • InfiniBand架构入门.pdf
    优质
    简介：《InfiniBand架构入门》是一份详细介绍InfiniBand技术基础与应用的PDF文档，适合初学者快速了解高性能计算和数据中心网络中的InfiniBand架构。 《InfiniBand架构简介》 InfiniBand架构（IBA）是一种专为服务器IO及服务器间通信设计的全新行业标准，由InfiniBand贸易协会（IBTA）开发。它旨在提供超越传统总线式IO结构的可靠性、可用性、性能和可扩展性，并满足当前与未来对服务器系统的需求。本章将介绍IBA的发展背景，概述其整体架构，深入探讨关键话题并讨论这一标准的影响。 42.1 InfiniBand贸易协会及其规范 IBTA成立于1999年8月，拥有约180名成员公司和机构，包括大学与研究实验室等。该协会由来自戴尔、康柏、惠普、IBM、英特尔、微软及太阳微系统的成员领导，并由IBM和英特尔共同主持；赞助公司则涵盖3Com、思科系统有限公司（Cisco Systems）、富士通-西门子(Fujitsu Siemens) 以及NEC等。大约100名来自IBTA成员公司的专家花费了约14个月时间定义并描述了InfiniBand架构，最终形成的规范文档详尽且广泛：它不仅涵盖了物理互连和封装形式的基础层面，还延伸至高级管理功能；同时提供了从简单不可靠通信到分区以及其间所有选项的宽泛功能范围。这导致形成了一套庞大的技术标准文件（约1500页），本段落只能介绍相关概念与特性，具体细节需参考规范本身。 该规模部分也源于开发过程中的两个目标：结果必须降低成本并适用于从低端到高端的各种系统；同时具有高度灵活性以允许不同的实现方法。这使得InfiniBand不仅适合高性能计算应用，还适应数据中心、存储区域网络（SAN）及企业级应用场景的需求。 42.2 InfiniBand架构概述 InfiniBand架构主要由以下组件构成： 1. 通道适配器(Channel Adapter, CA)：连接处理器与InfiniBand交换机，并处理相应的网络协议和IO任务。 2. 交换机(Switch)：提供设备间的通信连接点，支持数据路径的切换以提高带宽。 3. 主机通道适配器（Host Channel Adapter）：位于服务器内部，负责与InfiniBand交换机交互操作。 4. TCP卸载引擎(TOE)：处理TCP/IP协议栈，减少CPU对网络通信的需求负担。 5. 队列对标识符(Queue Pair Identifier, QPI) ：作为InfiniBand通信的基本单位，用于管理数据传输任务的分配与执行过程。 6. 动词（Verbs）: 一种编程接口，为应用程序提供直接控制InfiniBand通讯的能力。 42.3 InfiniBand性能优势 InfiniBand架构在以下方面表现出高性能特性： 1. 高带宽：单个InfiniBand链路的传输速率可达到20Gbps、40Gbps，甚至更高至100Gbps。 2. 低延迟：通过优化协议栈及直接内存访问技术实现极低通信延时。 3. 大量并发连接支持：多队列设计提高了系统资源利用率并提升了同时处理任务的能力。 4. 可扩展性: InfiniBand架构便于添加更多交换机和设备，而不会影响整体性能表现。 42.4 应用场景及行业影响力 InfiniBand的应用范围广泛： 1. 高性能计算（HPC）：在超级计算机与集群环境中提供高速互联能力以加速科学计算及大数据处理任务。 2. 数据中心: 提升服务器间通信速度，提高数据中心运营效率。 3. 存储系统: 在存储区域网络中实现快速、低延迟的数据传输从而改善存储性能表现。 4. 云计算服务：InfiniBand的高性能和低延迟能力有助于构建更高效且可扩展性的云基础设施解决方案。 通过引入InfiniBand，数据中心及计算技术得到了显著发展。系统性能与可扩展性达到了前所未有的高度，并有望在未来继续引领服务器架构以及网络设计的发展趋势。
     
  • GoogleNet Inception V1网络架构解析
    优质
    简介：本文深入剖析了GoogleNet Inception V1的网络架构，详细讲解其模块化设计、深度卷积神经网络以及如何通过多层次处理提高模型效率和准确性。 总结了许多牛人的知识，解释了自己的许多疑点。
     
  • AlexNet网络架构解析及模型构建
    优质
    本课程详细解析了AlexNet卷积神经网络的架构特点及其在图像分类领域的应用，并指导如何使用Python和深度学习框架搭建该模型。 AlexNet是2012年ILSVRC 2012（ImageNet大规模视觉识别挑战赛）的冠军网络，在该竞赛中将分类准确率从传统方法的70%+提升到了80%+，而当时传统的技术已经进入瓶颈期。这一显著的进步是由Hinton和他的学生Alex Krizhevsky实现的，并且自那以后深度学习开始迅速发展。