NVIDIA H100 数据手册

简介：
《NVIDIA H100数据手册》提供了有关这款高性能GPU的技术规格、架构特性以及硬件接口详细信息，是开发者和工程师的重要参考文献。 NVIDIA H100 Tensor Core GPU 是 NVIDIA 公司为数据中心设计的一款高性能图形处理器，它提供了卓越的性能、可扩展性和安全性。这款GPU基于NVIDIA Hopper™架构，其创新技术实现了计算加速的重大突破。 H100在大型语言模型上的表现提升了30倍，并且能够加快对话式人工智能等多类工作负载的速度。第四代Tensor Core和FP8精度的Transformer Engine让GPT-3（175B）模型的训练速度比前一代快4倍。此外，在高性能计算(HPC)应用中，H100通过双精度Tensor Core实现了每秒浮点运算次数(FLOPS)三倍的增长，并提供高达60万亿次的FP64计算能力。 动态编程(DPX)指令为相关工作负载提供了7倍性能提升；第二代多实例GPU（MIG）、内置NVIDIA机密计算技术以及NVIDIA NVLink切换系统则确保了从企业到exascale规模的数据中心所有工作负载的安全加速。PCIe接口和NVIDIA NVLink桥接技术，结合Transformer Engine、NVLink和188GB HBM3内存的H100 NVL GPU提供了优化性能，并能轻松扩展至任何数据中心。 配备H100 NVL GPU的服务器在受限功率的数据中心环境中能够将Llama 2 70B模型的速度提升到NVIDIA A100系统的五倍，同时保持低延迟。此外，附带为期五年的NVIDIA AI Enterprise订阅服务简化了构建企业级AI就绪平台的过程。 通过加速开发和部署生产级别的生成性AI解决方案，H100进一步支持AI软件的发展与应用。其内置的安全性和高效的训练能力使它成为处理大规模AI工作负载时的首选硬件解决方案。这些技术进步标志着加速计算的新纪元，并展示了该GPU在多方面应用中的巨大潜力。