H100 NVIDIA 超微NV服务器

描述

产品描述

H100是NVIDIA的最新一代超微服务器，专为高性能计算和人工智能应用而设计。它支持多达14个NVIDIA的最新一代GPU，并具有高扩展性和高可用性。

特征

强大的计算能力和图形处理能力

高效的能源利用和散热设计

可扩展性和灵活性

H100 NVIDIA超微NV服务器是一款专为高性能计算和数据处理而设计的服务器。它采用了先进的NVIDIA技术，提供卓越的计算和图形处理能力，适用于各种科学计算、人工智能和深度学习任务。

H100 NVIDIA超微NV服务器具有卓越的性能和可靠性。它配备了最新的NVIDIA图形处理器和高效的处理器，能够处理复杂的计算任务和大规模数据处理。其先进的散热设计和能源利用技术使其能够在高负载情况下保持稳定性和高效性能。

NVIDIA H100 GPU采用具有FP8精度的Transformer Engine,相比上一代GPU,为大型语言模型提供高达4倍的训练速度。第四代NVIDIA NVLink可提供900 GB/s GPU到GPU的互连速度，NVLink Switch系统(可加速每个GPU跨节点的集体通信)、PCIe 5.0和Magnum IO®软件相结合，可实现从小型企业到大型统一GPU集群的高效可扩展性。这些基础设施的进步与NVIDIA AI Enterprise软件套件相结合，使HGX H100成为强大的端到端AI和HPC数据中心平台。

AI使用同样广泛的神经网络解决了广泛的业务挑战。出色的AI推理加速器不仅必须提供最高性能，而且还必须具备在客户选择部署的任何位置(从数据中心到边缘)加速这些网络所需的多功能性。

HGX H100进一步扩展了NVIDIA在市场中领先的深度学习推理领导地位，在Megatron 5300亿参数聊天机器人上的推理速度比上一代产品提高了30倍。

HGX H100将双精度Tensor Core的每秒浮点运算次数(FLOPS)提高了3倍，在8卡GPU配置中为HPC提供高达535 TeraFLOPS的FP64计算，在4卡GPU配置中提供高达268 TeraFLOPS的算力。融合AI的HPC应用还可以利用H100的TF32精度在零代码更改的情况下，为单精度矩阵乘法运算实现近8000 TeraFLOPS的吞吐量。

H100采用DPX指令集，可将动态编程算法（例如用于DNA序列比对和蛋白质比对以预测蛋白质结构的Smith-Waterman）的速度比基于NVIDIA Ampere架构的GPU提高7倍。通过提高基因测序等诊断功能的吞吐量，H100可为每个诊所提供准确、实时的疾病诊断和精准的药物处方。

数据中心是新的计算单元，网络在扩展应用程序性能方面发挥着不可或缺的作用。搭配NVIDIA Quantum InfiniBand，HGX提供世界一流的性能和效率，确保计算资源的充分利用。NVIDIA Quantum InfiniBand凭借网内计算加速、远程直接内存访问(RDMA)和高级服务质量(QoS)功能引领潮流。

对于部署以太网的AI云数据中心，HGX最适合与NVIDIA Spectrum-X网络平台配合使用，该平台可在400 Gb/s以太网上提供最高AI性能。Spectrum-X采用NVIDIA Spectrum™-4交换机和BlueField-3 DPU，通过优化资源利用率和性能隔离，可在各种规模上为数千个同步AI作业提供一致且可预测的结果。Spectrum-X支持高级云多租户和零信任安全。借助Spectrum-X，云服务提供商可以加快AI解决方案的开发、部署和上市速度，同时提高投资回报率。

应用领域

H100 NVIDIA超微NV服务器广泛应用于科学研究机构、大型企业、教育机构等领域，用于高性能计算、人工智能、深度学习、大数据分析等任务。

美国出台了对华半导体出口限制新规，其中就包括了对于高性能计算芯片对中国大陆的出口限制。并且以NVIDIA的A100芯片的性能指标作为限制标准。即同时满足以下两个条件的即为受管制的高性能计算芯片：

（1）芯片的I/O带宽传输速率大于或等于600 Gbyte/s；

（2）“数字处理单元原始计算单元”每次操作的比特长度乘以TOPS计算出的的算力之和大于或等于4800TOPS。这也使得NVIDIA A100/H100系列、AMD MI200/300系列AI芯片无法对华出口。