188GB显存 800W功耗！NVIDIA发布H100 NVL加速卡：ChatGPT提速2倍|今日最新

时间：2023-03-22 16:50:42 来源: 快科技

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。

(相关资料图)

GTC 2023春季技术大会上，NVIDIA又发布了顶级的H100 NVL，它是已有H100系列的特殊加强版，专为大型语言模型(LLM)进行优化，是部署ChatGPT等应用的理想平台。

H100 NVL单卡具备多达94GB HBM3高带宽显存(内存)，照此容量看显然是开启了完整的6144-bit位宽，并启用了全部六颗，等效频率按照5.1GHz计算的话，带宽就是恐怖的3.9GB/s。

但也有个问题，六颗HBM3显存总容量应该是96GB，但是这里少了2GB，官方没有解释，猜测还是出于良品率考虑，屏蔽了少数存储单元。

相比之下，H100 PCIe/SXM版本都只开启了5120-bit位宽，六个显存位只使用五个，容量均为80GB，区别在于一个是HBM2e 2TB/s带宽，一个是HBM3 3.35TB/s带宽。

H100 NVL还可以双卡组成一个计算节点，彼此通过PCIe 5.0总线互连，总显存容量就是188GB，总显存带宽7.8TB/s，NVLink带宽600GB/s，总功耗可达700-800W。

计算性能相当于H100 SXM的整整两倍，意味着也开启了全部16896个CUDA核心、528个Tensor核心，其中FP64双精度浮点性能64TFlops，FP32单精度浮点性能134TFlops。

再加上Transformer引擎加速的辅佐，在数据中心规模，H100 NVL与上一代A100相比，GPT-3上的推理性能提高了多达12倍。

H100 NVL将在今年下半年开始出货，价格……尽情想象去吧。

值得一提的是，NVIDIA还同时推出了其他两套推理平台：

NVIDIA L4：

适用于AI视频，性能比CPU高出120倍，能效提高99，提供强大的的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

NVIDIA L40：

适用于图像生成，针对图形以及AI支持的2D、视频和3D图像生成进行了优化，与上一代产品相比，Stable Diffusion推理性能提高7倍，Omniverse性能提高12倍。

顺带一提，CPU、GPU二合一的NVIDIA Grace Hopper适用于图形推荐模型、矢量数据库、图神经网络，通过NVLink-C2C 900GB/s带宽连接CPU和GPU，数据传输和查询速度比PCIe 5.0快了7倍。

标签：

精彩推送

aics6工具栏_aics6没有工具栏

1、窗口--工作区--“重置XXX”，这个能行吗?好吧，不管用。2、首先，把这个版本卸载干净了。3、先用常规...

来源：2023.03.09

今日要闻!电脑启动蓝屏怎么回事（电脑启动蓝屏）

电脑蓝屏不断重启，可能是用户更新微软推送的补丁，通过系统或安全软件更新补丁后，电脑重启后出现0xc00...

来源：2023.03.09

东京马拉松选手随地小便，日本网民急了世界看热讯

近日，多名马拉松跑者在2023东京马拉松比赛起点前向绿化带小便的画面，在日本社交媒体引发热议。据日本...

来源：2023.03.09

环球快报:lol幸运召唤师1月有哪些活动_lol幸运召唤师1月活动地址

温馨提示：幸运召唤师每个月都有相同的地址，官方时间只有这个月。所以可以点击下面的地址关注一月幸运...

来源：2023.03.09

网易云听歌识曲怎么识别抖音音乐_网易云听歌识曲

1、打开网易云音乐，然后，如下图。2、其次，在界面中，你会进入听歌的界面。本文到此结束，希望对大家...

来源：2023.03.09

全球动态:道恩股份（002838）3月9日主力资金净买入582.84万元

截至2023年3月9日收盘，道恩股份(002838)报收于18 39元，下跌0 05%，换手率1 2%，成交量4 66万手，成交额8616 39万元。

来源：2023.03.09

每日动态!三大指数午后集体转涨光刻胶、半导体涨幅居前

三大指数午后集体转涨光刻胶、半导体涨幅居前,半导体,个股,创业板,光刻胶,涨停

来源：2023.03.09

环球新资讯：主角穿梭各个小说世界有海主角穿越第一个世界是海贼

1、穿越在电影世界时空掠夺者。2、时空大盗夺取信仰满意请采纳！。本文到此分享完毕，希望对大家有所帮助。

来源：2023.03.09

新车报讯：售13.99-16.69万元|共4款车型东风本田享域锐·混动上市热议

汽车现在已经越来越普及，基本上都快实现每家每户都有汽车了，那么汽车这么多的情况之下，我们在用车的...

来源：2023.03.09

新闻快讯

X 关闭

精品推荐

X 关闭