辉达近期发文宣布了“黄氏定律”称 GPU AI推理性能过去10年内增长了1,000倍。图为辉达总部。图:取自 NVIDIA官网
无厂半导体公司辉达(Nvidia),近期发文宣布了“黄氏定律”(Huang's Law),称 GPU AI推理性能过去10年内增长了1,000倍。
根据《IT之家》今(2)日的报导,辉达表示,在过去10年中,辉达 GPU AI处理能力增长了1,000倍。“黄氏定律”代表,在“单芯片推理性能”中看到的加速不会逐渐消失,而是会继续出现。
文章指出,辉达首席科学家戴利(Bill Dally)所描述的“后摩尔定律时代计算机性能如何实现的结构性转变”主要基于人类的聪明才智。这一特征似乎难以建立一条定律,但戴利认为,一份指出 GPU AI推理性能在过去10年内大幅进化的图表,正标志着“黄氏定律”的开始。
戴利认为,一份指出 GPU AI推理性能在过去10年内大幅进化的图表,正标志着“黄氏定律”的开始。图:翻摄自 IT之家
戴利称,该图表显示,过去10年 GPU AI推理性能增长了1,000倍。戴利补充,Transformer引擎的 Nvidia Hopper架构的到来,带来巨大的性能推动。据称,Hopper使用8位和16位浮点与整数数学的动态组合,实现了12.5倍的性能飞跃,并且节省了能源。
事实上“黄氏定律”并非辉达的首创说法。《IEEE综览》(IEEE Spectrum)第一个提出以辉达执行长黄仁勋命名的“黄氏定律”。
辉达执行长黄仁勋。(资料照片)图:翻摄自辉达YouTube频道