推广 热搜: 采购方式  滤芯  带式称重给煤机  甲带  气动隔膜泵  减速机型号  无级变速机  链式给煤机  履带  减速机 

INT格式竟在8位量化中超FP,硬件设计要变天

   日期:2025-11-21 10:49:36     来源:网络整理    作者:本站编辑    评论:0    
INT格式竟在8位量化中超FP,硬件设计要变天

INT格式竟在8位量化中超FP,硬件设计要变天

INT格式竟在8位量化中超FP,硬件设计要变天

INT格式竟在8位量化中超FP,硬件设计要变天

INT格式竟在8位量化中超FP,硬件设计要变天

INT格式竟在8位量化中超FP,硬件设计要变天

INT格式竟在8位量化中超FP,硬件设计要变天

随着大语言模型的广泛应用,计算和内存需求激增,量化技术成为高效部署的关键。然而,Transformer架构中的激活值异常值问题一直困扰着低精度表示。当前AI硬件行业(如NVIDIA Blackwell架构)普遍转向低精度浮点格式来应对这一挑战,但这种趋势缺乏对不同粒度的系统比较,导致算法与硬件协同设计缺乏明确指导。论文指出,现有研究大多聚焦单一格式或粗粒度比较,忽视了细粒度量化下INT与FP的性能差异,这直接影响未来AI加速器的设计方向。

论文通过建立量化信噪比理论框架,系统分析了INT和FP格式在不同粒度下的性能表现。研究发现了一个关键的性能交叉点:在粗粒度量化中FP占优,但随着粒度变细(如块大小为32的MX格式),INT格式开始展现出竞争力。团队引入了对称裁剪方法,解决了细粒度低比特INT训练中的梯度偏差问题,实现了MXINT8几乎无损的训练性能。此外,通过Hadamard旋转等异常值缓解技术,NVINT4在4位量化中甚至能超越NVFP4,这在以往被认为是FP的绝对优势领域。

实验结果显示,在流行的8位细粒度格式中,MXINT8在算法精度和硬件效率上均优于MXFP8,而4位格式中FP仍具优势,但INT通过技术优化可实现反超。硬件成本分析表明,细粒度INT格式在相同吞吐量下面积和能效显著优于FP。这些发现挑战了当前硬件设计的FP中心化趋势,证明一刀切的FP方法并非最优,细粒度INT格式(特别是MXINT8)在未来AI加速器中能提供更优的精度、功耗和效率平衡。

Arxiv链接:https://arxiv.org/abs/2510.25602 ?
关键词:量化格式,INT与FP比较,细粒度量化,硬件效率,异常值处理

? 每天分享AI领域最新突破,带你第一时间get科技前沿动态~记得关注哦!

#AI #LLM #大模型 #深度学习 #强化学习 #多模态人工智能 #人工智能 #机器学习 #学术研究 #科技前沿
 
打赏
 
更多>同类资讯
0 条相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008329号-18
Powered By DESTOON