





随着大语言模型的广泛应用,计算和内存需求激增,量化技术成为高效部署的关键。然而,Transformer架构中的激活值异常值问题一直困扰着低精度表示。当前AI硬件行业(如NVIDIA Blackwell架构)普遍转向低精度浮点格式来应对这一挑战,但这种趋势缺乏对不同粒度的系统比较,导致算法与硬件协同设计缺乏明确指导。论文指出,现有研究大多聚焦单一格式或粗粒度比较,忽视了细粒度量化下INT与FP的性能差异,这直接影响未来AI加速器的设计方向。
论文通过建立量化信噪比理论框架,系统分析了INT和FP格式在不同粒度下的性能表现。研究发现了一个关键的性能交叉点:在粗粒度量化中FP占优,但随着粒度变细(如块大小为32的MX格式),INT格式开始展现出竞争力。团队引入了对称裁剪方法,解决了细粒度低比特INT训练中的梯度偏差问题,实现了MXINT8几乎无损的训练性能。此外,通过Hadamard旋转等异常值缓解技术,NVINT4在4位量化中甚至能超越NVFP4,这在以往被认为是FP的绝对优势领域。
实验结果显示,在流行的8位细粒度格式中,MXINT8在算法精度和硬件效率上均优于MXFP8,而4位格式中FP仍具优势,但INT通过技术优化可实现反超。硬件成本分析表明,细粒度INT格式在相同吞吐量下面积和能效显著优于FP。这些发现挑战了当前硬件设计的FP中心化趋势,证明一刀切的FP方法并非最优,细粒度INT格式(特别是MXINT8)在未来AI加速器中能提供更优的精度、功耗和效率平衡。
Arxiv链接:https://arxiv.org/abs/2510.25602 ?
关键词:量化格式,INT与FP比较,细粒度量化,硬件效率,异常值处理
? 每天分享AI领域最新突破,带你第一时间get科技前沿动态~记得关注哦!
#AI #LLM #大模型 #深度学习 #强化学习 #多模态人工智能 #人工智能 #机器学习 #学术研究 #科技前沿
论文通过建立量化信噪比理论框架,系统分析了INT和FP格式在不同粒度下的性能表现。研究发现了一个关键的性能交叉点:在粗粒度量化中FP占优,但随着粒度变细(如块大小为32的MX格式),INT格式开始展现出竞争力。团队引入了对称裁剪方法,解决了细粒度低比特INT训练中的梯度偏差问题,实现了MXINT8几乎无损的训练性能。此外,通过Hadamard旋转等异常值缓解技术,NVINT4在4位量化中甚至能超越NVFP4,这在以往被认为是FP的绝对优势领域。
实验结果显示,在流行的8位细粒度格式中,MXINT8在算法精度和硬件效率上均优于MXFP8,而4位格式中FP仍具优势,但INT通过技术优化可实现反超。硬件成本分析表明,细粒度INT格式在相同吞吐量下面积和能效显著优于FP。这些发现挑战了当前硬件设计的FP中心化趋势,证明一刀切的FP方法并非最优,细粒度INT格式(特别是MXINT8)在未来AI加速器中能提供更优的精度、功耗和效率平衡。
Arxiv链接:https://arxiv.org/abs/2510.25602 ?
关键词:量化格式,INT与FP比较,细粒度量化,硬件效率,异常值处理
? 每天分享AI领域最新突破,带你第一时间get科技前沿动态~记得关注哦!
#AI #LLM #大模型 #深度学习 #强化学习 #多模态人工智能 #人工智能 #机器学习 #学术研究 #科技前沿


