新智元报说念开云kaiyun

裁剪：桃子 LRS

【新智元导读】哈佛斯坦福MIT等机构初度提议「精度感知」scaling law，揭示了精度、参数范围、数据量之间的长入关连。数据量加多，模子对量化精度条目随之提高，这预示着AI界限低精度加快的期间行将终结！

就连「量化」也不管用，scaling law简直要终结了吗？

一提scaling law，东说念主们重心暄和的是参数范围、数据量等成分，却漠视了「精度」这一纰谬变量。

哈佛斯坦福MIT等机构有计划东说念主员竟发现，低精度教练会裁减模子的「灵验参数目」！

对此，他们提议了「精度感知（precision-aware）」scaling law。

论文地址：https://arxiv.org/pdf/2411.04330

对于推理过程来说，教练数据越多，量化带来的性能耗费越大。

就教练来说，「精度感知」scaling law大略预计不同部分领受不同精度的模子的耗费。在某些情况下，用低精度教练LLM可能更灵验率。

论文中，作家长入了教练后和预教练量化的scaling law，开导了一个完整的表面框架。

这个单一函数方式不错预计在不同精度下进行教练和推理时的性能左迁。

基于465次以上的预教练实验，在最大1.7B参数，教练数据量达到26B token的模子上考证了最新的预计。

艾伦有计划所科学家Tim Dettmers对此评价说念，这是很万古辰以来，最进犯的一篇论文。它以强有劲的笔据标明咱们正在接近「量化」的极限。

「论文平直指出：教练所需的token越多，所需的精度就越高，这对通盘界限和GPU的将来齐有闲居的影响」。

就连AI大牛Karpathy也转发了这个帖子。

图中不错看到，对于20Btoken教练，8B模子在16位精度下更灵验，70B模子，8位仍然可行，但遵守照旧入手裁减。注：8B模子（圆形）、70B模子（三角形）、405B模子（星形）

OpenAI有计划员Clive Chan暗意，拥抱scaling law，望望首先进的量化决议（mxfp，Pw≠Pkv≠Pa等）怎么鼓吹前沿将会很意旨。另外，我个东说念主觉得，值得花消一半的筹备预算来进行一次大范围运行，以考证这个拟合是否适用于大模子。

不错说，AI界限的大多量进展，齐来自筹备智商的升迁，这主要依赖于低精度加快（从32位到16位再到8位）。

但这种趋势当今正接近尾声。

加上物理终结，这栽植了scale终结的「好意思满风暴」。

LLM正接近「量化」scale极限

不必置疑，scale早已成为业界公认的深度学习中枢驱能源。

2020年OpenAI团队，以及2022年DeepMind团队在scaling law的论文中，有计划了模子/数据集大小之间的量度，以均衡性能和筹备。

然则，模子教练和推理时使用的精度，是影响老本和性能的进犯「第三成分」。

深度学习正在向低精度发展：刻下的前沿模子（如Llama-3）使用BF16教练，何况渊博骁勇将预教练范式转向FP8。

下一代硬件将相沿FP4，而仅权分量化的进展已导致大范围二进制和三进制教练。

这些范式能走多远？

具体来说，论文作家提议了以下问题：

精度、参数、数据三者之间怎么量度？ 它们在预教练和推理阶段各有什么区别？

其实，有计划精度scaling具有挑战性，因为scaling law的有计划闲居旨在烧毁细节性的完毕细节，追求渊博的函数方式，而量化有计划闲居相背，专注于细节：怎么进行量化，使用什么类型，应用于模子的哪些部分。

为了完毕这极少，有计划东说念主员探究了各式合理的函数方式，并聘用了一个将量化实施细节与耗费scaling「区别」的方式，由此大略在许多骨子情况下预计耗费scaling。

总的来说，作家有计划了在教练期间和之后，跟着数据和参数的变化，精度对耗费的影响怎么膨胀。

有计划发现了，在后教练量化的影响：量化导致的性能左迁，随数据量加多而加多。对于固定模子，向上某个点后接续教练可能无益，这种影响在模子后期量化时稀少显著。

针对预教练精度的最优聘用，筹备最优的预教练精度，闲居空闲于筹备预算，但当模子大小受限时，这种空闲性不再成立。在这种情况下，最优精度随筹备量冉冉增长。

对于N个参数的话语模子，在D个token上进行教练，教练精度为P_train ，教练后权重精度为 P_post ，最终有计划东说念主员找到了一个长入的scaling law：

其中，A、B、E、α、β是正拟合常数，δ_PTQ是指推理前教练后量化引起的耗费退化

Tim Dettmers在长文中暗意，英伟达Blackwell将通过硬件层面完毕的块级量化来提供出色的8位筹备智商。这将使8位教练变得像从FP16切换到BF16相通通俗。

然则，从这篇论文不错看出，将来还需要向上8位的精度来教练许多模子。

相较于其他模子，运行Llama 405B进行推理是一个庞大的挑战。但论文标明，中等参数范围模子（如70B）也难以在低精度下高效教练。

从Dettmers的个东说念主训戒（好多失败的有计划）来看，你无法骗取遵守。

要是量化失败，那么寥落化也会失败，其他遵守升迁机制亦然如斯。要是这是简直，咱们当今已接近最优解。在这种情况下，他只看到三条前进的说念路...

(1) scaling数据中心：这还能接续scaling约2年。

(2) 动态scaling：转向更小的专科化模子或更大/更小的模子。

(3) 学问蒸馏：蒸馏的行为与其他期间不同，可能具有不同的特色。

悉数这些意味着范式将很快从「scaling」转向「怎么运用现存资源」。Dettmers觉得「怎么匡助东说念主们通过AI提高分娩力」这种想维样貌是最好的前进标的。这种想维样貌更暄和历程和东说念主，而不是期间自己。

教练后量化Scaling Law

最通俗，亦然最常见的量化期间便是将现成的模子进行教练后量化处罚（post-train quantize）。

有计划东说念主员当先使用BF16方式教练的模子，并领受GPTQ期间来进行教练后的量化处罚，解空闲现教练后的量化在数据膨胀性方面发扬欠安。

模子在教练后量化以及与教练终结时比拟，出现了性能退化。

不错发现，跟着教练数据量的加多，悉数尺寸模子的性能退化δPTQ齐在加多；但对于固定的数据集，更大尺寸的模子性能退化更小。

上述公式中，CT、γD、γN、γpost是正的拟合常数；当token与参数的比例D/N足够大，或者量化后的精度Ppost足够低时，模子在预教练时辰蔓延后，量化带来的耗费可能会加多，

还不错不雅察到，当裁减量化精度时，δPTQ呈指数增长。

从直观上来说，要是在更多量据上教练，模子会将更多信息压缩到权重中，即量化权重的扰动对耗费的影响更大。

发现1：要是想将模子进行教练后量化，存在某一个预教练数据量，要是向上这个值，再添加额外的数据会对推理时的性能产生负面影响。

量化教练Scaling Law

有计划东说念主员探索了如安在教练阶段调整模子处罚数据的精度，包括模子的权重、激活值和KV缓存，测试了3位到12位的不同精度建树，并与BF16高精度基准进行比较。

量化教练

有计划东说念主员在保握激活值（Pa）和KV缓存（Pkv）的精度固定在较高水平的情况下，磨练了权重精度（Pw）与参数目（N）之间的量度，其中设定D = 13B个token，并在N和Pw的不同组合上进行了网格扫描。

等耗费概括图浮现，一个「参数目较少但权重精度较高」的模子不错达到与「参数目较多但权重精度较低」的模子换取的耗费。

此外，提高权重的位精度在低位精度时收益较大，但在较高精度时（每个权重6-7位）会趋于饱和。

根据训戒趋势，有计划东说念主员追忆了权重精度和参数之间的最好量度模子：

其中γw是一个拟合常数，用于推断模子权重的敏锐度；A、B、E、α、β是Chinchilla范围规矩中的拟合正数常数。

低精度教练

有计划东说念主员想要测试，在低精度教练中，对模子的权重、激活值和耀认识进行量化的影响是否相互重叠，即不同组件的量化成果可能会相互作用，产生更复杂的影响。

通过对比「旯旮拟合常数」模子和「蚁合拟合常数」模子的预计智商，来测试这种空闲性是否大致成立。

终结浮现，这两种拟合常数的要津具有大致换取的预计智商，即空闲性假定是合理的。

发现2：在教练期间对权重、激活值和KV缓存进行量化的成果，不错被建模为空闲且相乘的，因此耗费函数不错暗意为：

有计划东说念主员对常数γw、γa、γkv进行拟合，要是三个精度齐建树为换取的值P，与预教练换取，不错简化为下式子，其中γ̄是三个参数的平均值。

对预教练的影响

当模子以精度P进行教练时，意味着权重、激活值和KV缓存的精度齐等于P，即 Pw = Pa = Pkv = P，筹备老本与P成正比；

有计划东说念主员在16位精度下进行了实验，并使用老本模子C = 6ND FLOPs，探究到筹备与精度之间的线性关连，将模子进一步奉行泛化：当P = 16时，简化为Chinchilla老本函数。

不错能干到，无论实验的范围怎么，函数方式的含义齐是正确的，但预计的数值取决于拟合的常数，其中常数闲居是基于小范围、整型实验拟合的。

1、要是必须在低精度下教练，先加多参数目再加多数据

在低精度教练时，灵验的参数目会大大减少，因此加多参数目不错更灵验地运用有限的筹备资源，因为数据量相对于灵验参数来说照旧裕如了。

2、筹备最优的预教练精度闲居与筹备预算无关

在莫得对参数N、数据D和精度P的终结，独一固定筹备预算的情况下进行预教练，有计划东说念主员的经营是蚁合最小化耗费函数L(N, D, P)，其中C与NDP成正比，并最终获得了一个对于最优精度P*(C)的隐式方程。

解空闲现，当在整数类型的量化运行中拟合膨胀规矩时，P*大致是7位，也意味着在BF16中教练模子的骨子操作可能是次优的，何况向低精度教练的竞争需要在低于4位之前罢手，可能会迫使模子尺寸不可比例地（向上4倍）增大，从而保箝制耗费。

3、要是模子尺寸受限，筹备最优的预教练精度不错加多

有计划东说念主员在探讨如安在有限的筹备资源下，针对不同大小的智能体进行教练时，并发现了一个意旨的温存：

不同尺寸的模子并不一定需要在换取的数值精度下教练，骨子上，最优的数值精度会跟着筹备资源的加多而加多，而且这种加多与筹备资源的对数成正比。

也就意味着，要是保握模子尺寸不变，只调整数据量和数值精度，那么不错根据数据量和智能体大小的比例来调整最优的数值精度，大略更灵验地运用有限的筹备资源，通过减少数据量与灵验参数数目的比例，使智能体的教炼就果更接近祈望的景况。

发现3：当N（模子大小）、D（数据量）和P（精度）全部优化时，筹备最优的预教练精度与筹备资源无关。16位精度包含了许多不必要的位，而4位精度则需要不可比例地加多模子尺寸以保握耗费值。

拟合终结标明，7到8位是筹备最优的精度。比拟之下，当N事前固定，举例在相似数据上教练一系列模子时，P*(C)与C的对数成正比，也标明，对于被显赫过训的模子，教练时使用更高的精度可能是筹备上最优的聘用。

长入精度Scaling Law

有计划东说念主员将之前提议的两个膨胀规矩团结成长入的函数方式，不错预计教练和教练后量化的影响，包括两者之间的相互作用。

有计划东说念主员发现，在预计δPTQ时有两种竞争效应，但总体而言，以较低精度教练的模子对教练后量化更为健壮，即遭遇的退化较小。

直不雅上，以低精度教练Pw、Pa或Pkv会迫使模子学习对「量化噪声」有鲁棒性的权重，因此在PTQ下的退化较小。

然则，以低精度教练的模子的灵验参数数目Neff减少，导致token量与参数目的比值加多，会导致退化更多，也不错称之为「过训效应」。

修改δPTQ以探究教练精度

假定教练精度严格大于推理精度，要是相配则退化为零，有计划东说念主员先探索了仅在教练期间以权重精度Pw变化时的退化发扬。

不错不雅察到，要是教练和推理时精度之间有差距，退化会止境速即地加多到指数大值，不错将拟合的开动函数方式修改为：

并不错膨胀到包含耀认识机制的精度效应：

可讲明的长入函数方式

有计划东说念主员探究仅以低精度教练权重，并将Cw = 1算作示例，以便简化上式，不错反应出由于低精度教练权重而裁减的灵验参数目：

该公式大略暴露地反应了模子对PTQ噪声的鲁棒化进程，与在近似噪声下的教练进程相匹配。

发现4（长入膨胀规矩）：将预教练期间的低精度效应建模为空闲且相乘的噪声积蓄，并包括教练后量化退化，不错预计具有N个参数的话语模子，在D个token上教练，以教练精度Pw、Pa、Pkv，最终达到权重精度Ppost时的耗费为：

局限性

论文作家指出，刻下有计划还存在几个终结：

在实验过程中，使用了固定的模子架构和建树，但在实验中，时常会极端进行架构调整以稳妥低精度教练。

此外，作家还在相对较小的话语模子（最大致250M参数）上拟合了scaling law，未能消散超大范围模子情况。

下一步，有计划东说念主员将在更大范围模子上接续有计划这一成果。

论文作家

本篇论文中枢孝敬作家是Tanishq Kumar和Zachary Ankner。

Tanishq Kumar

Tanishq是哈佛大学数学专科的大四学生，有计划机器学习表面和筹备神经科学。他最感意思的是将表面用具应用于深度学习中鲜为东说念主知的训戒目的谜题。

Zachary Ankner

Zachary Ankner是麻省理工学院的三年龄本科生，咫尺学习筹备机科学和数学。他的有计划旨在通过对通俗建模变化的深切实证访问来改进LLM。

参考尊府：

https://the-decoder.com/scaling-laws-for-precision-ai-researcher-sees-perfect-storm-for-the-end-of-scale/

https://x.com/Tim_Dettmers/status/1856338240099221674

https://arxiv.org/pdf/2411.04330