【新智元导读】原生1bit大模型BitNet b1.58 2B4T再升级！微软公布BitNet v2，性能几乎0损失，而占用内存和计算成本显著降低。
即使将权重量化到1.58位，也能在极大降低推理成本（延迟、内存占用、吞吐量、能耗）的同时，保持与全精度模型相当的性能。
BitNet v2框架，首次实现对1比特LLMs的原生4比特激活值量化。
针对注意力机制和前馈网络中激活值的异常分布问题，在激活值量化前，H-BitLinear模块施加在线Hadamard变换（Hadamard transformation）。
这种变换能将尖锐的激活值分布转化为更接近高斯形态的平滑分布，从而适配低比特表示。
得益于下一代GPU（如GB200）等硬件的进步，深度学习领域正迅速采用量化和低比特推理技术。
然而，尽管BitNet b1.58将权重量化为1.58比特，缓解了内存带宽瓶颈，但它的激活值仍保持8比特精度。
实现更低比特宽度的激活值对于最大化硬件利用率至关重要，尤其是在批处理推理场景中，高效的内核设计尤为重要。
虽然注意力机制和前馈网络（FFN）层的输入通常呈现类高斯分布，适合量化，但中间状态（最终投影前的输出）往往包含显著的离群值，阻碍了激进的低比特量化。
图1下半部分：注意力层中输出投影Wo和前馈网络中下投影Wdown的激活分布情况
尽管性能损失较小，但稀疏化并不适合批处理推理场景的最大吞吐量需求，因为硬件更倾向于密集计算以提升效率。
为弥合这一差距并充分发挥1.58比特LLM在4比特计算中的潜力，研究团队提出了BitNet v2框架，实现了模型全流程的原生4比特激活值，框架核心创新是H-BitLinear。
BitNet v2模型基于类似LLaMA的组件构建，包括RMS归一化、SwishGLU激活函数，并完全移除了偏置项（bias）。
与先前的BitNet相比，BitNet v2在注意力模块的输出投影Wo和前馈网络（FFN）的下投影Wdown中，引入了H-BitLinear模块，以专门处理中间状态中出现的异常通道（outlier channels）。
随后，在保持权重量化不变的基础上,将所有线性层（除输入/输出embedding外）进一步微调为4位激活（INT4）。
注意力层和前馈网络中前置线性变换的输入激活，通常呈现高斯分布，较适合量化；
而注意力输出（Wo）和FFN下投影（Wdown）的中间状态激活，则往往包含大量离群通道（outlier channels），且大部分值集中于0附近，严重影响低位量化精度。
H-BitLinear可以取代注意力机制输出投影和FFN下投影的标准线性层。
H-BitLinear在激活量化前应用在线哈达玛变换），把中间状态中尖锐、易产生离群值的分布重塑为更易处理的类高斯分布，显著减少1.58比特模型中离群值的影响。
它的特点是每个元素只能是+1或-1，并且每行（或每列）之间的内积为0，表示彼此正交。
如图2和图3所示，引入Hadamard变换后，中间状态的分布更加接近高斯形态。
图3：采用8比特激活值时，BitNet b1.58与BitNet v2在前馈网络Wdown层和注意力机制Wo层的激活值分布对比。
对于8位激活（INT8）和4位激活（INT4）量化策略，分别采用下列策略：
研究团队从头开始使用8比特激活值训练BitNet v2，与BitNet b1.58相比性能损失微乎其微。
实验表明，4比特BitNet v2变体在性能上与BitNet a4.8相当，但在批处理推理场景中提供更高的计算效率。
此外，与后训练量化方法SpinQuant和QuaRot，则几乎全面领先。
在注意力机制和前馈网络（FFN）层的量化前引入哈达玛变换后，模型的困惑度（perplexity）下降极小。
对于8比特激活值，BitNet v2相较于BitNet b1.58表现出更高的性能，在1.3B、3B和7B模型规模上，终端任务的平均准确率分别提升了0.16%、0.49%和0.61%。
此外，BitNet v2支持所有线比特激活值，从而显著提升了批处理推理的效率。
在使用INT4（4比特整数）激活值时，BitNet v2的困惑度与BitNet a4.8相当，同时在3B和7B模型的下游任务中展现出更优的性能。
表2和表3分别总结了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注意力机制下的详细结果。
如表2和表3所示，采用3比特KV缓存的BitNet v2在3B和7B模型上的准确率与使用全精度KV缓存的模型相当。
表2：BitNet v2在终端任务上的零样本准确率，其中激活使用8位，而QKV状态的位宽则有所不同。
表3：BitNet v2在终端任务上的零样本准确率，其中激活使用4位，而QKV状态的位宽则有所不同。
BitNet v2 (a4)与主流的后训练量化基线方法进行了对比，包括SpinQuant和QuaRot，在1.3B参数规模的模型上进行了评测。
随后，这两种方法分别采用GPTQ和absmax策略，将权重和激活量化到4位。
由于BitNet b1.58沿用训练时使用的absmean函数进行权重量化，而非使用GPTQ。
另外，在Hadamard变换对不同模型尺寸（1.3B和3B）影响的实验（见表5）中，研究者发现：
引入Hadamard旋转（无论是权重+激活，还是仅激活），都能显著稳定低位训练，并提高最终准确率。
05月26日，安徽启动低温雨雪冰冻灾害Ⅳ级应急响应，九游会官方入口吗，凯发娱乐官网网页版入口，体育在线投注网站，银河app是什么
05月26日，一图看懂：支持大龄领取失业保险金人员参加企业职工基本养老保险，火狐体育客户端手机版，真人德州网页版，澳门十大正规游戏，两人麻将
05月26日，以爱点亮人生 《老式喜剧》迎新一轮演出，星河国际线靠不靠谱，游戏厅捕鱼机，博乐体育app官网
05月26日记者手记：在利马唐人街寻味中国mg国际官方游戏摆脱电子网址pg电子试玩模式网址二八杠网页版棋牌游戏
05月26日外媒：俄罗斯总统普京将访问朝鲜welcome彩神购彩大厅365bet国际官方网站斗牛先发四张牌怎么玩理财婆
05月26日世界针灸学会联合会主席：多种“语言” 多种形式 促进针灸全球化传播pg电子游戏app官方网站18luck真人高校体育官网?录……
05月26日，赵乐际同瑙鲁议长斯蒂芬举行会谈，AG亚游平台app，欧亚国际游戏网址，欧宝登录，当日玄机报
05月26日，河北承德：特质番茄点亮餐桌 冬日蔬菜供应无忧，太阳城在线官网，三肖三肖，优博体育官方，皇冠注册
05月26日（神州写真）中国冰雪文旅迎奇景 吉林雾凇解锁“流量密码”m88体育手机登录澳门皇冠站beat365沙巴体育沙
05月26日，“等了4年” 张之臻迎澳网首胜 中国军团晋级第1人，kb体育入口，能游戏打鱼，ManBetX万博开户，188提款成功不到账
05月26日，两岸婚生子女福建宁德结交挚友，必发在线cc官网，三昇体育首页，皇冠足球正版app下载地址
05月26日，北京IPv6综合发展指数全国第一 推进技术创新应用，det365下载，沙龙国际sa36电话多少，银河国际证券手机版下载，百老汇世界杯买球
05月26日周末做手工、用视频“写日记”……小网民的朋友圈喜欢晒点啥？大富豪在线一版)优德官网买球必赢登录网址
05月26日习在省部级主要领导干部推动金融高质量发展专题研讨班开班式上的重要讲话强信心、明方向巴黎人官网注册伟德体育手机app下载国际炸金花app葡京线日全球邮轮业复苏步伐加快金沙电子游戏平台非凡娱乐电子欧亿体育官网下载亚星体育下载
茶百道回应网友给胖猫点单送来白开水，隔壁的护士助理你好 法国永乐会苹果客户端188体育黄金城gcgc官网leyu乐鱼全站官网登录
小主安康－宠物医院2，迷风花卸任Hero主教练北约举行瑞典入约仪式bibobobibobi大众棋牌官网优博网址平台升博线路检测im体育真人
万茜的伤疤，披荆斩棘的大小姐新动能行业利润较快增长（锐财经）黄宝国际真人投注华体会注册App284俄罗斯贵宾会官网ag真人app官网
郝蕾表演课300一节，美国国务卿布林肯4月24日至26日访华医保个人账户开启跨省共济功能澳门尼斯电子游戏下载猎人国际真人CS上庄店手机上赌钱华体会免费试玩
非自然死亡，我发一击男名场面，你来打分“稳”的基础更牢固、“进”的动力更强劲 数说中国经济发展成色足raybetapp官网下载K8凯发全站APPROR手机登录188比分直播开户
我们的国家公园，少年歌行香港海关及渔护署提醒市民勿误带兰花等受管制物品出入境AG视讯试玩k8娱乐网址下载捷报足球即时比分亚娱登录官网
各地加强小麦田管保丰收，养老院73岁退休教师死在床上系谣言蛋白质吃多了伤肝伤肾……是真是假？｜谣言终结站 亿博手机APPballbet体育平台下载地址百老汇APP官方版下载新宝gg创造奇迹