
【TechWeb】5月25日音讯,面壁智能晓喻衔尾清华大学、OpenBMB开源社区,负责发布并开源其在低比特大模子熟识办法的最新效果——BitCPM-CANN。
这款中国首个齐备基于国产算力平台华为昇腾竣工端到端熟识并开源的三值(1.58-bit)大模子,继5月23日在华为鲲鹏昇腾开导者大会(KADC 2026)完成初度本事亮相后,本日负责将其全系列模子向全社会灵通。
据先容,比较传统 BF16 精度,BitCPM-CANN 在推理阶段开释约6倍显存红利,同期将模子才智保留率防守在90%–97.2%。一样的成立内存,不错承载远超以往的模子才智;大略反过来说,一样的模子才智在吞并款结尾上开动,只需要当年 1/6 的内存。这意味着,色综合久久加勒比高清88将来有望在手机上开动 60B 大模子,手机的智能会大幅擢升。
「2-bit」是近一年来端侧芯片行业的热点谈判话题,亦然在手机上开动更大参数模子的最大本事卡点之一。2-bit 量化将模子权重压缩 6-8 倍,使其能存起原机闪存,如 4GB 内存能放 16B,再互助 MoE 与激活鸿沟胁制、能放 32B;若内存扩大到 8GB,则能将模子参数扩大到 60B。
面壁智能默示,BitCPM-CANN 的亮相潮湿by喜酌,记号着面壁智能高效大模子「小钢炮」在端侧落地的才智进一步跃升,同期也通过开源向中国端侧大模子赛说念提交了一份新的答卷。
声明:新浪网独家稿件,未经授权遏止转载。 -->