面壁智能等开源首个基于华为昇腾训练的1.58-bit 端侧大模型BitCPM-CANN

据介绍，相比传统 BF16 精度，BitCPM-CANN 在推理阶段释放约6倍显存红利，同时将模型能力保留率维持在90%–97.2%。面壁智能表示，BitCPM-CANN 的亮相，标志着面壁智能高效大模型「小钢炮」在端侧落地的能力进一步跃升，同时也通过开源向中国端侧大模型赛道提交了一份新的答卷。