面壁智能发布国内首个昇腾原生1.58比特端侧大模型BitCPM CANN

面壁智能联合清华大学、OpenBMB开源社区，正式发布并开源BitCPM CANN，这是中国首个完全基于华为昇腾平台训练、面向端侧场景的1.58比特三值大模型，以极低精度实现高效推理，缓解终端显存压力。

BitCPM CANN包含0.5B、1B、3B、8B四种参数规格，采用量化感知训练技术，权重仅限定在- 1、0、1 三个值，从源头压缩模型体积。实测显示，相比同尺寸全精度MiniCPM4模型，能力保留率达90.1%—97.2%；其中1B、3B、8B版本分别为97.1%、97.2%、95.7%，0.5B版本为90.1%，兼顾轻量化与高性能。

推理效率方面，该模型较传统BF16精度释放约6倍显存，权重整体压缩6—8倍，4GB内存可部署16B模型，配合MoE技术最高可承载32B模型；8GB内存环境下，可运行60B参数规模模型，大幅降低端侧大模型部署门槛。在昇腾910B芯片上，其量化训练吞吐达148 TFLOPs，相比全精度仅增加4.5%计算开销，训练效率优异。

当前全球存储价格持续上涨，终端设备面临显著“显存焦虑”。BitCPM CANN的推出，为手机、智能终端等设备提供低成本、高性能的AI部署方案，8B版本已可流畅运行于主流旗舰手机。目前，全系列模型权重已在HuggingFace、ModelScope平台开源，助力端侧AI生态加速发展。