众智FlagOS完成9芯片Day0适配国产大模型，首次实现云到端生态覆盖
2026-05-28 15:46
订阅
新京报贝壳财经讯（记者张晓慧）近日，面壁智能正式发布并开源新一代端侧文本基座大模型MiniCPM5-1B，INT4（量化技术）量化后权重仅0.5GB，可在手机、浏览器等90%以上终端设备运行。新京报贝壳财经记者获悉，众智FlagOS社区基于统一多芯片软件栈，通过vLLM-plugin-FL推理插件完成MiniCPM5-1B的跨芯片适配与推理部署Day-0发布。
据悉，此次适配覆盖英伟达、华为昇腾、平头哥、摩尔线程、海光、昆仑芯、沐曦、天数智芯等8类数据中心AI加速芯片。
此外，针对MiniCPM5面向端侧部署的特点，此次跨芯片适配首次将Day-0适配延伸至 ARM端侧平台。ARM架构广泛存在于手机、AIPC、机器人、车载终端、边缘网关和各类嵌入式设备中，是端侧AI部署中数量最大、覆盖最广的计算平台之一。随着MiniCPM5-1B这类小尺寸高密度模型的发展，越来越多推理任务有机会从云端GPU下沉到端侧设备。
据了解，FlagOS支持MiniCPM5-1B在ARM上以int8、bf16、fp32三种精度运行，实现从数据中心多款AI芯片到端侧ARM的“一套代码、跨架构运行”。
编辑 杨娟娟
校对 王心
来阅读我的更多文章吧
张晓慧
新京报记者
记者主页
相关推荐
新京报举行创刊23周年系统性变革战略发布会：这一年做成三件事
第一看点
2.4万亿参数模型发布当天，智源FlagOS让九大芯片同步“开箱即用”
藻知科技
人工智能重塑软件业竞争格局
新京号
4500米级机器人奔赴南海！资本扎堆深海机器人，但大考才刚开始
藻知科技
小米找到支点
新京号
OpenAI智能体劫持德国网站发布万余条信息；小米多款新品重磅亮相；最高人民法院首次发布AI司法裁判
新京号
北京亦庄百余家企业携超百件创新产品亮相2026年服贸会
北京知道
北京亦庄百余家企业携超百件创新产品亮相2026年服贸会
新京号
芜湖智造，闪耀2026世界制造业大会！
新京号
深刻认识中国经济运行的三个突出特点
新京号
新京报报料邮箱：82708677@bjnews.com.cn