腾讯推出Huanyuan-large开源模型，与公司内部同源
2024-11-05 15:29
订阅
新京报贝壳财经讯（记者 白金蕾）11月5日，腾讯机器学习平台总监康战辉在混元大模型媒体沟通会上发布了全新的Huanyuan-large模型。据康战辉介绍，这是业界参数规模最大、效果最好的开源MoE大语言模型。
现场数据显示Huanyuan-large模型的上下文长度为256k，词表大小为12.8w，训练tokens为7TB，总参数为398B，激活参数为52B。“我们不急于为了开源而开源，要在内部业务打磨好后再开源，要开源就要有诚意，开源的模型必须和公司内使用的同宗同源。”康战辉说。
编辑 岳彩周
校对 柳宝庆
