腾讯发布 Hunyuan-Large 大模型:389B 参数,为业界最大开源 Transformer MoE 模型
卡饭网 11 月 7 日消息,腾讯已经正式推出 Hunyuan-Large 大模型。据官方介绍,该模型是目前业界已开源的基于 Transformer 架构的最大混合专家(MoE)模型,总参数达到3890亿(389B),激活参数为520亿(52B)。
腾讯已在 Hugging Face 平台开源了 Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8 三个版本。同时,腾讯还发布了技术报告及训练推理操作手册,全面阐述了模型的具体能力和训练、推理操作流程。