腾讯推出 Hunyuan-Large 开源大模型:389B 总参数、52B 激活参数

腾讯今日宣布推出Hunyuan-Large 大模型,官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 3890 亿总参数(389B)和 520 亿激活参数(52B),训练token数量为7T,最大上下文长度为256K。


已发布

分类

来自

标签: