-
百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B
IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。 这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。 本次发布的权重未经中训练与后训练，可作为领…- 2
- 0
