文心大模型

百度开源文心 5.5 Flash Base:280B MoE 只激活 14B,1M 上下文权重可直接下载

11 月 5 日,百度宣布开源文心 5.5 Flash Base(ERNIE-5.5-Flash-Base),总参数量 280B 的稀疏 MoE 架构,每次前向仅激活 14B 参数…