(原标题:月之暗面开源Moonlight:30亿/160亿参数混合专家模型)
经济观察网讯 2月24日,月之暗面Kimi发布了“Muon可扩展用于LLM训练”的新技术报告,并宣布推出“Moonlight”:一个在Muon上训练的30亿/160亿参数混合专家模型(MoE)。使用了5.7万亿个token,在更低的浮点运算次数(FLOPs)下实现了更好的性能,从而提升了帕累托效率边界。(编辑 万佳)