您现在的位置是：首页 >每日动态 > 2024-06-03 20:55:06 来源：
昆仑万维开源2千亿稀疏大模型天工MoE
导读 昆仑万维宣布开源2千亿稀疏大模型 Skywork-MoE 。据介绍，Skywork-MoE 基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，...
昆仑万维宣布开源2千亿稀疏大模型 Skywork-MoE 。据介绍，Skywork-MoE 基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿 MoE大模型，性能强劲， 且推理成本更低。
来源：36氪
