Kimi K3:开源权重模型的升级
AI 导读月之暗面于7月16日发布旗舰模型Kimi K3,该模型为2.8T参数的MoE架构,将于7月27日开源权重。K3在Vals AI指数排名第二,在Artificial Analysis智能指数排名第三(仅落后于Claude Fable和GPT-5.6 Sol Max且价格更低),并在Frontend Code Arena排名第一,是迄今最强的开源权重模型。该模型基于Kimi Delta Attention(KDA)与Attention Residuals(AttnRes)两项架构更新,并扩大了MoE稀疏度(896个专家中激活16个),配合Stable LatentMoE框架,整体扩展效率较Kimi K2提升约2.5倍。
来源:Nathan Lambert:Interconnects · interconnects.ai