vLLM 发布 Mistral Large 4 Day 0 支持
Day 0 support for Mistral Large 4 on vLLM
AI 导读vLLM 团队宣布对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持,该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 模型,采用 MLA 稀疏注意力加 DSA top-k 索引器、跨层 KV 共享、NoPE、SSMax 和 LeRoPE 等新架构,并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。
来源:vLLM 官方博客 · vllm.ai
事件后续3
查看事件全部- vLLM 发布 Mistral Large 4 Day 0 支持vLLM 官方博客 · 18 天前
- Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型Unsloth · 18 天前
- Mistral Large 4(Le Chonk)登陆 Hugging Face:1T 参数 MoE 多模态开源权重模型Hugging Face 官方团队博客 · 18 天前