DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer
DeepSeek just open sourced its high-performance, large-scale inference framework DeepInfer in Apache-2.0 license.
AI 导读DeepSeek 开源高性能大规模推理框架 DeepInfer,采用 Apache-2.0 许可,仓库地址 https://github.com/deepseek-ai/DeepInfer。支持优化 kernel、模型与 sampler 运行时,Attention DP、平衡 CP、MoE EP + EPLB 等并行方案,以及 DSpark、置信度调度验证、SWA bounded replay、零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
另有 8 家信源报道
- DeepSeek 开源内部推理框架 DeepInferX.PIN · 26 天前
- DeepSeek 开源推理框架 DeepInfer,采用 Apache License 2.0The Decoder:AI News · 27 天前
- DeepSeek 开源 DeepInfer 推理框架,支撑 DeepSeek-V4.1-Flash 生产服务MarkTechPost · 27 天前
- DeepSeek 开源自研推理框架 DeepInferTianyi Cui · 27 天前
- DeepSeek 以 Apache 2.0 开源生产推理引擎 DeepInferRohan Paul · 27 天前
- DeepSeek 开源自研推理框架 DeepInferDeepSeek · 27 天前
- DeepSeek 将内部推理框架 DeepInfer 全面开源IT之家·人工智能 · 27 天前
- DeepSeek 全面开源内部推理框架 DeepInfer公众号:DeepSeek · 27 天前
来源:Tianyi Cui · x.com
事件后续1
查看事件全部- DeepSeek 全面开源内部推理框架 DeepInfer公众号:DeepSeek · 27 天前