先了解这件事
Edge0 开源了 Edge0-145B 和 Edge0-120B 两个模型,以及配套的统一推理框架和部署工具。Edge0 称,Edge0-145B 是首个可在个人电脑本地运行的 145B 参数开源模型;在兼容笔记本上运行时,其峰值内存为 29GB,解码速度超过 80 tokens/s。
Edge0 表示,本地推理不产生对应的云端模型 token 或 API 费用,数据可留在本机,核心能力在离线状态下仍可使用。Edge0-145B 首发支持 macOS、Windows 和 Linux,覆盖苹果 M 系列芯片及 RTX Spark、RTX 4090、RTX 5090 等英伟达平台。
上述运行指标与免费、离线等说法均来自 Edge0 的发布说明,尚未见独立验证。
AI 根据报道生成 · 4 天前更新最新进展
Edge0 开源 145B 端侧模型,可在笔记本本地运行
热度走势
事件进展1
Edge0-145B与Edge0-120B开源发布
Hacker News:AI 热帖:Edge0 开源 145B 端侧模型,可在笔记本本地运行