Artificial Analysis 澄清 Mercury 3 发布中的评测分数不可与其 Intelligence Index 直接对比
Note that this is not our Intelligence Index. The announcement also referred to scores for AA-Omniscience and GDPval-AA v2, which do not ...
AI 导读Artificial Analysis 引用 Inception 发布 Mercury 3 扩散大语言模型的推文并澄清,图中对比并非其 Intelligence Index。Mercury 3 声称超过 1,000 tokens/s、1M token 上下文,规模为 Mercury 1 的 40 多倍。作者指出公告引用的 AA-Omniscience 和 GDPval-AA v2 分数不遵循其方法学:AA-Omniscience 使用私有数据集(仅开源 10% 公共子集),GDPval-AA v2 需按其评分方法与模型对比集才具可比性。
来源:Artificial Analysis · x.com
事件后续2
查看事件全部- Inception Labs 发布扩散大语言模型 Mercury 3,速度达 1068 tokens/秒Inception Labs:Blog · 28 天前
- Inception 扩散模型 Mercury 3 上线 OpenRouterOpenRouter · 28 天前