AI 资讯

AI 每天都在变,
这里一页看完

全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。

更新于 11月18日 11:33 · 每小时自动更新

12月18日 周三1 条

ARC Prize:官方博客论文AI 评分63

ARC-AGI-Pub 2024 进展:Jeremy Berman 与 MIT 康奈尔联队刷新公开榜

ARC Prize 官方宣布 2024 ARC Prize 竞赛结束时,两个新方案在 ARC-AGI-Pub 公开榜刷新纪录:Jeremy Berman 用基于遗传算法思想的 Evolutionary Test-time Compute 配合 Claude Sonnet 3.5 得到 53.6%,MIT 与 Cornell 联合团队用测试时训练(TTT)方法得到 47.5%。

推荐理由:原文介绍了两种登上 ARC-AGI 公开榜的方案细节与开源代码,读者可以对比进化式测试时计算与测试时训练的思路差异。

12月9日 周一1 条

12月6日 周五1 条

ARC Prize:官方博客论文AI 评分64

ARC Prize 2024 获奖名单与技术报告发布

ARC Prize 官方公布 2024 年获奖者并发布技术报告,共 1,430 支队伍提交 17,789 个方案,ARC-AGI-1 SOTA 从 33% 升至 55.5%,但 100 万美元大奖无人认领。

推荐理由:官方技术报告给出完整获奖方案与三类新方法总结,读者可以据此了解 ARC-AGI 分数提升背后的具体技术路线。

12月5日 周四1 条

OpenAI:官网动态论文AI 评分68

OpenAI 发布 o1 系统卡披露发布前安全评估工作

OpenAI 发布 o1 和 o1-mini 系统卡,报告发布前开展的安全工作,包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。

推荐理由:报告披露 o1 系列发布前的外部红队测试和 Preparedness Framework 前沿风险评估流程,读者可了解官方安全评估的实际做法。

12月3日 周二1 条

英国 AI Security Institute:Blog论文AI 评分61

英国 AI Safety Institute 提出 Long-Form Task 方法评估 LLM 科学助手能力

英国 AI Safety Institute(AISI)提出 Long-Form Task(LFT)评估方法,作为人类提升研究(HUS)的可自动化替代,用于测量 LLM 在科学场景中提供分步指导的能力。

推荐理由:原文给出 LFT 评估方法的设计细节与案例结果,读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。

11月22日 周五1 条

METR:Research论文AI 评分62

METR 发布 RE-Bench:对比语言模型智能体与人类专家的 AI 研发能力

METR 发布 RE-Bench 基准,用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现,并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。

推荐理由:原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

8月20日 周二1 条

PromptArmor:Threat Intelligence论文AI 评分68

PromptArmor 披露 Slack AI 可经间接提示词注入窃取私频数据

PromptArmor 披露 Slack AI 存在间接提示词注入漏洞,攻击者可在其自建的公开频道发布恶意指令,诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户,点击后数据被外泄。

推荐理由:报告给出完整攻击链和复现细节,读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。

6月21日 周五1 条

Sierra:Blog论文AI 评分63

Sierra 发布 τ-bench 基准,评测 AI Agent 在真实场景下的表现与可靠性

Sierra AI 研究团队发布 τ-bench(τ-retail 和 τ-airline 两个领域)基准,通过 LLM 模拟用户与工具 API 的多轮动态交互,评估 Agent 完成复杂任务并遵循领域策略的能力,并提出 pass^k 可靠性指标。

推荐理由:原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。

6月6日 周四1 条

OpenAI:官网动态论文AI 评分67

OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念

OpenAI 发布研究,使用新的稀疏自编码器扩展技术,自动在 GPT-4 的计算中识别出 1600 万个模式。

推荐理由:原文说明用可扩展稀疏自编码器自动从 GPT-4 中提取概念,读者可借此了解模型可解释性研究的进展方向。

5月20日 周一1 条

英国 AI Security Institute:Blog论文AI 评分66

英国 AISI 发布五款公开 LLM 先进能力评测结果

英国 AI Safety Institute(AISI)发布对五个已公开使用的大语言模型(匿名化命名)的评测结果,覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。

推荐理由:官方评测机构公布五款公开模型的化学生物、网络攻击、智能体和安全防护测试结果,读者可以据此了解当前前沿模型在风险维度上的真实能力边界。

5月17日 周五1 条

英国 AI Security Institute:Blog论文AI 评分63

高级 AI 安全国际科学报告发布中期版,由 Yoshua Bengio 主持

英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告,由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。

推荐理由:报告由 Yoshua Bengio 主持、AISI 协调,读者可借此了解学界对高级 AI 风险的共识与分歧。

3月15日 周五1 条

Cognition 模型 / Devin 博客论文AI 评分68

Cognition 发布 Devin 的 SWE-bench 技术报告

Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

推荐理由:Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

12月20日 周三1 条

PromptArmor:Threat Intelligence论文AI 评分66

PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞

PromptArmor 披露 Writer.com 存在间接提示词注入漏洞:攻击者在网页中用白色小字隐藏指令,用户将该网页作为资料源后,LLM 会遵照隐藏指令渲染 markdown 图片或链接,把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。

推荐理由:原文给出完整攻击链、复现细节和披露时间线,读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。

9月25日 周一1 条

5月31日 周三1 条

OpenAI:官网动态论文AI 评分73

OpenAI 用过程监督提升数学推理,取得新 SOTA

OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art,方法是对每个正确的推理步骤给予奖励(过程监督),而非只奖励最终正确答案(结果监督)。除提升性能外,过程监督还有对齐收益:它直接训练模型产生人类认可的思维链。

推荐理由:原文说明过程监督相对结果监督的性能提升与对齐收益,读者可了解一种训练思路的取舍。

5月12日 周五1 条

LlamaIndex:产品、工程与评测论文AI 评分65

LlamaIndex 实测 Anthropic Claude 100K 上下文窗口处理 SEC 10-K 文件的表现

LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口,作者用 list index 切成约 100k token 大块并测试响应合成策略。

推荐理由:作者用 UBER 10-K 实测 Claude 100K 上下文的延迟、成本与回答质量,并给出 tree_summarize 优于 create-and-refine 的可复用结论。

3月17日 周五1 条

OpenAI:官网动态论文AI 评分73

OpenAI 发布 GPTs are GPTs 论文,初步分析大语言模型的劳动力市场影响潜力

OpenAI 发布论文 GPTs are GPTs: An early look at the labor market impact potential of large language models,对大语言模型的劳动力市场影响潜力进行早期分析。材料抓取失败,仅标题可用,论文具体方法与结论暂无法核验。

推荐理由:OpenAI 论文标题直指大语言模型对劳动力市场影响的早期评估,适合关注 AI 就业议题的读者。

10月19日 周三1 条

Hugging Face 社区博客论文AI 评分65

Hugging Face 发布 MTEB 大规模文本嵌入基准与排行榜

Hugging Face 发布 MTEB(Massive Text Embedding Benchmark),用于衡量文本嵌入模型在多类任务上的表现,排行榜已汇总超过 2000 条结果。

推荐理由:原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组,可用于按任务挑合适的嵌入模型。

9月26日 周一1 条

Hugging Face 社区博客论文AI 评分69

Hugging Face 联合 Intel Labs 与 UKP Lab 发布少样本文本分类框架 SetFit

Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit,无需提示词即可微调 Sentence Transformer 做文本分类。

推荐理由:原文给出 SetFit 在少样本文本分类上的具体对比数字和训练成本,读者可以据此评估小样本场景下是否用它替代大模型微调。

9月14日 周三1 条

Anthropic:Transformer Circuits论文AI 评分65

Anthropic 发表 Toy Models of Superposition 论文,演示神经网络的特征叠加现象

Anthropic 发布论文 Toy Models of Superposition,用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。

推荐理由:论文用小型 ReLU 网络直接演示了特征叠加现象,并给出相变和几何结构的理论解释,为理解神经元多义性提供了可参考的框架。

加载更多

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。