用 LlamaIndex 和 llamafile 搭建本地私有研究助手
LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 11月18日 12:42 · 每小时自动更新
LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。
Eugene Yan 发布长文,总结一年用 LLM 构建产品的经验,分为战术、运营、战略三部分。
推荐理由:作者把一年来的实战经验整理成可操作清单,覆盖提示词、RAG、评测与团队组织,读者可直接对照自己的项目查漏。
这篇 Modal 工程博客讲解如何微调开源嵌入模型,在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。
推荐理由:原文给出完整的微调实验数据,读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。
LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。
推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。
LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。
推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。
LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。
LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。
推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。
LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验,将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。
推荐理由:原文将 OpenAI 分享的 RAG 实验逐项拆解,并给出 LangChain 中可直接复用的对应实现入口。
Hugging Face 发布博客,介绍如何用 Latent Consistency LoRAs 将 SDXL 图像生成压缩到 4 步完成。
LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。
推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。
LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。
推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。
LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。
推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。
Rubric Labs 团队在 LangChain 博客发布指南,讲解为 Cal.com 构建的 AI 邮件调度助手 Cal.ai 的生产架构。
推荐理由:原文拆解了一个已在生产环境运行的邮件调度 Agent 架构,读者可以借鉴其工具设计与提示词构造方法。
LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。
推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。
OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性,以及偏见问题。
推荐理由:官方指南汇总了课堂提示词、模型局限与 AI 检测器效果等要点,教师可据此了解 ChatGPT 在教学中的实际用法。
LlamaIndex 发布端到端指南,教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由:原文提供了完整的无标注数据微调嵌入模型方法和评测结果,读者可以直接复用笔记本改进自己的 RAG 检索。
LangChain 发布微调与评测指南,用 LangSmith 做数据集管理和评测,在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat,并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo,测试任务是知识图谱三元组抽取。
推荐理由:原文给出了从数据集管理到评测的完整微调流程和实测分数,读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。
LlamaIndex 发布教程,展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。
推荐理由:原文给出了微调 Llama 2 做 text-to-SQL 的完整技术栈和前后对比示例,可帮助读者评估微调对结构化分析场景的实际收益。
LlamaIndex 工程师在发布 LlamaHub Tools(含 Gmail、Google Calendar、Wolfram Alpha 等 15 个工具)后,总结编写 LLM Agent 工具的技巧。
推荐理由:作者结合 LlamaHub Tools 的开发实践,总结出输入容错、错误自恢复、日期函数等可直接套用的 Agent 工具编写方法。
LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine,可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。
推荐理由:原文给出 SQLAutoVectorQueryEngine 的工作流程、示例代码和实验结果,读者可以照着复现结构化与非结构化数据的组合查询。