
你有没有遇到过这种情况:问大模型一个关于自己公司文档、产品手册、内部资料的问题,它要么答不上来,要么胡编乱造。这是因为大模型的知识是训练时固定的,它不知道你的私有资料。RAG 就是解决这个问题的核心技术。
RAG 是什么(一句话版)
RAG(Retrieval-Augmented Generation,检索增强生成)就是:在让大模型回答问题之前,先从你的资料库里检索出相关内容,把这些内容和问题一起交给大模型,让它基于真实资料作答。简单说,就是给 AI 开卷考试,答案从你给的资料里找,而不是凭记忆瞎编。
为什么需要 RAG
- 私有知识:公司内部文档、个人笔记,大模型训练时没见过,只能通过 RAG 提供。
- 实时信息:模型训练数据有截止日期,最新资料靠 RAG 补上。
- 减少幻觉:让 AI 基于给定资料回答,比凭空生成靠谱得多,还能溯源到原文。
- 成本更低:不用为了加知识去重新训练模型,改资料库就行。
RAG 怎么工作:五个步骤
- 切分文档:把长文档切成一小段一小段(chunk),便于检索。
- 向量化:用嵌入模型(Embedding)把每段文字转成向量(一串数字),存进向量数据库。
- 检索:用户提问时,把问题也转成向量,在数据库里找出最相似的几段内容。
- 组装提示词:把检索到的内容 + 用户问题拼成一个提示词。
- 生成答案:大模型基于这个提示词作答,答案就有据可依了。
实操路径:从易到难
RAG 听起来复杂,但现在有很多现成工具,小白也能上手:
- 零代码方案:用 Coze、Dify、FastGPT 这类平台,上传文档就能搭建一个基于你资料的问答机器人,全程图形界面。
- Kimi / 通义千问的长文档功能:直接上传文档对话,本质是简化版的 RAG,适合临时需求。
- 代码方案:用 LangChain / LlamaIndex 框架 + 向量数据库(如 Milvus、Chroma)自己搭,灵活度最高,适合开发者。
一个最小可用的搭建流程(以 Dify 为例)
- 注册 Dify,新建一个知识库。
- 上传你的文档(PDF、Word、Markdown 等),系统自动切分和向量化。
- 新建一个应用,关联这个知识库。
- 在应用里提问,AI 就会基于你的文档回答,并标注引用来源。
- 根据回答质量调整切分大小、检索数量等参数,持续优化。
效果优化的关键点
- 文档质量:资料越干净、结构化,检索越准。扫描件要先 OCR 转文字。
- 切分策略:chunk 太大检索不精细,太小丢失上下文,一般 300-800 字一段,可按语义切分。
- 检索数量:召回太少信息不全,太多会引入噪音,一般取 3-5 段。
- 提示词约束:明确告诉模型”只根据给定资料回答,找不到就说不知道”,能显著减少幻觉。
常见误区
- 以为 RAG 是万能的:它只在你提供的资料范围内有用,资料本身错了,答案也错。
- 忽视检索质量:RAG 效果好不好,八成取决于”检索得准不准”,而不只是模型强不强。
- 不做持续优化:上线后要根据真实问答效果,不断调整文档和参数。
FAQ 常见问题
Q:RAG 和微调(Fine-tuning)有什么区别?
RAG 是给模型外挂知识库,改资料即时生效、可溯源;微调是把知识训进模型参数,成本高、更新麻烦。大多数”让 AI 懂我的资料”的需求,RAG 更合适。
Q:搭建 RAG 要花多少钱?
用 Dify、Coze 这类平台的免费额度就能跑通;自己部署开源方案,主要成本是服务器和 Embedding API 调用,小规模使用费用很低。
