RAG技术原理笔记

技术笔记 · 原理拆解

RAG
检索增强生成

先检索，再生成——构建企业级智能客服与知识库的核心技术

数据准备向量召回与排序大模型生成

导读

想做一个能回答产品问题的智能客服？想搭建一个企业私有知识库？理解 RAG（检索增强生成）是关键。这份笔记将沿着 「数据准备 → 召回 → 重排 → 生成」这条主线，把全流程的技术细节一次讲清楚。

为什么不用「把文档直接丢给模型」？

有个模型还不够——模型不知道贵公司的私有产品信息。但直接把几百页手册发给模型，会碰到三大问题：

1️⃣ 上下文窗口有限

模型只能存储有限信息。手册超长时会「读了后面忘了前面」，回答准确率下降。

2️⃣ 推理成本高

输入越多、成本越高。每次都带厚手册，积少成多非常昂贵。

3️⃣ 推理速度慢

模型需「消化」的内容越多，输出越慢。百页文档会拖垮响应速度。

✓ RAG的解法

将文档切成多个片段，每次只选最相关的几段发给模型，轻量又精准。

                核心思想：把问题先拿去搜索，找到答案线索，再让大模型基于线索作答。
            

RAG 整体链路的 5 个环节

用户提问前 · 数据准备

1 分片 → 2 索引

用户提问后 · 回答部分

3 召回 → 4 重排 → 5 生成

接下来逐一拆解这 5 个环节的工作原理。

🎯 第一部分：数据准备

环节 1 · 分片

将文档切成多个小片段。分片是后续所有处理的基础。常用方式有：

按字数

每 1000 字切一片段

按段落

一个自然段一片

按章节

以目录结构划分

按页码

以页为单位

无论用哪种方式，目的都是把长文档拆成适合检索的小块。

环节 2 · 索引（两步走）

第一步：Embedding——将每个片段文本转为向量。

第二步：存储——把「片段文本 + 向量」写入向量数据库。

片段1：马克喜欢吃水果[1.2, -0.5, 0.8]

片段2：马克爱吃水果[1.1, -0.4, 0.9]

片段3：天气真好[3.0, -1.0, -1.2]

注意：数据库表格至少包含两列——原始文本和向量。最终要的是原始文本，向量只是中间工具。

先搞懂三个基础概念

① 什么是「向量」

一个有大小、有方向的量，可看成一个数组。维度 = 数组中数字的个数。

一维向量：[1]，[3]
二维向量：[2,2]，[1,2]
三维向量：[1,2,3] ……
RAG中通常使用几百～几千维的大向量

维度越大，承载的信息越丰富，可靠性越强。

② 什么是「Embedding」

Embedding = 把文本变成向量的过程。含义相近的文本，转变后向量也相近。

📌 例句：
「马克喜欢吃水果」→ 向量A
「马克爱吃水果」→ 向量B
「天气真好」→ 向量C
A和B距离近，C离得很远 —— 这就是 Embedding 的目的

这个操作不是 GPT-4o / DeepSeek 完成的，而是专门的 Embedding 模型。可参考 MTEB 排行榜选择模型。

③ 什么是「向量数据库」

用于存和查向量的数据库，做了大量优化，内建相似度计算接口。存时不光存向量，把原始文本一块存进去——方便查完后取出文本给大模型。

🎯 第二部分：回答生成

环节 3 · 召回

从完整资料库中搜集与当前问题最相关的 K 个片段。

用户问题 → Embedding模型 → 问题向量 → 向量数据库 → Top 10 片段

「召回多少个」可自定义（10/15/20都可以）。向量数据库按「向量相似度」排序，返回最接近的 10 个。

向量相似度怎么算？

余弦相似度

算两向量夹角 cos，夹角越小越相似

欧式距离

算两点空间直线距离，越近越相似

点积

综合方向与长度，同向越大越相似

环节 4 · 重排

召回后拿到 10 个片段，再精挑 3 个。为什么做两次相同筛选？因为两阶段用的算法不同：

召回阶段 向量相似度 · 快 · 便宜 · 粗筛

重排阶段 Cross-Encoder · 慢 · 贵 · 精捡

就像公司招聘：简历筛选（召回）用快速方法从千份简历里挑 10 人；面试（重排）再由 Cross-Encoder 模型仔细评估，选出最合适的 3 人入职。

环节 5 · 生成

把 3 个高相关片段 + 用户原始问题，一起交给大模型（GPT-4o / DeepSeek…）。让模型只基于片段内容组织回答即可。

📝 生成结果的质量，取决于「检索质量」而非模型本身
「垃圾进来，垃圾出去」——检索不准，回答再流畅也没用

📌 结尾总结

提问前 · 准备阶段

把产品资料切分为片段（分片）

Embedding 模型将每个片段转为向量

「原文+向量」存入向量数据库（索引完成）

提问后 · 回答阶段

将用户问题转为向量，在向量库中召回 10 个相关片段

用 Cross-Encoder 做重排，精挑 3 个

将 3 个片段 + 问题发给大模型生成答案

✨ RAG 的优雅之处：
它不需要大模型「记住所有」，
只需要知道「去哪里查」。

行动建议

搭建知识库时，优先考虑「分片策略」——建议结合段落与字数，避免切碎语义。

选用合适的 Embedding 模型，关注 MTEB 排行榜。

召回数量建议 10~20 个，重排再筛到 3~5 个，平衡效果与成本。

用真实验证集评估「召回+重排」效果——检索质量比生成模型版本更重要。

由 CuteNote.app 颜值笔记生成

RAG检索增强生成

提问前 · 准备阶段

提问后 · 回答阶段

RAG
检索增强生成