RAG、推理与Embedding：AI 应用与交互概念详解

〇、前言

在当前这个 AI 技术大爆发的时期，各行各业都在努力发展能够提升自身工作效率的技术，学习 AI 操作之前需先了解各个重要的概念，打牢基础，要对 AI全局有一个清晰的认识，才能事半功倍。因此才有了此系列文章。

本文将主要介绍 RAG（检索增强生成）、推理（Inference）、嵌入（Embedding）这两个概念，供参考。

AI 概念系列：点击查看文章列表。

一、什么是“检索增强生成”？

1.1 简介

RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将信息检索与大语言模型生成相结合的技术框架。

其核心思想是：在让大模型生成回答之前，先从外部知识库中检索出与问题相关的文档片段，然后将这些片段作为上下文“喂”给大模型，使其基于真实资料生成更准确、更有依据的回答。

简单来说，RAG 就是给大模型配了一个“开卷考试”的能力——先查资料，再答题。

1.2 为什么需要 RAG？

主要是因为大语言模型许多固有缺陷。

RAG 通过引入外部知识源，在不重新训练模型的前提下，有效缓解了上述问题。

1.3 RAG 的核心工作流程

RAG 的流程可以分为离线索引阶段和在线问答阶段两大部分。

1）离线索引（Indexing）阶段

原始文档 → 文档分割 → 向量化（Embedding） → 存入向量数据库

文档加载：将各种格式的文档（PDF、网页、数据库等）加载到系统中。
文档分割（Chunking）：将长文档切分为较小的文本块（chunk），通常每个块 256~1024 个 token。
向量化（Embedding）：使用嵌入模型（如：OpenAI text-embedding-3-small、BGE 等）将每个文本块转化为高维向量。
存储：将向量和原文存入向量数据库（如：Milvus、Pinecone、FAISS、Chroma 等）。

2）在线问答（Retrieval + Generation）阶段

用户提问 → 问题向量化 → 检索相似文档块 → 构建 Prompt → 大模型生成回答

问题编码：将用户的问题通过同一个嵌入模型转化为向量。
相似度检索：在向量数据库中进行近似最近邻搜索（ANN），找出与问题最相关的 Top-K 个文档块。
上下文构建：将检索到的文档块拼接成上下文，与用户问题一起组装成 Prompt。
生成回答：将组装好的 Prompt 发送给大语言模型，模型基于提供的上下文生成最终回答。

1.4 四个关键技术细节

1）文档分割策略

分割质量直接影响检索效果，常见策略包括：

固定长度分割：按字符数或 token 数切分，简单但可能切断语义
递归分割：优先按段落、句子等自然边界切分
语义分割：根据语义相似度变化点进行切分
重叠（Overlap）：相邻块之间保留一定重叠，避免关键信息在边界处丢失

2）向量检索

稠密检索（Dense Retrieval）：通过嵌入模型将文本映射到向量空间，计算余弦相似度或内积
稀疏检索（Sparse Retrieval）：传统的 BM25/TF-IDF 等关键词匹配方法
混合检索（Hybrid Retrieval）：结合稠密检索和稀疏检索的优势，先分别检索再融合排序（如：Reciprocal Rank Fusion）

3）重排序（Reranking）

初步检索返回的候选文档可能不够精准，重排序模型（如：Cohere Rerank、BGE-Reranker）会对候选文档进行二次精排，显著提升检索质量。

4）Prompt 工程

典型的 RAG Prompt 模板：

请根据以下参考资料回答用户的问题。如果资料中没有相关信息，请说明你不知道。

参考资料：
{检索到的文档块}

用户问题：{用户的问题}

请回答：

1.5 RAG 的优势以及对应的应用场景

1.6 RAG 的局限性与挑战

检索质量瓶颈：如果检索不到正确的文档，再好的生成模型也无能为力（"垃圾进，垃圾出"）。
上下文窗口限制：检索到的文档块过多可能超出模型的上下文长度限制。
多跳推理困难：需要跨多个文档进行推理的复杂问题，RAG 表现仍不理想。
切分粒度权衡：块太大则检索不精准，块太小则丢失上下文。
实时性要求：对知识库更新的实时同步有一定工程挑战。

二、什么是推理？

2.1 简介

简单来说，AI 的“推理”（Inference）就是它运用已学知识来解决新问题的过程。即，它经过一番“思考”给出答案的那个瞬间。

要理解推理，首先需要了解 AI 模型的两个核心阶段：从“学习”阶段（训练）再到“应用”阶段（推理）。

训练（Training）：这是 AI 的“学习”过程。通过海量数据，模型反复试错并调整内部参数，最终学会识别数据中的规律和模式。这个过程成本高昂，需要强大的算力支持。
推理（Inference）：这是 AI 的“应用”过程。一个已经训练好的模型，面对全新的、它从未见过的数据时，利用在训练阶段学到的“知识”和“规律”来做出判断、进行预测或生成内容。

其实，“推理”就是 AI 将“知识”转化为“能力”的关键环节，是其真正创造价值、为用户服务的过程。

可以将 AI 模型比作一位学生：训练（Training）相当于这位学生在课堂上和图书馆里，通过阅读大量书籍（数据）和做练习题（算法迭代），来学习和掌握知识。推理（Inference）相当于这位学生参加考试。他面对全新的考卷（新数据），运用自己学到的知识和解题技巧，来解答问题并写下答案。

2.2 “推理”过程详解：AI 如何“思考”？

推理过程可以理解为一个“输入-计算-输出”的流水线。

1）输入：向 AI 提出一个问题、提供一张图片或一段文字。

2）计算：这是推理的核心。AI 模型将输入数据通过其复杂的神经网络结构进行前向传播计算。它会基于训练时学到的统计规律，一步步地分析、计算，最终得出一个或多个最可能的结果。这个过程通常只涉及“前向传播”，计算量远小于包含“反向传播”的训练过程。

3）输出：AI 返回计算得出的答案、识别出的图片内容或生成的文本。

另外，关于前向和反向传播：

前向传播（Forward Propagation）就像学生做题并给出答案。指的是数据在神经网络中单向流动的过程，也就是你描述中提到的“得出最可能的结果”的步骤。
反向传播（Backward Propagation / Backpropagation）像对答案、找错因，并调整学习方法。指的是神经网络能够“学习”和“进化”的灵魂，它通常只发生在训练阶段。

2.3 “快思考”与“慢思考”：两种推理模式

随着技术发展，AI 的推理能力有了更精细的划分，尤其在大型语言模型（LLM）中体现明显。

有以下两种：

1）标准推理（快思考）：模型直接、快速地生成答案。这适用于大多数简单、直接的查询，响应速度很快。

2）高级推理（慢思考）：面对复杂问题时，模型会启动更高级的推理模式。它会像人类一样，进行多步骤的“内部思考”，例如：

思维链（Chain of Thought）：将复杂问题拆解为一系列简单的中间步骤，逐步解决。
自我反思与验证：生成初步答案后，会回头检查其逻辑性或准确性，并进行修正。
多次尝试：对一个问题尝试多种不同的解决方法，然后选择最优解。

“慢思考”模式虽然耗时更长，但能显著提升 AI 在处理数学、编程、复杂逻辑推理等任务上的准确性和可靠性。

三、什么是 Embedding？

3.1 简介

Embedding 的本质是将人类语言（或其他非结构化数据）翻译成计算机能“理解”的数学语言—— 一组浮点数构成的向量，使得语义相近的内容在数学空间中也彼此靠近。

什么是"嵌入"？

想象一张巨大的地图。每个词、每句话、每张图片都在这张地图上拥有一个坐标。语义相近的事物，坐标就挨得近；语义无关的事物，坐标就离得远。

举个例子：

  “猫”和“狗”在这张地图上几乎紧挨着——因为它们经常出现在相似的语境中（“养宠物”“喂食”“毛发”等）。
  “猫”和“火箭”则相隔甚远——它们的语义几乎没有交集。

用数学语言来说，Embedding 就是把离散的文本（词、句子、段落）映射到一个连续的、低维的向量空间中，每个对象变成一个由数百甚至上千个浮点数组成的数组（向量）。例如：

"猫"  →  [0.12, -0.34, 0.78, ..., 0.56]   // 一个 768 维的向量
"狗"  →  [0.15, -0.31, 0.81, ..., 0.52]   // 与"猫"非常接近
"火箭" → [-0.91, 0.67, -0.12, ..., 0.03] // 与"猫"距离很远

为什么需要 Embedding？

计算机天生只认识数字，不认识文字。传统的做法是给每个词分配一个编号（One-Hot 编码），比如：词表有 10 万个词，每个词就是一个 10 万维的向量，其中只有一个是 1，其余全是 0。这种方式有两个致命问题：

  维度爆炸：向量太稀疏，浪费存储和计算资源。
  无语义信息：“猫”和“狗”的向量距离与“猫”和“火箭”完全一样——模型完全无法区分它们的关系。

Embedding 通过将高维稀疏向量压缩为低维稠密向量（如：768 维），不仅大幅降低了计算成本，还让向量之间的距离和方向携带了丰富的语义信息。

3.2 技术原理：Embedding 是怎么“学”出来的？

核心思想：从上下文中学习

Embedding 的语义能力不是人工定义的，而是通过大规模数据训练自动学到的。其核心直觉是：经常出现在相似上下文中的词，语义也相似。

比如“猫”和“狗”经常出现在类似的句子中（“我养了一只___““___在沙发上睡觉”），模型通过大量阅读，自然会把它们的向量放到相近的位置。

技术演进路线

一个经典的例子可以说明静态和动态嵌入的区别：

“苹果发布了新手机” → “苹果”的向量靠近“科技公司“
“苹果价格下跌” → “苹果”的向量靠近“水果“

传统 Word2Vec 中“苹果“只有一个固定向量，而 BERT 等大模型会根据上下文动态生成不同的表示。

相似度如何计算？

两个向量的“距离”决定了它们语义的相似程度，常用度量方式包括：

余弦相似度（最常用）：衡量两个向量方向的接近程度，值域为 -1 到 1，1 表示完全相同方向（语义高度相似），0 表示正交（语义无关）。
欧氏距离：衡量两点之间的直线距离，距离越小越相似。
点积：当向量被归一化为单位长度时，点积等价于余弦相似度。

3.3 核心应用场景

1）语义搜索（Semantic Search）

这是 Embedding 最经典的应用。传统关键词搜索只能匹配精确的字词，而语义搜索能理解“意思”。

用户搜索“犬护理”→ 传统搜索只匹配包含“犬护理”的文档。
语义搜索能同时找到包含“狗训练”“宠物健康”的文档，因为它理解这些概念是相关的。

工作流程：

将所有文档通过 Embedding 模型转换为向量，存入向量数据库；
用户查询也转换为向量；
在向量空间中搜索与查询向量距离最近的文档向量；
返回对应的文档作为结果。

2）RAG（检索增强生成）

Embedding 是当前大模型应用中最热门的架构——RAG 的核心组件。

在 RAG 中，Embedding 负责将知识库中的文档切片向量化并存储，当用户提问时，通过向量相似度检索找到最相关的知识片段，再将这些片段作为上下文提供给大语言模型生成回答。

3）推荐系统

将用户行为和商品属性都编码为向量，通过计算用户向量与商品向量的相似度，实现个性化推荐。点积越高，用户对该商品感兴趣的概率越大。

4）跨模态检索

像 CLIP、Gemini Embedding 2 这样的模型，能将文本和图像映射到同一个向量空间。可以用一段文字描述去搜索匹配的图片，反之亦然。

5）其他应用

情感分析：通过向量捕捉文本的情感倾向。
聚类分析：将语义相近的文档自动分组。
异常检测：在金融风控中识别与正常模式偏离的交易。
知识图谱推理：将实体和关系向量化，支持缺失关系的补全。

3.4 Embedding 的局限性和未来方向

局限性主要表现在四个方面。

1）数据依赖性：Embedding 的质量高度依赖训练数据的规模和质量，在专业领域（如：医学、法律）可能需要额外微调。
2）可解释性不足：向量空间中的语义表示是"黑箱"的，人类难以直观理解每个维度的含义。
3）长文本处理：传统 Transformer 的计算复杂度随文本长度呈平方增长，处理长文档需要特殊策略（如分段嵌入后聚合）。
4）领域迁移困难：通用模型在特定垂直领域可能表现不佳，需要领域自适应预训练或微调。

未来主要的发展方向如下。

多模态融合：文本、图像、音频、视频统一嵌入，实现真正的跨模态理解
动态自适应：根据输入实时调整嵌入策略，而非使用固定模型
知识增强：将知识图谱中的结构化知识融入嵌入，提升推理能力
实时个性化：根据用户实时反馈动态调整向量空间，实现"千人千面"的搜索与推荐

四、小小的总结

RAG、推理与 Embedding 共同构成了现代 AI 系统从“理解”到“思考”再到“应用”的完整能力链条。

• Embedding 作为底层基础，将非结构化数据转化为机器可理解的语义向量，为智能系统提供了感知世界的“语言”；
• 推理则是模型在真实场景中调动知识、进行逻辑推演与决策的核心能力，决定了 AI 能否像人一样“想清楚再回答”；
• 而 RAG 则站在两者之上，通过检索外部真实知识来弥补模型自身的局限，让生成结果既可信又可溯源，成为 AI 落地企业级应用的关键范式。

三者并非孤立存在，而是相互依存、协同演进：Embedding 为 RAG 的向量检索提供语义匹配能力，推理能力的提升让 RAG 能够更好地整合检索信息进行多步推导，而 RAG 又为推理过程注入了实时、准确的外部知识。尽管它们各自仍面临检索质量瓶颈、可解释性不足、推理效率等挑战，但随着 Graph RAG、Agentic RAG、多模态 Embedding 以及“慢思考”推理机制的不断发展，三者的融合将推动 AI 从单纯的“答案生成器”逐步进化为真正具备认知深度与决策能力的智能伙伴，在更广阔的场景中释放价值。