AI 工程约 3 分钟阅读

动手搭建一个 RAG 问答系统:原理与最小实现

#为什么需要 RAG

大模型的知识有截止日期,也不了解你公司的内部文档。RAG 的思路很直接:先检索相关资料,再把资料和问题一起交给模型回答。

text
用户问题 ──► 向量检索 ──► Top-K 文档片段
                                  │
                                  ▼
                    提示词 = 系统指令 + 片段 + 问题
                                  │
                                  ▼
                               大模型 ──► 答案(附引用)

#第一步:文档分块

块太大,检索不精确;块太小,丢失上下文。常见做法是 300~800 字一块,相邻块有少量重叠:

python
def chunk(text: str, size: int = 500, overlap: int = 80) -> list[str]:
    chunks, start = [], 0
    while start < len(text):
        chunks.append(text[start:start + size])
        start += size - overlap
    return chunks

#第二步:向量化与检索

python
import numpy as np

def embed(texts: list[str]) -> np.ndarray:
    """调用任意 embedding 模型,返回 shape=(n, d) 的向量,并做 L2 归一化。"""
    vecs = np.array(embedding_client.embed(texts))
    return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)

class VectorIndex:
    def __init__(self, docs: list[str]):
        self.docs = docs
        self.vecs = embed(docs)

    def search(self, query: str, k: int = 4) -> list[str]:
        q = embed([query])[0]
        scores = self.vecs @ q          # 归一化后点积即余弦相似度
        top = np.argsort(-scores)[:k]
        return [self.docs[i] for i in top]

文档量在几万块以内时,numpy 暴力检索完全够用;更大规模再考虑 FAISS、Milvus、pgvector 等。

#第三步:拼接提示词并生成

python
def answer(question: str, index: VectorIndex) -> str:
    ctx = index.search(question)
    sources = "\n\n".join(f"[{i+1}] {c}" for i, c in enumerate(ctx))
    prompt = f"""请仅根据以下资料回答问题,并用 [编号] 标注引用来源。
如果资料中没有答案,请直接说“资料中未提及”。

<资料>
{sources}
</资料>

问题:{question}"""
    return llm_client.chat(prompt)

#效果优化方向

  1. 混合检索:向量检索 + BM25 关键词检索,对专有名词、编号类查询提升明显。
  2. 重排序(Rerank):先召回 20 条,再用交叉编码器精排取前 4 条。
  3. 元数据过滤:按文档类型、时间、权限先过滤再检索。
  4. 评估集:准备 50~100 个真实问题和标准答案,每次改动后跑一遍,用数据说话。

RAG 的效果上限取决于检索质量。与其反复调提示词,不如先确认“正确的片段是否被检索出来了”。