动手搭建一个 RAG 问答系统:原理与最小实现
#为什么需要 RAG
大模型的知识有截止日期,也不了解你公司的内部文档。RAG 的思路很直接:先检索相关资料,再把资料和问题一起交给模型回答。
text
用户问题 ──► 向量检索 ──► Top-K 文档片段
│
▼
提示词 = 系统指令 + 片段 + 问题
│
▼
大模型 ──► 答案(附引用)#第一步:文档分块
块太大,检索不精确;块太小,丢失上下文。常见做法是 300~800 字一块,相邻块有少量重叠:
python
def chunk(text: str, size: int = 500, overlap: int = 80) -> list[str]:
chunks, start = [], 0
while start < len(text):
chunks.append(text[start:start + size])
start += size - overlap
return chunks#第二步:向量化与检索
python
import numpy as np
def embed(texts: list[str]) -> np.ndarray:
"""调用任意 embedding 模型,返回 shape=(n, d) 的向量,并做 L2 归一化。"""
vecs = np.array(embedding_client.embed(texts))
return vecs / np.linalg.norm(vecs, axis=1, keepdims=True)
class VectorIndex:
def __init__(self, docs: list[str]):
self.docs = docs
self.vecs = embed(docs)
def search(self, query: str, k: int = 4) -> list[str]:
q = embed([query])[0]
scores = self.vecs @ q # 归一化后点积即余弦相似度
top = np.argsort(-scores)[:k]
return [self.docs[i] for i in top]文档量在几万块以内时,numpy 暴力检索完全够用;更大规模再考虑 FAISS、Milvus、pgvector 等。
#第三步:拼接提示词并生成
python
def answer(question: str, index: VectorIndex) -> str:
ctx = index.search(question)
sources = "\n\n".join(f"[{i+1}] {c}" for i, c in enumerate(ctx))
prompt = f"""请仅根据以下资料回答问题,并用 [编号] 标注引用来源。
如果资料中没有答案,请直接说“资料中未提及”。
<资料>
{sources}
</资料>
问题:{question}"""
return llm_client.chat(prompt)#效果优化方向
- 混合检索:向量检索 + BM25 关键词检索,对专有名词、编号类查询提升明显。
- 重排序(Rerank):先召回 20 条,再用交叉编码器精排取前 4 条。
- 元数据过滤:按文档类型、时间、权限先过滤再检索。
- 评估集:准备 50~100 个真实问题和标准答案,每次改动后跑一遍,用数据说话。
RAG 的效果上限取决于检索质量。与其反复调提示词,不如先确认“正确的片段是否被检索出来了”。