Part 8 · RAG 优化与评估

Naive RAG     索引→检索→生成（你站5做的）Advanced RAG  在检索前后加优化：              预检索：查询改写、HyDE              检索中：混合检索、重排 Rerank              后检索：上下文压缩、融合Modular RAG   检索模块可插拔、可编排，按场景组合

T-RAG      时序感知：资料带时间，回答考虑时效性CRAG       纠错增强：检索结果不可靠时，自动"修正检索"Self-RAG   自反思：模型自己判断"要不要检索/答得对不对"RAG-Fusion 多查询融合：把一个问题拆成几个查，结果合并去重Rewrite    查询重写：先把问题改得更清晰，再去检索

元数据索引   每块存"来源/章节/时间"等标签，检索时按标签过滤父子索引     大块当"父"存上下文，小块当"子"做检索，命中子再取父摘要索引     给每块写摘要，先按摘要粗检索，再定位原文

metadatas=[{"source": file_path, "chapter": blocks[i][:10]} for i in range(len(blocks))]

import chromadb, jiebafrom rank_bm25 import BM25Okapifrom sentence_transformers import SentenceTransformer, utilfrom pathlib import Path# 准备分块（用站5的数据）client = chromadb.PersistentClient(path="chroma_db")collection = client.get_or_create_collection("company_rules")all_docs = collection.get()["documents"]# ---- 向量检索 ----model = SentenceTransformer("BAAI/bge-small-zh-v1.5")def vector_search(q, k=3):    q_vec = model.encode([q]).tolist()    r = collection.query(query_embeddings=q_vec, n_results=k)    return list(zip(r["documents"][0], r["distances"][0]))# ---- 关键词检索 BM25 ----def tokenize(text):    return [w for w in jieba.cut(text) if w.strip()]# 先装 jieba：pip install jiebabm25 = BM25Okapi([tokenize(d) for d in all_docs])def keyword_search(q, k=3):    scores = bm25.get_scores(tokenize(q))    idx = sorted(range(len(scores)), key=lambda i: -scores[i])[:k]    return [(all_docs[i], float(scores[i])) for i in idx]# ---- 测试 ----q = "迟到怎么处理"vs = vector_search(q)ks = keyword_search(q)print("向量检索:", vs[0][0][:40], "分:", round(vs[0][1],3))print("关键词检索:", ks[0][0][:40], "分:", round(ks[0][1],3))

第一步（召回）：向量/关键词搜出 10 条，可能不准第二步（精排）：用专门的 Rerank 模型，把这 10 条按"和问题真正相关度"重新排序，取前 3

import osfrom dotenv import load_dotenvfrom openai import OpenAIload_dotenv()llm = OpenAI(api_key=os.getenv("DEEPSEEK_API_KEY"), base_url="https://api.deepseek.com")# 假设检索回 4 条候选candidates = [    "公司每月15日发工资",    "员工考勤：9:30前打卡，迟到三次扣补贴",    "报销单笔500元以上需审批",    "加班可申请调休，需主管审批",]question = "迟到有什么处罚？"prompt = f"问题：{question}\下面几条资料，按与问题的相关度从高到低排序，只输出序号，不要解释：\" + "\".join(f"{i+1}. {c}" for i, c in enumerate(candidates))+resp = llm.chat.completions.create(model="deepseek-chat", messages=[{"role": "user", "content": prompt}])print("重排结果:", resp.choices[0].message.content)

import osfrom dotenv import load_dotenvfrom openai import OpenAIload_dotenv()llm = OpenAI(api_key=os.getenv("DEEPSEEK_API_KEY"), base_url="https://api.deepseek.com")raw = "报销那个事儿"prompt = f"把用户这句含糊的问题改写成适合检索的清晰问题，只输出改写结果：\{raw}"resp = llm.chat.completions.create(model="deepseek-chat", messages=[{"role": "user", "content": prompt}])print("改写后:", resp.choices[0].message.content)

HyDE（假设性文档嵌入）= 先让 LLM 根据问题"写一个假设答案"，再用这个假设答案去检索原因：答案往往比问题更容易和资料"撞上"相似语义

import osfrom dotenv import load_dotenvfrom openai import OpenAIload_dotenv()llm = OpenAI(api_key=os.getenv("DEEPSEEK_API_KEY"), base_url="https://api.deepseek.com")question = "加班怎么算"context = """公司实行弹性工作制，工作日加班1小时以上可申请调休。调休需在当月内使用，过期作废。加班需提前在系统登记并经主管审批。法定节假日加班按国家规定支付加班费。"""prompt = f"问题：{question}\从下面资料中提取与问题最相关的 1-2 句话，其余删掉：\{context}"resp = llm.chat.completions.create(model="deepseek-chat", messages=[{"role": "user", "content": prompt}])print("压缩后:", resp.choices[0].message.content)

import osfrom dotenv import load_dotenvfrom langchain_openai import ChatOpenAIfrom ragas import evaluatefrom ragas.metrics.collections import faithfulness, answer_relevancyfrom ragas.llms import LangchainLLMWrapperfrom datasets import Datasetload_dotenv()# ragas 不接受原生 openai SDK，需要用 langchain 的 ChatOpenAI 包装llm = ChatOpenAI(model="deepseek-chat", api_key=os.getenv("DEEPSEEK_API_KEY"), base_url="https://api.deepseek.com")ragas_llm = LangchainLLMWrapper(llm)# 手工准备一组"问题-回答-资料"，评估质量data = {    "question": ["迟到有什么处罚？", "报销要什么手续？"],    "answer": ["迟到三次扣发当日补贴。", "单笔500元以下凭发票报销，以上需审批单。"],    "contexts": [["员工9:30前打卡，迟到3次以上扣发当日补贴。"], ["单笔500元以下凭发票直接报销，以上需附审批单。"]],}dataset = Dataset.from_dict(data)# 新版 ragas：context_relevancy 已移除，用 faithfulness + answer_relevancy 两个核心指标score = evaluate(dataset, metrics=[faithfulness, answer_relevancy], llm=ragas_llm)print(score)

faithfulness      忠实度：回答有没有照着资料说（不胡编）answer_relevancy  答案相关度：答非所问会低