RAG 的效果,七成取决于数据与检索。本文梳理文档治理、切片、混合检索、重排、多模型路由与评测的工程要点。
一、先治理数据,再谈模型
很多知识库项目一上来就选模型、调 Prompt,最后发现回答不准。真正的问题往往在数据:同一份制度存在多个版本、表格被解析成乱码、产品文档缺少适用范围、售后话术与最新政策不一致。
在向量化之前,先做来源盘点与版本治理:明确每类知识的权威来源、更新频率与责任人;对过期文档建立下架机制;对表格、扫描件与图文混排内容做针对性解析。
二、切片不是越小越好
切片过小会丢失上下文,过大则稀释语义、降低召回精度。可按文档结构优先切分:标题层级、条款编号、问答对、表格行,再对超长段落做二次切分,并保留所属章节路径与来源链接。
对问答型知识,直接以“问题 + 答案”为切片单元通常效果更好;对操作手册,则应按步骤与适用条件切分,避免把不同型号的操作混在一起。
- 保留标题路径、文档版本、生效时间等元数据
- 表格按行或语义块解析,避免整表压成一个切片
- 为切片保留原文定位,支持回答引用与跳转
- 建立增量更新流程,文档变更后自动重建相关切片
三、混合检索 + 重排
纯向量检索擅长语义相似,但对型号、编号、专有名词不敏感;关键词检索恰好互补。工程上通常并行执行向量检索与 Elasticsearch 检索,合并候选后交给 Re-Rank 模型重新排序。
重排阶段应控制候选数量与延迟预算。对客服场景,首字响应时间直接影响体验,可以把重排放在流式输出的同时进行,或对高频问题使用缓存。
四、多模型路由与成本
不同任务对模型能力的要求差异很大:意图识别与分类可以用小模型,复杂问答与摘要使用能力更强的模型。通过统一的路由层,根据任务类型、上下文长度、成本预算与可用性选择模型,避免所有请求都打到最贵的模型上。
同时保留降级路径:主模型超时或限流时切换到备用模型;对关键业务设置人工兜底,而不是让用户无限等待。
五、评测要可重复
没有评测集,RAG 调优只能靠感觉。建议从真实业务问题中抽取 100–300 条,覆盖常见问题、长尾问题、无答案问题与对抗性问题,分别评估召回命中、答案正确性、引用准确性与拒答合理性。
每次调整切片、检索参数或 Prompt 后跑同一套评测,记录指标变化。对无答案问题,系统应明确说“知识库中没有找到依据”,而不是编造答案。
六、上线后的运营
知识库不是一次性交付物。需要有人负责文档更新、低质量回答复盘、未命中问题归集与新意图补充。把这些运营动作产品化——例如提供未命中问题看板、答案点赞/点踩与人工修正入口——系统才会越用越准。
本文基于辰讯科技真实交付项目整理,涉及客户名称与业务细节的部分已做脱敏处理。转载请注明来源。