一、标准答案参考答在实际的RAG应用中不能盲目地进行调优需要根据RAG系统的各项测评得分来进行优化如果上下文召回率得分低先从知识库、embedding模型、query改写等部分开始优化如果上下文准确率得分低重点看是否存在噪音信息通常要加rerank重排序模型 如果答案准确率得分低而前两项得分还不错时那就需要去优化prompt、生成参数和大模型了。排查思路参考下图二、RAG效果调优详细解析RAG的回答质量在根本上依赖于提供给大模型的上下文大模型不是凭空知道答案大模型是在读给它的上下文然后生成回答所以上下文质量几乎直接决定了系统上限。这里有两个很容易混在一起的问题一个是没有把关键知识找出来另一个是找出来了一些东西但无关内容太多真正有用的信息被埋了也就是噪音太多。上下文噪音很多其实很常见很多人会本能地觉得资料给得越多越保险反正让模型自己判断就行。但是当上下文里掺进大量无关内容时大模型的注意力会被分散关键内容更容易被忽略这就是RAG里常说的Lost in the Middle。在实际应用中我们应该根据测评指标进行效果调优流程见下图1、先看上下文召回率context recall得分这个指标属于检索阶段核心问题是该找回来的知识到底有没有找回来。如果得分偏低通常建议优先查看检索链路是否存在问题可以先从以下三个方向排查检查知识库本身知识库如果缺内容那后面的检索、重排、大模型生成都无从谈起。最直接的办法就是把测试样本和知识库做一轮对照看看每条样本是否真的有可支撑的知识来源这个过程可以借助大模型辅助完成。检查embedding模型如果知识库存在相关知识但相关内容就是召不回来问题可能出在embedding能力不够一般来说可以换更好的embedding模型如果有领域内的专业知识那就需要对embedding模型进行微调这部分就是属于算法同学的工作了一般来说不涉及开发。检查query查询本身其实真实的用户提问往往并不标准很多输入是碎片化的不能假设用户会替系统把问题整理好。在实际应用中需要结合常见问题设计prompt先让模型把原始问题改写成更适合检索的形式再送进 RAG 流程。2、再看上下文准确率context precision得分这部分还是属于检索阶段但关注点和context recall上下文召回率不一样precision是在评价“找回来的内容是不是足够相关而且排在前面”。准确率得分低一般来说是噪音太多或者相关片段排名不够靠前。从结果上看大模型虽然拿到了候选信息但最有用的内容没有放在前面回答就也就会变得不稳定。这种情况下一般来说需要加一个rerank重排序模型就是在初步召回之后再做一轮“谁更相关”的排序把真正关键的内容放在前面。3、看答案准确率answer correctness得分这个指标看的是最终答案质量如果得分偏低同时context recall和context precision又都还不错那就需要检查生成阶段一般可以从以下几个内容开始检查检查prompt例如检查大模型的prompt到底有没有被明确要求“只基于上下文回答”、“信息不足时直接说不知道”、“不要自行补全缺失事实”。检查大模型生成参数比如temperature过高回答就更容易发散需要稳定性的时候一般需要调整小一些。检查大模型能力本身有些任务对推理、约束遵循、长上下文理解要求更高如果大模型能力弱了就算检索做得再好最后也可能掉链子。微调大模型微调可以作为选项提一下因为成本很高、边界条件等一般不建议写成通用解法而且也不是开发的工作。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】