RAG的使用场景假设想做一个公司内部的智能客服助手可以回答关于公司产品的各种问题应该怎么去实现呢首先需要一个大模型其次需要将公司的产品手册交给大模型但是会存在几个问题实现公司智能客服助手先接入一个大模型但是大模型不知道公司的产品信息因此在解决问题的时候将产品手册也发过去但是产品手册内容太多会造成一些问题所以可以考虑只把文档中相关的内容发给模型也就是RAG技术RAG的基本运行流程RAG的简单介绍先将整个文档切分成多个片段用户提出问题后根据问题去寻找相关的片段将与问题相关的片段挑出将问题及挑出的片段发给大模型大模型根据问题及相关的片段得出正确答案。将文档切分成多个片段用户提出问题后根据问题去寻找相关的片段将与问题相关的片段挑出将问题及挑出的片段发给大模型大模型根据问题及相关的片段得出正确答案。RAG的基本流程提问前进行数据准备工作。整理好相关的文档并且完成相应的预处理。提问后进行问题的回答。分片索引向量有大小有方向的量例如一维向量[1,2,3,4,5,6]二维向量[[1,2,3],[4,5,6]]三维向量[[1,2],[3,4],[5,6]]维度越高包含信息越丰富。Embedding文本转换为向量的过程。向量数据库用于存储和查询向量的数据库。Embedding文本转换为向量的过程。下面是Embedding排行榜将文本和对应的向量都存储到向量数据库中。向量数据库中数据的格式召回将问题向量与片段文本向量一次进行相似度计算进行排序取TOP的片段。重排召回和重排的区别生成根据用户问题及重排后得到最相关的文本片段使用大模型得到最终的结果。RAG的整体流程分片、索引召回、重排、生成RAG分片优化高质量文档分块策略RAG检索优化提升生成质量