AI需求调研、大模型技术体系及FastGPT实战全总结(调研方法论+LLM+RAG+Agent+产品落地)
一、AI需求调研全套方法论在AI项目落地前期规范的需求调研是保障项目顺利推进的核心本文整合TOGAF ADM、需求工程六步法、4W1H调研法以及完整落地流程适配AI类项目调研场景。一TOGAF ADM 需求管理该体系主打持续性、迭代性、可追溯性同时兼顾优先级管控、变更管理与干系人驱动分为三大执行步骤1. 问题调查梳理业务现存痛点与现状2. 方案研究结合AI能力设计初步解决方案3. 方案验证校验方案可行性、匹配度二需求工程六步法标准化需求处理全流程适配企业级AI架构项目1. 统一收集记录通过访谈、问卷、工作坊等形式收集所有干系人需求统一录入需求库2. 优先级排序结合业务价值、实施难度、风险等级划分需求优先级3. 识别受影响元素梳理业务架构、信息系统架构、技术基础设施架构等受影响的EA架构模块4. 检查与验证校验需求完整性、一致性、可行性消除歧义与冲突5. 分析关联性梳理需求与项目变更之间的关联关系6. 重新定义基线根据最终需求更新项目基线三需求调研核心分析维度调研时从6大维度切入全面覆盖业务与技术要求1. 业务目标维度2. 干系人维度3. 功能需求维度4. 数据需求维度5. 技术约束维度6. 治理合规维度四Agent场景专属 4W1H 调研法面向智能体类AI项目用4W1H明确落地边界- WHAT做什么明确任务目标、待解决问题、最终产出物- WHY为什么梳理业务动机、预期价值、问题不解决的潜在代价- WHO谁参与确定服务对象、交互人员、负责人、最终决策者- WHEN何时划分需求优先级、确定时间窗口与关键里程碑- HOW如何做梳理业务流程、自动化程度、需对接的第三方系统五调研完整实施步骤1. 准备阶段组建调研团队、划定调研范围、制定执行计划、准备工具、对接干系人2. 收集阶段采用访谈、问卷、工作坊、流程观察、文档研读等方式采集信息3. 分析阶段整理、拆解、归类收集到的需求4. 验证阶段和干系人核对需求确认无偏差5. 文档化阶段输出标准化调研文档归档留存二、人工智能与大语言模型基础认知一AI发展四大阶段1. 1950年人工智能概念诞生2. 1980年机器学习兴起3. 2010年深度学习快速发展4. 2020年大语言模型LLM全面普及二大语言模型LLM核心知识1. 模型参数能力划分单位B十亿- 8B支持问答、基础语言理解- 10B开始具备涌现能力- 62B问答、语言理解、代码补全、文本总结、翻译、感知解释- 540B覆盖上述能力额外支持通用知识理解、长文本阅读总结、图案识别、智能对话、常识解读等2. 模型分类主流类别语言模型、视觉模型、嵌入模型、重排序模型、图像模型3. 模型训练四阶段预训练 → 监督微调 → 奖励建模 → 强化学习4. 大模型三大核心支柱数据、算力、算法5. 常见基础概念解答1. 大模型的“大”指什么主要指数据体量庞大、模型参数量巨大参数量单位为B十亿。2. 模型幻觉及成因模型在输入无对应答案时受底层机制限制必须输出内容进而生成虚假、错误回答。3. Token概念比单词更细的文本切分单位用于适配模型输入规则平均1 Token ≈ 0.65个英文单词。4. 上下文窗口模型单次对话中输入输出Token的总和上限。5. 训练 vs 微调区别- 训练使用海量、宽泛的通用数据覆盖面广但精准度不足资源消耗极大- 微调基于细分业务数据如问答对定向优化提升场景专属精准度。6. 训练与推理- 训练用数据迭代优化模型参数让模型学习知识- 推理训练完成后模型接收用户请求并输出结果的过程。三AI应用范式演进5大范式及区别从简单到复杂是当前AI落地的主流技术路线1. 提示词工程最简单依靠自然语言指令控制模型2. RAG检索增强生成依托外部知识库检索内容辅助模型问答解决幻觉问题3. Workflow工作流按照固定流程执行任务逻辑死板、灵活性低4. Agent智能体自主规划、调用工具执行任务灵活性远高于工作流5. 模型微调基于业务专属数据对基座模型二次训练深度适配场景三、提示词工程Prompt Engineering一核心概念通过自然语言向模型下发任务、指令、设定角色实现对模型的交互与控制。二核心价值控制模型行为、提升输出质量与准确率、提升使用效率、实现场景定制化。三两大角色划分1. 系统提示词由开发者配置属于底层规则用户不可见用于约束模型基础行为。2. 用户提示词终端用户输入约束能力较弱。四编写核心原则指令清晰、补充上下文、指定角色、明确任务、规定输出格式。五实用编写技巧清晰指令、赋予角色、少样本提示、思维链引导、控制输出长度与格式。六高级用法Shot 与思维链1. Shot 分类- Zero-shot零样本不提供案例直接下发指令- One-shot一样本提供1组输入输出案例- Few-shot少样本提供1~5组案例参考2. 思维链CoT引导模型先展示推理过程再给出最终答案适用于推理、计算类场景可大幅提升模型准确率。3. 思维链细分零样本思维链、一样本思维链、少样本思维链。七落地实践步骤从简单指令入手 → 补充上下文 → 设定角色 → 引用示例 → 引导逐步思考 → 明确输出内容与格式。八提示词解决模型幻觉1. 要求输出内容标注信息来源2. 提示模型无对应知识时主动询问用户不编造答案。四、RAG检索增强生成技术一基础原理将文档、对话文本通过嵌入模型向量化存入向量数据库用户提问后检索相似向量内容结合问题一同输入大模型最终生成回答。核心分为检索、生成两大环节。二Embedding 嵌入模型1. One-hot编码向量稀疏无法表达词语语义、关联关系维度拓展能力差。2. Word Embedding词嵌入将词汇映射到N维向量空间用向量表达词语语义与关联。相比One-hot可精准表达词语语义、上下文关系与高维信息。3. 嵌入模型核心功能对数据向量化通过向量计算匹配最优结果。三主流RAG分支及特性1. 传统RAG基于Text2Vec近邻算法检索简单问答场景效果好缺点长文本上下文丢失、检索量增大后性能下降、难以关联碎片化信息。2. GraphRAG图检索增强生成核心优势将文本转化为知识图谱依托实体、关系图谱处理复杂关联问题弥补传统RAG短板。完整工作流文本切片 → 实体识别 → 关系挖掘 → 文本嵌入向量化 → 社区/层级聚类 → 构建索引入库 → 检索图谱信息 → 模型生成回答。3. 多模态RAG适配视频、音频、图片、表格、PDF等非纯文本场景。核心步骤1. 文档解析结构化各类异构文件2. 多模态信息提取OCR、语音识别、图像标注提取有效信息3. 跨模态嵌入存储统一向量化存入向量库4. 跨模态检索重排序匹配相关内容交给模型生成答案。核心技巧将各类文档统一转为Markdown格式再检索。4. Agentic RAG在传统RAG中接入Agent智能体当本地知识库无对应数据时由Agent调用外部工具/接口补充数据拓展数据来源区别于仅依赖本地库的传统RAG。四关键指标文档召回率检索阶段模型从知识库中匹配到用户查询相关内容的成功率。五检索方式对比1. 语义检索优点理解语义、支持跨语言、适配多模态缺点关键词敏感度低、强依赖模型、可解释性差。2. 全文检索基于关键词精准匹配优点速度快、可解释性强缺点无法理解语义对拼写错误、口语化表达敏感。3. 混合检索自定义语义检索、全文检索权重兼顾两者优势缺点架构复杂、硬件性能要求高。五、AI Agent 智能体一核心概念具备自主理解目标、制定执行计划、调用外部工具能力的智能程序可理解为自动化AI助理。二Agent 五大核心基石1. 提示词上下文工程控制Agent行为逻辑2. 沙盒独立安全运行环境提供权限控制、环境隔离、行为监控审计3. 记忆体弥补大模型记忆短板分为短期记忆当前会话上下文、长期记忆外部数据库存储用户偏好、历史数据4. MCP模型上下文协议标准化工具调用协议解决不同模型、不同组件之间代码/调用不兼容问题5. 技能Skill封装专业能力与使用规则拆分元数据、核心指令、附属文件解决上下文窗口限制问题6. AI网关整体系统安全防护。三Workflow 工作流 vs Agent 智能体- Workflow流程固定、逻辑死板仅能按预设步骤重复执行任务- Agent自主性强可自主判断、规划流程、灵活调用工具适配复杂、非标准化场景。六、FastGPT 深信服商业版产品落地一核心产品能力知识库管理、Agent应用搭建、应用测评、平台统一管理。二部署架构1. 部署模式SaaS部署、本地私有化部署2. 模型调用支持线上模型/本地私有模型3. 必备组件大语言模型、Embedding嵌入模型RAG为可选组件。三应用搭建三环节应用构建 → 发布保障 → 持续运营。四数据源对接支持本地文件、飞书、企业微信、钉钉、网页、API、各类数据库等多类数据源。五知识库体系1. 知识库分类通用知识库、Web站点知识库、数据库知识库、第三方对接知识库2. 结构层级库 → 集合 → 数据最小搜索单位为单条数据3. Web站点同步适用于公开网页、资讯站点、官网等静态/半动态网站4. 多向量映射为同一份数据生成多组向量增加检索匹配路径提升召回率。六知识库优化与问题处理1. 复杂PDF解析文件解析 → 文本切片 → 内容提取 → 向量化 → 入库索引2. 问答对提取将业务问答整理为标准问答对入库提升检索匹配度与问答效率3. 用户提问不精准通过问题优化模块补充背景、自动补全、改写问题标准化用户输入4. 智能评测支持手动编写测试用例、系统自动生成测试数据完成应用效果评估5. 检索采用Token上限而非TopK单纯限制条数TopK易丢失关键语义基于Token限制可保证上下文完整性。七流程与节点能力详解1. 问题分类节点基于语义/关键词对问题分类实现自动化流程分支跳转2. 工具调用需具备调用权限、接口适配、参数合规三大核心条件3. 代码运行节点仅支持JS、Python语言网络仅开放白名单和日常编程相比有严格环境与网络限制4. 温度参数 上下文窗口温度控制模型输出随机性值越高越发散上下文窗口限制单次对话Token总量5. 智能问答 vs 工作流- 逻辑控制智能问答无固定流程仅应答问题工作流有完整分支、循环等逻辑- 配置方式智能问答依托知识库提示词配置工作流可视化拖拽编排节点- 典型案例智能问答用于客服问答、知识咨询工作流用于固定审批、批量数据处理