Prompt Engineering、RAG、向量数据库、LangChain、LlamaIndex、Fine-tuning 这六项关键的大模型应用技术
我们来系统梳理一下 Prompt Engineering、RAG、向量数据库、LangChain、LlamaIndex、Fine-tuning 这六项关键的大模型应用技术。它们不是孤立的,而是一套从“直接使用模型”到“定制模型能力”的完整技术栈。---一、概念速览与定位技术 一句话解释 解决什么问题 输入 输出Prompt Engineering 设计更好的输入来引导模型输出 模型不理解任务/格式/约束 自然语言指令 模型响应RAG (检索增强生成) 让模型先查资料再回答问题 知识过时、缺少私有数据 查询 + 知识库 带引用的答案向量数据库 高效存储和检索向量(文本嵌入) RAG 中的快速相似度搜索 文本向量 相似文本块LangChain 编排 LLM 应用的工作流框架 复杂流程(链、记忆、工具)难以手工实现 多组件串联 完整应用LlamaIndex 专门优化 RAG 的数据框架 数据连接、索引、查询困难 各种文档 检索接口 + 答案Fine-tuning 用任务数据继续训练模型参数 模型输出风格/知识/能力不满足需求 标注数据集 定制模型权重---二、各技术深度解析1. Prompt Engineering(提示工程)本质:元编程 —— 用自然语言写的程序。核心技巧:· 零样本、少样本(Few-shot):给出几个例子。· 思维链(Chain-of-Thought):让模型先推理再回答。· 结构化输出:要求 JSON / XML / Markdown。· 角色扮演:“你是一个资深架构师……”· 约