[LLM] 从零理解大模型：预训练、SFT微调与推理生成的核心链路

1. 大模型的核心三阶段预训练、微调与推理第一次接触大语言模型时我被各种术语搞得晕头转向。直到把整个流程拆解成预训练、微调SFT和推理三个具体阶段才真正理解这个文本生成魔法是如何运作的。想象你正在训练一位语言天才预训练相当于让TA博览群书积累常识微调像是针对特定领域进行特训而推理则是让TA现场发挥的真实表现。这三个阶段都围绕同一个核心机制——next token prediction下一个词预测。就像我们说话时下意识思考下一句该说什么模型也是基于已有内容预测最可能的下一个词。这种自回归特性贯穿模型生命周期的始终只是每个阶段的目标和数据处理方式有所不同。最近我在调试一个客服机器人时深刻体会到这三个阶段的关联性。直接用预训练模型回答用户问题得到的回复虽然通顺但缺乏专业性经过客服对话记录微调后回答变得准确但生硬最后调整推理参数才找到专业性和自然度的平衡点。这个实践过程让我意识到要真正用好大模型必须理解每个阶段如何影响最终效果。2. 预训练模型的知识奠基期2.1 数据是如何变成模型理解的语言预训练阶段最关键的准备工作是文本的token化处理。刚开始我误以为token就是简单的词语切分直到自己尝试处理专业文献时才发现问题。比如transformer可能被拆分成trans,form,er三个token而中文的云计算可能被当作一个完整token。这种分词方式直接影响模型对专业术语的理解能力。tokenizer的训练过程很有意思。它会在海量文本中统计子词组合出现的频率最终形成一个固定大小的词表。我实验室的同事做过一个实验用不同大小的词表训练相同架构的模型发现词表过大时模型记忆负担加重过小时又无法有效表达语义需要根据语料特性找到平衡点。位置编码是另一个容易被忽视的重要细节。有次我尝试用没有位置信息的模型生成文本结果得到的句子虽然每个词都合理但整体语义完全混乱。这就像把一篇文章的句子打乱顺序后让人阅读——单个句子能懂整体意思却支离破碎。2.2 预训练的实际运作机制预训练的数据构造比想象中巧妙。最初我以为是准备大量问题-答案对实际上只需要纯文本就行。模型通过移位操作自动生成预测目标给定前N个token预测第N1个token。这种设计让数据准备效率大幅提升也使模型能够学习到真正的语言规律而非简单记忆。损失函数的计算也有讲究。我们实验室曾对比过不同loss权重策略发现对长文本适当调整不同位置的loss权重能显著提升模型对长距离依赖关系的捕捉能力。这就像教孩子阅读时对文章关键部分给予更多注意力。transformer架构中的自注意力机制是预训练的灵魂。有次我可视化了一个训练中的模型的注意力图发现它早期会关注相邻词随着训练深入逐渐学会捕捉远距离的语法关系。这种动态调整注意力的能力正是大模型理解复杂语句的关键。3. 有监督微调(SFT)让通用模型变身领域专家3.1 为什么通用模型需要专项特训去年我们团队接了一个医疗问答系统项目直接用预训练模型测试时出现了令人啼笑皆非的结果。问糖尿病该如何治疗模型居然回答多吃糖可以补充能量。这个惨痛教训让我们意识到再强大的通用模型不经过专业领域微调都可能给出危险建议。SFT的核心价值在于对齐(human alignment)。通过精心准备的问答对我们实际上是在教模型人类希望如何回答这类问题。有个形象的比喻预训练给了模型广博的知识而SFT则教会它如何得体地运用这些知识。3.2 SFT数据准备的实战技巧在实践中我们发现SFT数据的质量比数量更重要。早期我们收集了上万条客服对话用于微调效果却不如精心设计的500条典型问答。关键在于覆盖各类用户意图和回答策略而非简单堆砌数据。loss mask的设计是SFT的技术关键。有次实验忘记设置mask导致模型连问题部分都试图预测结果生成的回答总是重复问题内容。正确的做法应该只计算回答部分的loss让模型专注于学习如何生成优质回答。另一个容易踩的坑是样本长度不均衡。我们有个法律咨询项目开始时没有控制样本长度导致模型对短问题倾向生成短回答无论问题复杂度如何。后来统一使用动态padding和attention mask才解决这个问题。4. 推理阶段与模型的实时对话艺术4.1 自回归生成的运作细节推理阶段最让我惊讶的是生成过程的累积效应。早期测试时发现模型前几个token的生成质量会显著影响后续输出。这就像对话开场白往往决定了整个谈话的走向。因此在实际应用中我们会对开场回复进行特别优化。温度参数(temperature)的调节是个技术活。设为0时模型总是选择最高概率的词结果回答正确但枯燥设为1时又太过天马行空。我们的经验是客服场景用0.3-0.7创意写作可以用到1.2需要根据场景反复测试。4.2 常见推理问题与解决方案重复生成是推理阶段的典型问题。有次我们的模型陷入感谢您的提问...感谢您的提问...的无限循环。后来通过调整repetition_penalty参数并设置合理的停止条件才解决。这提醒我们推理不只是简单调用API还需要精心调参。上下文长度限制是另一个痛点。处理长文档问答时经常遇到模型忘记前文内容的情况。现在我们采用分段处理摘要记忆的方式配合足够长的上下文窗口设置显著提升了长文本理解能力。推理速度优化也值得关注。在实时对话场景我们测试发现top-p采样比top-k采样快15%左右而贪婪解码最快但质量下降。最终选择top-p0.9的平衡方案确保响应速度在可接受范围内。