深度学习高效深度学习（二）—— 参数高效微调 (PEFT) 与 LoRA（六十二）

1. 定位导航🎉让微调大模型"飞入寻常百姓家"！第 61 篇讲了如何部署大模型（量化）。本篇讲如何微调大模型——但用极少参数。问题：全量微调 70B 模型需要：存储 70B 参数的梯度、优化器状态总共约1TB+ 显存普通人完全负担不起PEFT（Parameter-Efficient Fine-Tuning）让你只训练极少参数（0.1%-1%），达到接近全量微调的效果。1.1 为什么需要 PEFT？痛点全量微调PEFT显存1TB+几十 GB存储每任务存整个模型每任务存小适配器