1. 定位导航🎉让大模型"飞入寻常百姓家"!前面我们看到模型越来越大(GPT-3 175B,DeepSeek-V3 671B)。但部署是个大问题:70B 模型用 FP16 需要140GB 显存远超消费级 GPU(RTX 4090 只有 24GB)高效深度学习让大模型又小又快:量化:降低数值精度剪枝:删除不重要的参数蒸馏:用小模型学大模型→ 这是 LLM平民化的关键技术。1.1 为什么需要高效化?痛点说明显存大模型放不进消费级 GPU速度推理太慢,延迟高成本部署服