PyTorch实战：从SGD到Adam，手把手教你为CNN模型选对优化器（附性能对比代码）

PyTorch实战优化器选择指南——从SGD到Adam的CNN模型性能对比在深度学习项目中优化器的选择往往决定了模型训练的成败。就像赛车手需要根据赛道特性选择最佳轮胎一样开发者也需要针对不同任务特性挑选合适的优化器。本文将带您深入探索PyTorch中主流优化器的实战表现通过CIFAR-10图像分类任务对比SGD、SGDM、AdaGrad和Adam等优化器的实际效果。1. 实验环境与基准模型搭建首先我们需要建立一个公平的对比环境。使用ResNet-18作为基准模型既能保证足够的表达能力又不会让训练时间过长。以下是实验的基础配置import torch import torchvision import torch.nn as nn import torch.optim as optim # 数据准备 transform torchvision.transforms.Compose([ torchvision.transforms.ToTensor(), torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) trainloader torch.utils.data.DataLoader(trainset, batch_size128, shuffleTrue) # 模型定义 model torchvision.models.resnet18(pretrainedFalse) model.fc nn.Linear(512, 10) # 适配CIFAR-10的10分类任务 device torch.device(cuda:0 if torch.cuda.is_available() else cpu) model model.to(device)关键实验参数保持统一训练周期50个epoch初始学习率0.01批量大小128损失函数交叉熵损失2. 主流优化器原理与实现2.1 SGD与带动量的SGD随机梯度下降(SGD)是最基础的优化器其更新规则简单直接optimizer optim.SGD(model.parameters(), lr0.01)带动量的SGD(SGDM)在SGD基础上增加了动量项能有效缓解震荡optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9)两者的核心区别在于特性SGDSGDM收敛速度慢较快震荡程度高低局部最优逃逸困难较容易2.2 AdaGrad与自适应优化器AdaGrad通过累积历史梯度实现参数自适应学习率optimizer optim.Adagrad(model.parameters(), lr0.01)其特点是稀疏特征对应的参数会获得更大的更新随着训练进行学习率会自动衰减适合处理稀疏数据2.3 Adam与进阶变种Adam结合了动量法和自适应学习率的优点optimizer optim.Adam(model.parameters(), lr0.001)关键参数说明β₁(默认0.9)控制一阶矩估计的衰减率β₂(默认0.999)控制二阶矩估计的衰减率ε(默认1e-8)数值稳定项3. 训练过程与性能对比3.1 训练曲线可视化我们记录了各优化器在训练过程中的损失和准确率变化def train(model, optimizer, num_epochs50): criterion nn.CrossEntropyLoss() losses [] accuracies [] for epoch in range(num_epochs): running_loss 0.0 correct 0 total 0 for i, data in enumerate(trainloader, 0): inputs, labels data inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() _, predicted torch.max(outputs.data, 1) total labels.size(0) correct (predicted labels).sum().item() epoch_loss running_loss / len(trainloader) epoch_acc 100 * correct / total losses.append(epoch_loss) accuracies.append(epoch_acc) return losses, accuracies3.2 关键指标对比经过50个epoch的训练我们得到以下对比数据优化器最终准确率(%)收敛速度(epoch)显存占用(MB)SGD78.2301200SGDM82.720-251200AdaGrad80.115-201250Adam85.310-151300注意以上数据基于CIFAR-10数据集和ResNet-18模型不同任务和模型架构可能表现不同4. 优化器选择策略与调参技巧4.1 根据任务特性选择优化器小规模数据集AdaGrad或Adam通常表现更好大规模数据集SGDM配合学习率调度可能更稳定需要快速原型开发Adam是安全的选择追求极致性能需要尝试多种优化器组合4.2 学习率调整经验法则不同优化器的初始学习率建议优化器典型学习率范围衰减策略SGD0.1-0.01每10-20epoch减半SGDM0.01-0.001余弦退火AdaGrad0.01-0.001通常不需要Adam0.001-0.0001线性衰减4.3 混合使用策略在某些复杂任务中可以采用分阶段使用不同优化器的策略初期使用Adam快速收敛中期切换为SGDM进行精细调优后期使用SGD配合小学习率微调# 阶段1Adam快速收敛 optimizer optim.Adam(model.parameters(), lr0.001) train(model, optimizer, num_epochs10) # 阶段2SGDM精细调优 optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9) train(model, optimizer, num_epochs20) # 阶段3SGD微调 optimizer optim.SGD(model.parameters(), lr0.001) train(model, optimizer, num_epochs20)在实际项目中我发现Adam优化器在大多数情况下都能提供不错的baseline表现特别是当项目周期紧张时Adam通常是最保险的选择。但对于追求极致性能的场景投入时间调校SGDM往往能获得更好的最终结果。