1. 为什么随机种子是深度学习的起点第一次跑模型时你可能遇到过这种情况同样的代码连续运行两次得到的准确率居然相差3%。这不是玄学而是随机种子在作祟。就像做蛋糕时面粉和糖的配比会影响成品深度学习模型对初始参数极其敏感。设置随机种子的本质是让计算机的随机变得可控。当你调用torch.manual_seed(42)时相当于给随机数生成器上了发条。这个数字42就像保险箱密码确保每次打开都能拿到相同的随机参数。我在图像分类项目里实测过固定种子后ResNet50在CIFAR-10上的准确率波动从±2.1%降到了±0.3%。但要注意的是现代深度学习框架涉及多个随机源CPU随机数random.seed()控制Python内置随机GPU随机数需要torch.cuda.manual_seed_all()数据加载numpy.random.seed()影响数据shuffle框架特定如DGL的dgl.random.seed()# 完整种子设置示例 import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False提示在分布式训练中还需要为每个进程设置不同的种子偏移量避免所有GPU产生相同的随机序列2. 从随机到科学初始化方法演进史早期的神经网络采用朴素的随机初始化就像闭着眼睛往靶子上扔飞镖。直到2010年Xavier Glorot那篇经典论文问世人们才意识到初始化需要数学指导。2.1 那些年我们踩过的初始化坑全零初始化相当于让所有神经元患上集体痴呆。反向传播时梯度完全对称网络连最简单的异或问题都学不会。小常数初始化比如全部设为0.01。这就像给百米运动员绑上沙袋前向传播时信号层层衰减10层之后输出值会缩小到1e-20量级。大随机数初始化另一个极端是使用标准正态分布N(0,1)。我在MNIST实验中发现这会导致第一层输出的标准差高达15.3ReLU神经元直接进入饱和区。2.2 Xavier初始化的数学之美Xavier聪明的发现初始化应该保持信号方差一致性。对于线性层yWx他推导出理想权重应满足Var(W) 2/(n_in n_out)PyTorch中的实现堪称优雅def xavier_init(layer): if isinstance(layer, nn.Linear): fan_in, fan_out layer.weight.shape bound math.sqrt(6.0 / (fan_in fan_out)) nn.init.uniform_(layer.weight, -bound, bound)我在Transformer项目里对比过使用Xavier初始化的词嵌入层训练初期梯度范数比随机初始化稳定3-5倍。不过要注意它假设激活函数是线性的对ReLU系效果会打折扣。2.3 He初始化的暴力修正何凯明在ResNet论文中给出了更适配ReLU的方案Var(W) 2/n_in这相当于给Xavier公式打了补丁考虑ReLU会杀死一半神经元的特点。实际使用时要注意mode参数fan_in保持前向传播稳定性默认fan_out确保反向传播梯度稳定# LeakyReLU专用初始化 nn.init.kaiming_normal_(conv.weight, modefan_in, nonlinearityleaky_relu, a0.1)3. 工程实践中的初始化策略3.1 不同层需要差别对待词嵌入层通常用N(0,0.02)的小随机数。我在BERT微调时发现太大初始化会破坏预训练表征卷积核He初始化配合fan_in模式效果最佳LSTM门控建议用正交初始化避免梯度爆炸输出层适当缩小初始化范围比如U(-0.1,0.1)# 分层初始化示例 def init_weights(m): if isinstance(m, nn.Linear): nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0.1) elif isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out)3.2 与BatchNorm的默契配合现代网络常配合BatchNorm使用这时初始化压力会小很多。但要注意最后一层通常不加BN仍需谨慎初始化小batch size下BN统计量不稳定仍需良好初始化微调时如果冻结BN层需保持原始初始化尺度3.3 迁移学习的初始化艺术加载预训练模型时新添加层的初始化很关键。我的经验是分类头保持与原始模型相似的初始化尺度适配层使用稍大的初始化如He初始化的2倍参数冻结部分层加载后设置requires_gradFalse4. PyTorch初始化全攻略4.1 内置初始化方法速查方法名适用场景关键参数uniform_浅层网络a,b: 均匀分布边界normal_通用场景mean,std: 高斯参数xavier_normal_Tanh/Sigmoidgain: 激活函数增益kaiming_uniform_ReLU/LeakyReLUmode: fan_in/fan_outorthogonal_RNN/LSTMgain: 缩放因子dirac_残差连接4.2 初始化诊断技巧梯度检查运行一个batch后检查各层梯度范数理想情况各层在同一量级信号传播测试输入全1向量观察每层输出的标准差变化可视化工具使用torchsummary观察参数分布# 初始化诊断示例 def check_init(net): with torch.no_grad(): fake_input torch.ones(1, 3, 224, 224) output net(fake_input) for name, param in net.named_parameters(): print(f{name}: mean{param.mean():.4f}, std{param.std():.4f})4.3 我的初始化调参笔记在图像超分项目ESRGAN中通过大量实验得出这些经验生成器最后一层用nn.init.orthogonal_配合0.1的缩放能稳定训练初期判别器每层都用kaiming_normal_但最后一层std设为0.02防止过早收敛残差连接路径用dirac_初始化保持恒等映射特性遇到梯度不稳定时可以尝试# 梯度裁剪配合初始化 nn.utils.clip_grad_norm_(model.parameters(), max_norm2.0) optimizer.step()