梯度下降是机器学习 / 深度学习基础优化算法核心逻辑梯度是损失上升方向理解假如损失函数图像是一个抛物线其梯度就是导数导数为正抛物线上升参数沿负梯度移动降低损失依靠学习率控制步长迭代至损失收敛衍生 BGD/SGD/Mini-batch 三类实现Mini-batch 为工程首选Adam 等自适应优化器是梯度下降的改良版本解决固定学习率缺陷。