1.2卷积神经网络基础补充(反向传播)
1、误差的计算
2、误差反向传播
3、权重的更新
——————————————————————————————————————————
1、误差的计算
交叉熵损失为常用的损失函数
2、误差反向传播
3、权重的更新
使用整个样本集进行求解,损失梯度指向全局最优方向
使用分批次样本进行求解,损失梯度指向当前批次最优方向——>优化器(optimazer)
优化器:
- SGD
- SGD+Momentum
- Adagrad
- RMSProp
- Adam