对pytorch中的梯度更新方法详解-创新互联

背景

使用pytorch时，有一个yolov3的bug，我认为涉及到学习率的调整。收集到tencent yolov3和mxnet开源的yolov3，两个优化器中的学习率设置不一样，而且使用GPU数目和batch的更新也不太一样。据此，我简单的了解了下pytorch的权重梯度的更新策略，看看能否一窥究竟。

对代码说明

共三个实验，分布写在代码中的（一）（二）（三）三个地方。运行实验时注释掉其他两个

实验及其结果

实验（三）：

不使用zero_grad（）时，grad累加在一起，官网是使用accumulate 来表述的，所以不太清楚是取的和还是均值（这两种最有可能）。

不使用zero_grad()时，是直接叠加add的方式累加的。

tensor([[[ 1., 1.],……torch.Size([2, 2, 2])
0 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 
tensor([[[ 2., 2.],…… torch.Size([2, 2, 2])
1 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 
tensor([[[ 3., 3.],…… torch.Size([2, 2, 2])
2 2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。