
我一直理解不了梯度。
假设: <input> => layer01 => layer02 => layer03 => <output>
反向传播时求出来的梯度, 到底是针对哪一层的梯度啊。
layer01,02,03 上所有的权重参数都更新吗?
1 jdhao 2021 年 8 月 12 日 via Android 对,计算 loss 对各个层的偏导数,然后更新各层参数 |
2 Ehend 2021 年 8 月 12 日 via Android 一楼回答完了 |
3 aguesuka 2021 年 8 月 12 日 我是把梯度看作牛顿法的导数理解的 |