什么事反向传播算法 反向传播算法过程( 三 )



其中Z是通过前向传播获得的Z值,delta是加权链接另一端的单位损失:

什么事反向传播算法 反向传播算法过程


现在用我们在每一步获得的偏导数值,和批量梯度下降权重更新所有权重 。值得强调的是,输入节点(X0,X1和X2)的Z值分别等于1,0,0 。1是偏置单元的值,而0实际上是来自数据集的特征输入值 。最后要注意的是,没有特定的顺序来更新权重 。你可以按照你想要的任何顺序更新它们,只要你不会在同一次迭代中错误地更新任何权重两次 。
为了计算新的权重,让我们给出神经网络名称中的链接:

什么事反向传播算法 反向传播算法过程


新的权重计算方法如下:

什么事反向传播算法 反向传播算法过程



什么事反向传播算法 反向传播算法过程


需要注意的是,模型还没有正确训练,因为我们只通过训练集中的一个样本进行反向传播 。我们为样本做了所有我们能做的一切,这可以产生一个具有更高精度的模型,试图接近每一步的最小损失/成本 。
如果没有正确的方法,机器学习背后的理论真的很难掌握 。其中一个例子就是反向传播,其效果在大多数现实世界的深度学习应用程序中都是可以预见的 。反向传播只是将总损耗传回神经网络的一种方式,以方便人们了解每个节点的损失量,并随后通过为节点提供更高误差,进而使用损失最小化的方式来更新权重,反之亦然 。
什么事反向传播算法 反向传播算法过程


【什么事反向传播算法 反向传播算法过程】

推荐阅读