化工企业网站模板网站建设询价

1 前言

假设我们有这样的两个模型：

• 第一个是逻辑回归
  • 
• 第二个是神经网络
  • 
  • 
  • 

他们的损失函数都是交叉熵

sigmoid函数的导数：

他们能不能用0初始化呢？

2 逻辑回归

2.1 求偏导

2.1.1 结论

2.1.2 L对a的偏导

2.1.3 对w1，w2求偏导 

w2同理

2.1.4 对b偏导

2.2 参数更新与分析

w1,w2,b的梯度和w1,w2,b无关，所以初始化成0之后没有影响

3 神经网络

3.1 偏导

a3的部分和前面逻辑回归是一样的

 

3.1.1 a1部分推导

3.1.1.1 对a1的偏导

3.1.1.2 对w11,w21,b1的推导

3.2 初始化为0

3.2.1 w初始化为0，b初始化为0

3.2.2w初始化为0，b随机初始化

3.3 w随机初始化，b初始化为0

前向传播过程中，a1,a2均不为0，反向传播的过程中各参数均可以更新

更新幅度也不一样

参考内容：神经网络权重为什么不能初始化为0？ (qq.com)