PyTorch 权重初始化

1.权重初始化方法

正确的权重初始化可以加速模型的收敛，不恰当的权重初始化导致输出层的输出过大或者过小，最终导致梯度爆炸或者消失， 使得模型无法训练

  • 使用与饱和激活函数 tanh 等的 Xavier 初始化方法
  • 非饱和激活函数 relu 等的 Kaiming 初始化方法

2.损失函数