megengine.module.init.calculate_gain

calculate_gain(nonlinearity, param=None)[源代码]

对于给定的非线性函数返回一个推荐的增益值(见下表)。

非线性

增益

Linear / Identity

\(1\)

Conv{1,2,3}D

\(1\)

Sigmoid

\(1\)

Tanh

\(\frac{5}{3}\)

ReLU

\(\sqrt{2}\)

Leaky Relu

\(\sqrt{\frac{2}{1 + {\text{negative}_\text{slope}}^2}}\)

参数
  • nonlinearity (str) – 非线性函数名

  • param (Union[int, float, None]) – leaky_relu 的可选参数, 仅当 nonlinearity 为 “leaky_relu” 时生效。

返回类型

float