PReLU

class PReLU(num_parameters=1, init=0.25, **kwargs)

对每个元素应用函数：

$$\text{PReLU}(x)=max(0,x)+a\ast min(0,x)$$

或者

$$\begin{array}{r}\text{PReLU}(x)=\{\begin{array}{ll}x,& \text{ if }x\ge 0\\ ax,& \text{ otherwise }\end{array}\end{array}$$

这里的 $a$ 是一个可学习参数。当以无参数方式调用 PReLU() 时，它会在所有输入通道上使用同一个 $a$ 参数。若以 PReLU(num_of_channels) 方式调用，每个输入通道都使用不同的 $a$。

参数

• num_parameters (int) – 待学习的 $a$ 参数数目，仅允许两种合法值： 1，或者输入数据通道数。 默认： 1

• init (float) – $a$ 初始值。默认：0.25

实际案例

>>> import numpy as np
>>> data = mge.tensor(np.array([-1.2, -3.7, 2.7]).astype(np.float32))
>>> prelu = M.PReLU()
>>> output = prelu(data)
>>> output.numpy()
array([-0.3  , -0.925,  2.7  ], dtype=float32)

上一页

LeakyReLU

下一页

SiLU