RNNCell¶
- class RNNCell(input_size, hidden_size, bias=True, nonlinearity='tanh')[源代码]¶
一个使用 tanh 或 ReLU 非线性的 Elman RNN 单元
\[h' = \tanh(W_{ih} x + b_{ih} + W_{hh} h + b_{hh})\]如果
nonlinearity
是 ‘relu’ ,那么会使用 ReLU 代替 tanh。- 参数
- 输入:input,hidden
input 形状为 (batch, input_size) :包含输入特征的张量
hidden 形状为 (batch, hidden_size) :包含批中每个元素的初始隐藏状态的张量。如果没有提供则默认为零。
- 输出: h’
h’ 形状为 (batch, hidden_size) :包含批中每个元素的下一隐藏状态的张量
- 形状:
输入1: \((N, H_{in})\) 包含输入特征的张量其中 \(H_{in}\) = input_size
输入2: \((N, H_{out})\) 包含批中每一元素的初始隐藏状态的张量其中 \(H_{out}\) = hidden_size 如果没有提供则默认为零。
输出: \((N, H_{out})\) 包含批中每一元素的下一隐藏状态的张量
实际案例
import numpy as np import megengine as mge import megengine.module as M m = M.RNNCell(10, 20) inp = mge.tensor(np.random.randn(3, 10), dtype=np.float32) hx = mge.tensor(np.random.randn(3, 20), dtype=np.float32) out = m(inp, hx) print(out.numpy().shape)
输出:
(3, 20)