megengine.functional.nn.sync_batch_norm

sync_batch_norm(inp, running_mean, running_var, weight=None, bias=None, training=False, momentum=0.9, eps=1e-5, eps_mode='additive', group=WORLD)

对输入进同步批标准化。

更多信息参见 BatchNorm2d 和 BatchNorm1d 。

参数:

• inp (Tensor) – 输入张量。

• running_mean (Tensor) – 存储运行中的均值的张量。

• running_var (Tensor) – 存储运行中的方差的张量。

• weight (Optional[Tensor]) – 可学习仿射参数中的放缩张量。可参阅 BatchNorm2d 中的 \(\gamma\)

• bias (Optional[Tensor]) – 可学习仿射参数中的偏置张量。可参阅 BatchNorm2d 中的 \(eta\)

• training (bool) – 一个布尔值，它表示是否执行训练模式下的批归一化，即对当前批数据进行统计并更新统计量。 默认： False

• momentum (Union[float, Tensor]) – 用于计算 running_mean 和 running_var 的值。 默认： 0.9

• eps (float) – 添加到分母的单个值，增加数值稳定性。默认：1e-5

• eps_mode – eps 计算模式，目前支持 max 或者 additive。默认值: “additive”

• group – 用于配置均值和方差的计算方式， 默认配置: WORLD

返回类型:

Tensor