AllreduceCallback

class AllreduceCallback(reduce_method, group=WORLD, backend=None)[源代码]

具有张量融合优化的 Allreduce 回调函数。

参数

  • reduce_method (str) – 归并梯度的方法。

  • group (Group) – 通信组。

  • backend (Optional[str]) – 在allreduce中覆盖分布式后端

上一页

make_allreduce_cb

下一页

megengine.distributed.helper.param_pack_split