megengine.distributed¶
>>> import megengine.distributed as dist
Get or set backend of collective communication. |
分组(Group)¶
Distributed Server for distributed training. |
|
包含运行集群通信的排名节点 (看 |
|
初始化分布式进程组,并且指定在当前进程中使用的设备。 |
|
构造一个包含特定序号的子通信组。 |
|
阻止调用,直到组中的所有进程达到这个障碍点。 |
|
Override distributed backend |
|
如果分布式进程组已完成初始化则返回True。 |
|
获取字符串形式表示的后端。 |
|
获取 python XML RPC 服务器的客户端。 |
|
获取 C++ mm_server 的主机IP和端口。 |
|
获取 python XML RPC 服务器的主机IP和端口。 |
|
返回当前进程的 Rank(进程序号)。 |
|
获取的参与任务的进程总数。 |
运行器(Launcher)¶
在单机多卡环境下启动多个进程进行训练的装饰器。 |
辅助功能(Helper)¶
在指定通信组间广播张量列表。 |
|
Decorator. |
|
具有张量融合优化的 Allreduce 回调函数。 |
|
Returns split tensor to list of tensors as offsets and shapes described, only used for |
|
Returns concated tensor, only used for |
|