megengine.distributed.init_process_group#

init_process_group(master_ip, port, world_size, rank, device, backend='auto', device_type='xpu')[源代码]#

初始化分布式进程组，并且指定在当前进程中使用的设备。

参数:

master_ip (str) – 主节点的IP地址。
port (int) – 所有进程之间进行通信的可用端口。
world_size (int) – 参与任务的进程总数。
rank (int) – 当前进程的进程号。
device (int) – 待与该进程绑定的GPU设备号。
backend (Optional[str]) – communicator backend, currently support ‘nccl’ and ‘shm’.

返回类型: