Client

class Client(master_ip, port)

分布式训练的分布式客户端。

参数

• master_ip – 主节点的IP地址。

• port – 获取主节点上RPC服务器的端口

check_is_grad(key)

检查 send/recv 是否需要梯度。

参数

key – 用于匹配 发送/接受 算子的 key。

check_remote_tracer(key)

获取 send/recv 的tracer dict。

参数

key – 用于匹配 发送/接受 算子的 key。

connect()

检查连接是否成功。

get_mm_server_port()

获取多个服务器的端口。

group_barrier(key, size)

等待通信组内所有成员的障碍点。

参数

• key – 用于互相匹配的目标 group 的 key

• size – 通信组的大小

set_is_grad(key, is_grad)

用 key 来标记 send/recv 是需要梯度的。

参数

• key – 用于匹配 发送/接受 算子的 key。

• is_grad – 该 op 是否需要求梯度。

set_remote_tracer(key, tracer_set)

为 send/recv 算子设置 tracer dict。

参数

• key – 用于匹配 发送/接受 算子的 key。

• tracer_set – 一个有效的 tracer 集合。

user_get(key)

跨进程获取用户定义的键值对。

user_pop(key)

获取用户定义的键值对，并在获取之后删除资源。

user_set(key, val)

跨进程设置用户定义的键值对。

上一页

发射器(launcher)

下一页

Server