AdamW

class AdamW(params, lr, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.01)

论文 “Decoupled Weight Decay Regularization” 中 AdamW 算法的实现

参数

• params (Union[Iterable[Parameter], dict]) – 可迭代对象，可以是一组待优化的参数，或定义几组参数的dict类型。

• lr (float) – 学习率 betas: 用于计算梯度及其平方运行均值的参数。默认值：(0.9, 0.999)

• eps (float) – 添加到分母以提高数值稳定性的参数项。默认值：1e-8

• weight_decay (float) – 权重衰减(L2惩罚)。默认值：1e-2

上一页

SGD

下一页

Adam