优化器（Optimizer）

Optimizer	所有优化器的基类。
Optimizer.step	执行单一优化步骤。
Optimizer.clear_grad	把所有参数的梯度属性设置为 None。
Optimizer.add_param_group	向 Optimizer 的 param_groups 中添加一组参数。
Optimizer.state_dict	导出优化器状态。
Optimizer.load_state_dict	加载优化器状态。

常见优化器

SGD	实现随机梯度下降。
Adam	实现 “Adam: A Method for Stochastic Optimization” 中提出的Adam算法。
Adagrad	实现Adagrad算法。
Adadelta	实现Adadelta算法。

学习率调整

LRScheduler	所有学习率调度器的基类。
MultiStepLR	以gamma为倍率阶梯式衰减各参数组的学习率

自动微分（Auto-diff） megengine.optimizer.Optimizer