博客

MegEngine 使用小技巧:量化
作者:MegEngine 发布日期:2023/04/25

常见神经网络模型所用的 Tensor 数据类型 一般是 float32 类型, 而工业界出于对特定场景的需求(极少的计算资源,极致的推理速度),需要把模型的权重和或激活值转换为位数更少的数值类型(比 int8, float16) —— 整个过程被称为量化(Quantization)。

1.png

通常以浮点模型为起点,经过中间的量化处理后最终变成量化模型,在这个过程中一般会导致模型掉点。

目前业界缓解模型掉点的问题的技术主要有两种,在 MegEngine 中都进行了支持:

  • 训练后量化(Post-Training Quantization, PTQ);

  • 量化感知训练(Quantization-Aware Training, QAT)。

更多量化基本流程:量化基本流程介绍

整体流程

以量化感知训练为例,一般以一个训练完毕的浮点模型为起点,称为 Float 模型。 包含假量化算子的用浮点操作来模拟量化过程的新模型,我们称之为 Quantized-Float 模型,或者 QFloat 模型。 可以直接在终端设备上运行的模型,称之为 Quantized 模型,简称 Q 模型。

而三者的精度一般是 Float > QFloat > Q ,故而一般量化算法也就分为两步:

  • 拉近 QFloat 和 Q,这样训练阶段的精度可以作为最终 Q 精度的代理指标,这一阶段偏工程;

  • 拔高 QFloat 逼近 Float,这样就可以将量化模型性能尽可能恢复到 Float 的精度,这一阶段偏算法。

典型的三种模型在三个阶段的精度变化如下:

2.jpeg

对应到具体的 MegEngine 接口中,三阶段如下:

  1. 基于 Module 搭建网络模型,并按照正常的浮点模型方式进行训练;
  2. 使用 quantize_qat 将浮点模型转换为 QFloat 模型, 其中可被量化的关键 Module 会被转换为 QATModule , 并基于量化配置 QConfig 设置好假量化算子和数值统计方式;
  3. 使用 quantize 将 QFloat 模型转换为 Q 模型, 对应的 QATModule 则会被转换为 QuantizedModule , 此时网络无法再进行训练,网络中的算子都会转换为低比特计算方式,即可用于部署了。

3.png

此处为标准量化流程,实际使用时也可有灵活的变化。

ResNet 实例讲解
下面我们以 ResNet18 为例来讲解量化的完整流程。主要分为以下几步:

  1. 修改网络结构,使用已经融合好的 ConvBn2d、ConvBnRelu2d、ElementWise 代替原先的 Module. 在正常模式下预训练模型,并在每轮迭代保存网络检查点;
  2. 调用 quantize_qat 转换模型,并进行量化感知训练微调(或校准,取决于 QConfig);
  3. 调用 quantize 转换为量化模型,导出模型用于后续模型部署。

详细操作指南文档见:ResNet 实例讲解
https://www.megengine.org.cn/doc/stable/zh/user-guide/model-development/quantization/index.html#resnet:~:text=%E8%BF%9B%E8%A1%8C%E5%8A%A0%E8%BD%BD%E3%80%82-,ResNet%20%E5%AE%9E%E4%BE%8B%E8%AE%B2%E8%A7%A3,-%C2%B6

附:

「MegEngine 使用小技巧」系列文章,重点输出 MegEngine 及周边工具的使用技巧,如有催更或投稿,欢迎联系我们哦~

技术交流 QQ 群:1029741705;Bot 微信:megengine-bot

更多 MegEngine 信息获取,您可以:查看文档GitHub 项目。欢迎参与 MegEngine 社区贡献,成为 Awesome MegEngineer,荣誉证书、定制礼品享不停。

查看更多

上一篇: 分享

MegEngine 使用小技巧:使用 Optimizer 优化参数

下一篇: 分享

安卓机上 4G 内存跑 alpaca,欢迎试用轻量级 LLM 模型推理框架 InferLLM

相关推荐
  • MegEngine 11-12 双月报:新版本发布,开发者福利课程,MegEngine 使用技巧,精彩不容错过!

    2024/01/05

  • MegEngine 使用小技巧:使用 Optimizer 优化参数

    2023/04/13

  • 提速还能不掉点!深度解析 MegEngine 4 bits 量化开源实现

    2022/09/19

  • 工程之道 | 深度学习的工业级模型量化实战

    2020/07/07

  • MegEngine 版本最新发布!新增支持寒武纪思元系列 AI 芯片训练和推理

    2024/01/02