博客

MegCC 新版本来啦!新增 Benchmark 等工具,性能大幅提升!有奖征文活动同步启动!
作者:MegEngine 发布日期:2023/01/12

最新版 MegCC 新鲜出炉,新工具,新体验,本次版本针对用户使用体验以及模型推理性能进行全面提升,主要的提升包括:

  1. 新增 Benchmark 工具, 用于用于快速 Benchmark 常用模型的推理性能并可视化;
  2. 新增 Kernel C 代码导出工具,方便用户定制化获取算子 Kernel, 方便迁移与复用;
  3. 优化 NN Kernel 性能, 保持推理 SDK 性能先进;
  4. 支持第三方 NPU loader,方便 NPU 相关应用迁移。
    下面展开介绍下最新版 MegCC 的新功能以及新特点:

一、MegCC Benchmark

新版 MegCC 支持了基础的 Benchmark 模块用于测试各类模型的推理性能,获取推理时各个 Kernel 的性能数据,分析模型性能瓶颈。

  1. 目前 Benchmark 支持的模型有:effecientnetb0、resnet18、resnet50、vgg11、vgg16、shufflenetv2、mobilenetv2,模型主要的格式为 ONNX 格式,通过 MgeConvert 转换为 MegEngine 的格式作为 MegCC 对 ONNX 格式的间接支持,有关 MgeCovnert 的更多内容请参考:https://github.com/MegEngine/mgeconvert
  2. 新增的 Benchmark 可以支持模型中各个 Kernel 的性能数据的获取,Bechmark 新增了Kernel 性能可视化的功能,用于模型性能瓶颈分析;
    1.png
  3. Benchmark 支持了模型推理数据可视化的功能,用于纵览不同设备上的模型推理性能。
    2.png

二、MegCC Kernel 导出工具 - Kernel_exporter

MegCC 新增了 Kernel C 代码导出的工具 Kernel_exporter,用户可以通过设置所需 Kenrel 的属性,导出所需 Kernel 的 C 代码,便于进一步的移植与复用。

  1. Kernel 导出工具目前有两种用法,一种是使用默认参数导出 Kernel,一种是用户交互式给定部分关键参数导出定制化的 Kernel。
  • 默认参数用法:
./kernel_exporter --arch <arch_type> --kernel <kernel_type> --use_default_attr
  • 交互式用法:
./kernel_exporter --arch <arch_type> --kernel <kernel_type>

arch_type 和 kernel_type 的具体参数,可以通过 --help 查看, 目前支持的 Kernel 包括:

ArgSortKernel           ArgmaxKernel                BatchMatmulKernel       CVTransposeKernel
ConcatKernel            ConvBackDataKernel          ConvKernel              CvtColorKernel
ElemwiseKernel          ElemwiseMultiKernel         FlipKernel              IndexingMultiAxisKernel
IndexingOneHotKernel    MatrixInvKernel             MatrixMulKernel         PoolingKernel
PowCKernel              ReduceKernel                RelayoutKernel          ResizeKernel
RoiCopyKernel           RotateKernel                TopK                    TypeCvtKernel
WarpAffineKernel        WarpPerspectiveKernel
  1. 导出的 Kernel C 代码会在工具使用的当前目录下面。

三、性能优化

a. 在初版的基础上,MegCC 对现有的 Kernel 进行了一系列优化,主要包括:

  1. 支持编译时多个 elemwise fuse 的功能,fuse 后的 elemwise 性能更优;
  2. 支持 General Instrinsic MAX、MIN 的 Kernel 实现,有效提升有大量 MAX MIN 算子模型的推理性能;
  3. 使用汇编优化 arm64 的 sigmoid,降低 sigmoid 对模型推理性能的束缚;
  4. 新增 conv3x3 winograd 优化,大大提升了推理时 3x3 卷积的计算性能;
  5. 新增了部分 Kernel 启发式选择算子的功能,用于保证有多个Kernel 可用时,选择到合适的 Kernel。

b. 优化后的模型性能:
上图中部分模型 MegCC 略微慢于 MegEngine 的原因是: MegEngine 有完善的算法搜索逻辑,部分场景选出来的算法优于 MegCC, 后续版本的 MegCC 会补齐这部分工作。

上图中部分模型 MegCC 略微慢于 MegEngine 的原因是: MegEngine 有完善的算法搜索逻辑,部分场景选出来的算法优于 MegCC, 后续版本的 MegCC 会补齐这部分工作。

MegCC 新版本主要对推理基础功能进行完善优化,提供 Benchmark, Kernel_exporter 等周边工具,方便用户获取推理性能以及推理模型中的 Kenrel 代码,持续优化 Kernel 性能,感兴趣的小伙伴赶快来试用啦!
4.jpg

附:

更多 MegEngine 信息获取,您可以:查看文档、和 GitHub 项目,或加入 MegEngine 用户交流 QQ 群:1029741705。欢迎参与 MegEngine 社区贡献,成为 Awesome MegEngineer,荣誉证书、定制礼品享不停。

查看更多

上一篇: 分享

一个深度学习框架的年度报告

已经是最后一篇了!

相关推荐
  • 一个深度学习框架的年度报告

    2022/12/30

  • 如何写一个深度学习编译器

    2022/12/27

  • AI 模型编译器 MegCC 开源,解决推理引擎体积问题

    2022/11/07

  • MegEngine Inference 卷积优化之 Im2col 和 winograd 优化

    2022/06/23

  • MegEngine TensorCore 卷积算子实现原理(上)

    2021/05/18