神经网络图优化与量化模拟-销魂之手漫画
from: https://www.bilibili.com/video/BV1Kr4y1n7cy/?spm_id_from=333.788&vd_source=21cce77bb69d40a81e0d37999f2da0c2
ONNX 的算子
EfficientNet示例
RetinaNet,后面复杂
SSD,包含后处理算子
输入 输出
算子不是原子,可以拆分
把上面3个算子融合
算子各阶段耗时分析
怎么做 融合?
激活函数常见的 才好融合
Batchnorm
常量折叠
矩阵乘融合,中间不能有激活函数
代码
Conv + add 融合
好了,你已经会了,来试试下面练手
递归融合
整张图的优化
从10个算子 到 4个算子
从16个算子到10个算子
不同硬件有不同的图优化策略,所以很复杂...
PPQ的量化模拟
近日,担任旧版《EVA》中绫波丽的英文配音的声优,并参与了本次新版的配音工作的剧本家Amanda Winn Lee,正面喷了那些说新版翻译的不好的观众。
2022-10-28