易语言做网站后端腾讯视频创作平台

ODConv是一种适用于轻量化模型的conv结构，可以在较少的参数下训练出多参数模型才能达到的精度，在相同的flop下可以稳定的涨2-3%个点。但是在paddle下部署ODConv动态卷积模型时会报出各种异常，导致模型无法转静态图或onnx格式（可能在pytorch下也是无法转换的）。为此研究ODConv中的细节，移除了其中不利于部署的设计部分，但在整体上又没有违背ODConv的创新点，且同样可以保证性能。

1、ODConv调整

1.1 Attention修改

对Attention中多头注意力结果reshape操作的静态化，对所有的reshape都不使用包含-1的通道项。需新增self.in_planes=in_planes、self.out_planes=out_planes

import paddle
import paddle.nn as nn
import paddle.nn.functional as F
import paddle.autograd