论文及代码详解——可变形卷积（DCNv1）

论文：《Deformable Convolutional Networks》

论文详解

Deformable Convolution

普通卷积的数学表达
普通的二维卷积包括两个步骤:
1)在输入特征图x上使用regular gird R进行采样;
2)以w加权的采样值的总和。网格R定义接收域的大小和扩张。例如，

$$\mathcal{R}=\{(-1,-1),(-1,0),\dots ,(0,1),(1,1)\}$$
定义了一个dilation=1, 3x3的卷积。
对于输出特征图$y$上的每个位置$p_0$，
Eq(1)

$$\mathbf{y}\left({\mathbf{p}}_0\right)=\sum _{{\mathbf{p}}_n\in \mathcal{R}}\mathbf{w}\left({\mathbf{p}}_n\right)\cdot \mathbf{x}\left({\mathbf{p}}_0+{\mathbf{p}}_n\right),$$

其中$p_n$穷举了$\mathcal{R}$中的所有位置。

可变形卷积的数学表达
在可变形卷积中，regular grid R用偏移量 { Δ p n ∣ n = 1 , … , N } \left\{\Delta \mathbf{p}_n \mid n=1, \ldots, N\right\} { Δpn​∣n=1,…,N}进行增广, 其中$N=|\mathcal{R}|$

上述的式子就变成了：

Eq(2)

$$\mathbf{y}\left({\mathbf{p}}_0\right)=\sum _{{\mathbf{p}}_n\in \mathcal{R}}\mathbf{w}\left({\mathbf{p}}_n\right)\cdot \mathbf{x}\left({\mathbf{p}}_0+{\mathbf{p}}_n+\Delta {\mathbf{p}}_n\right)$$

现在，采样是在不规则和偏移位置$p_n+∆p_n$上。由于偏移量$∆p_n$通常为分数阶，因此通过双线性插值实现式(3)为：

Eq(3)

$$\mathbf{x}(\mathbf{p})=\sum _{\mathbf{q}}G(\mathbf{q},\mathbf{p})\cdot \mathbf{x}(\mathbf{q})$$

其中$p$表示任意(分数)位置(对于Eq. (2) $p=p_0+p_n+∆p_n$)， $q$ 枚举特征映射x中所有积分空间位置，G(·，·)为双线性插值核。注意G是二维的。它被分成两个一维的核：

Eq(4)

$$G(\mathbf{q},\mathbf{p})=g\left(q_x,p_x\right)\cdot$$