Swin Transformer block#

Swin Transformer 使用滑动窗口（shifted windows）来替代标准的多头自注意力（multi-head self attention, MSA）模块，其他部分与标准的 Transformer 架构相同。

Self-attention in non-overlapped windows#

为了提高建模效率，作者提出在局部窗口内计算自注意力。窗口被布置成以非重叠方式均匀地分割图像。假设每个窗口有 $M\times M$ 个 patch，对于一张被 分割为 $h\times w$ 个 patch 的图片而言，全局 MSA 的计算复杂度和基于窗口的计算复杂度分别为：

其中前者是 $hw$ 的平方量级，后者对 $hw$ 是线性的。对于较大的 $hw$ 而言，全局自注意力的计算往往是负担不起的，但是基于窗口的自注意力是可行的。

Shifted window partitioning in successive blocks#

基于窗口的自注意力模块缺乏窗口之间的联系，这限制了其建模能力。为了在引入跨窗口联系的同时保留不重叠窗口的高效计算能力，作者提出一种滑动的窗口分区方法，该方法在连续的 Swin Transformer blocks 中交替使用两种分区配置：

• 常规窗口分区：将 $8\times8$ 的特征图均匀地划分为 $2\times2$ 的大小为 $4\times4$ （$M=4$）的窗口。

• 滑动窗口分区：将上一层的窗口移动 $(\lfloor\frac{M}{2}\rfloor,\lfloor\frac{M}{2}\rfloor)$ 像素点的位置。

通过这种滑动窗口的方法，连续的 Swin Transformer blocks 可以用下面的方法来计算:

其中 $\widehat{\bold{z}}^l$ 和 $\bold{z}^l$ 分别表示第 $l$ 个块中 (S)W-MSA 模块和 MLP 模块的输出特征。W-MSA 和 SW-MSA 分别表示使用常规窗口分区和滑动窗口分区的多头自注意力。

移位窗口分割方法引入了前一层相邻非重叠窗口之间的联系，在图像分类、目标检测和语义分割方面效果显著。

Efficient batch computation for shifted configuration#

滑动窗口分区的一个问题在于滑动会使窗口的数量从 $\lceil\frac{h}{M}\rceil\times\lceil\frac{w}{M}\rceil$ 增加到 $(\lceil\frac{h}{M}\rceil+1)\times(\lceil\frac{w}{M}\rceil+1)$，而其中一些窗口的大小会小于 $M\times M$。一个简单的解决方法是将较小的窗口填充到 $M\times M$ 的大小，并在计算注意力的时候屏蔽填充值。这回导致当窗口较小时计算量显著增加（$2\times2\rightarrow3\times3$，增加了 $2.25$ 倍）。作者提出了一种更加高效的计算方法。该方法将图片往左上角循环滑动（超出的部分补到右下方）。移动后，一个窗口可能由多个不相邻的子窗口构成。通过循环滑动，窗口数量保持不变。

Relative position bias#

在计算自注意力时，Swin Transformer 在计算相似度时对每个头使用了一个相对位置偏置 $B\in\mathbb{R}^{M^2\times M^2}$：

其中 $Q,K,V\in\mathbb{R}^{M^2\times d}$ 为 query 、key 和 value 矩阵；$d$ 是 query/key 的维度，$M^2$ 是一个窗口中 patch 的数量。因为每个像素的相对位置落在 $[-M+1,M-1]$ 区间内，作者参数化了一个更小规模的偏置矩阵 $\widehat{B}\in\mathbb{R}^{(2M-1)\times(2M-1)}$，$B$ 中的值取自 $\widehat{B}$。实验结果表明，与未使用偏置项或使用绝对位置嵌入（absolute position embedding）相比，使用相对位置偏置效果有了显著的提升，而相对位置偏置的基础上再添加绝对位置嵌入会略微降低性能。