Replacing convolution block

2. Overview

Single context에 적용되는 self-attention을 처음으로 vision task에 적용한 논문이다. Target network는 ResNet으로 택했으며 ResNet의 blttleneck block 중 3x3 conv layer만 attention layer로 대체한다. 1x1 conv layer의 경우 실질적으로 conv 연산과는 거리가 있다는 언급과 함께 attention layer로의 변환 없이 그대로 사용한다. 이러한 단순한 변형을 통하여 모델의 파라미터 수를 크게 줄임과 동시에 acc.가 소폭 상승하는 효과를 볼 수 있었다.

3. 발표자료 및 영상

[1] 발표자료

[2] 발표영상

4. 참고문헌

[1] Parmar, Niki, et al. "Stand-Alone Self-Attention in Vision Models." Advances in Neural Information Processing Systems. 2019.