Generative Image Inpainting with Adversarial Edge Learning

2. Overview

Image에 masking이 있는 경우 전통적인 방식은 주변 값을 통하여 통계적으로 비어있는 픽셀 값을 채워나간다. 하지만 이러한 방식은 채워진 영역이 사람이 보기에 자연스럽지 못하다는 한계를 지닌다. 딥러닝이 발전하면서 많은 연구들이 GAN을 통하여 image inpainting을 시도해왔다. 본 연구에서는 기존에는 사용되지 않았던 edge connection을 추가하여 선행 연구보다 좋은 성능을 보인다. Edge의 경우 네트워크를 통하여 학습하는 것이 아니라 canny edge detection을 사용한다. Masked image에서 canny edge detection을 통하여 masked 된 부분의 edge를 찾아낸다. 이후 masked image와 edge가 연결된 이미지(흑백)을 concat하여 최종 output을 산출하게 된다. Edge를 사용한다는 매우 간단한 아이디어를 통하여 성능을 매우 크게 향상시킨 논문이다.

[1] 다운로드

[2] 강의영상

4. 참고문헌

[1] Nazeri, Kamyar, et al. "Edgeconnect: Generative image inpainting with adversarial edge learning." arXiv preprint arXiv:1901.00212 (2019).