대학원 입학 후 처음으로 대한산업공학회 추계학술대회에 참석하였습니다. 연구실 내부 리허설 때도 재밌는 발표 주제가 많다고 느꼈는데, 다른 연구실의 연구 성과도 의미있어 보이는 것이 많았던 것 같습니다. 다음은 그 중 제가 특히 재밌게 들었던 발표 내용들을 정리해보았습니다.

[1] Domain Adaptation을 활용한 오래된 이미지 복원 (고려대학교 산업경영공학과 조한샘님)

요즘 Image to Image(I2I) translation, generation 관련 분야에 관심을 가지고 있는데, 손상된 이미지를 복원하기 위해 이러한 I2I 연구를 사용한 발표였습니다. 모델의 학습을 위해 paired dataset을 사용하는 Pix2Pix 구조가 사용되었고, 손상된 이미지와 정상 이미지가 pair로 학습에 사용됩니다. 손상된 이미지는 정상 이미지에 noise나 blur같은 degradation 방법을 사용해 인위적으로 생성하고 이를 다시 정상으로 복원할 수 있도록 모델을 학습합니다. [1]연구에선 합성된 이미지와 오래된 이미지 사이의 차이를 content gap과 style gap으로 나누어 정의하는데, 제안한 모델은 두 가지 gap에 대해 다소 취약한 결과를 보여주었습니다. 실제로 오래된 이미지를 복원하기 위해 content와 style 모두 유사한 이미지를 학습에 사용하기는 힘들 것이라 생각하는데, style gap을 줄이기 위한 후속 연구 아이디어를 통해 이를 어느 정도 개선할 수 있을지 기대되는 연구발표였습니다.

[2] Semi-Supervised Learning Using Bayesian Neural Networks (고려대학교 산업경영공학과 이민정님)

Unlabeled image를 Labeled image와 학습에 같이 사용하는 연구들이 vision의 대표적인 문제인 classification, detection, segmentation에서 SOTA를 달성하고 있는 것으로 알고 있습니다. [2]발표에선 이렇게 Semi-Supervised Learning에 사용되는 unlabeled image에 labeled image에는 없는 class가 포함될 경우 성능이 오히려 하락하는 문제를 지적하고, 이를 개선할 수 있는 방법을 제시하고 있습니다.  제안된 방법은 unlabeled image에 대해 pseudo label을 생성할 때 MC dropout을 사용하여 variance를 계산하고, variance가 특정 threshold보다 낮은 이미지를 학습에서 제외하는 방식입니다. 이를 통해 task에 맞는 unlabeled 이미지를 선별할 수 있고 이렇게 필터링 된 unlabeled 이미지에는 불확실성을 높이는 노이즈를 추가하는 것으로 학습 데이터가 줄어든 문제를 보완하였다고 합니다. Variance를 계산하기 위해 여러번의 inference가 필요하다고 생각되지만, 제안된 방법은 unlabeled image에 새로운 class가 다수 포함되어 있어도 기존 supervised learning보다는  항상 성능이 우세한 결과를 보여주었고 현실 상황에 잘 맞는 문제 설정이라 생각되어 재밌게 들은 발표였습니다.

[3] SimCLR 기반의 Autoencoder 이상탐지 보정 방법론 (고려대학교 산업경영공학과 전여진님)

Image representation learning 연구로 2020년 가장 주목을 받은 연구가 구글에서 발표한 SimCLR 이었다고 생각합니다. [3]에선 SimCLR의 contrastive learning으로 학습한 이미지의 representation을 clustering에 사용하고, cluster centroid로부터의 거리를 사용해 autoencoder 기반 anomaly score를 보정하는 방식을 제안합니다. 이 방법을 통해 공장설비의 소리 데이터를 이미지화하여 설비이상 유무를 판정하는 task의 성능을 개선하였고, 특히 정상 중 소수의 class에 해당하는 정상데이터를 불량으로 판정하던 기존의 문제를 완화했다고 합니다. 후속 연구로는 contrastive learning방식이 시계열 데이터에서도 적용될 수 있을지가 검증될 것이라고 하는데, 발표 내용이 다른 task의 대표격인 연구를 주어진 문제에 잘 활용했다고 생각되어 후속 연구도 기대하게 하는 발표였습니다.

다음 학회발표는 모두 오프라인으로 진행되어 현장의 분위기를 느낄 수 있게되길 바랍니다.