[2020 NeurIPS 후기]

ㅤ이번 2020년 NIPS는 Self-Supervised Learning(자기지도학습)에 대하여 주로 다루고 있었습니다. Self-Supervised Learning(이하 SSL)이라는 개념을 아직 잘 모르고 있어서 조금 어려웠지만 새롭게 배운다는 마음가짐을 가지고 재미있게 영상을 봤습니다. 이번 2020NeurlPS에서 중점적으로 봤던 3개의 발표는 아래와 같고, 각각의 발표에 대하여 간단하게 요약해보도록 하겠습니다.

1. Adversarial Self-Supervised Contrastive Learning



ㅤ본 연구는 "기존 Adversarial Traing을 하기 위해서 필요했던 Class Label이 과연 정말로 필요할까?" 라는 의문점을 가지고 시작된 연구입니다. 이를 확인해보기 위해 저자는 SSL을 통해 Label없이 좋은 Representation을 학습하는 Robust 모델을 구상하였습니다. 기존 Adversarial Attack에서 loss function을 Cross Entropy Loss에서 Contrastive Loss로 바꾼 Instance Wise Attack으로 perturbation을 생성합니다. 그리고 이러한 생성된 객체들까지 이용하여 학습을 통해 Class Label이 없어도 Robust하게 Class Prediction을 잘 수행해내는 것을 확인하였습니다.

2. CSI : Novelty Detection via Contrastive Learning on Distributionally shifted Instances



ㅤ본 연구는 OOD detection을 위해 Contrastive Learning과 Shifting Transformation을 활용하여 representation을 학습하고 score를 정의합니다. Contrastive 방법으로는 SimCLR방법론을 사용하였으며 이는 데이터 포인트 간의 서로 다른 augmentation을 수행해준 객체들끼리는 similarity를 maximize 하고 다른 객체에 대해서는 이를 minimize함으로써 representation을 학습합니다. Shifting Transformation을 해줄때는 강력한 augmentation(기존 distribution으로부터 멀리 떨어지도록)을 해줌으로서 좀 더 성능을 높혀주었습니다.

3. Learning From Failure : Training Debiased Classifier from Biased Classifier



ㅤ본 연구는 Biased 모델을 이용하여 Debiased 모델을 학습하는 방법론입니다. 저자는 Bias-aligned Dataset와 Bias-Conflicting Dataset을 만들어서 실험을 수행한 결과, Bias 자체가 성능에 나쁜 영향만을 끼치지 않는다는 것과 악영향을 주는 Malignant Bias는 초반에 많이 학습되는 경향이 있다는 것을 발견하였습니다. 이러한 특징들을 이용하여 저자는 하나의 모델은 악영향을 주는 bias model을 characterize함과 동시에 다른 모델은 bias model이 배우기 어려워하는 training sample에 대하여 가중치를 두어 학습을 하고 이를 통해 Conflicting Sample에 대하여 더 집중하여 학습이 가능하도록 하였습니다.