Deep Clustering for Unsupervised Learning of Visual Features

이미지 분류목적에서 pre-training 모델은 입력값 변화에 많이 민감합니다. 이러한 문제를 input signal이 model signal보다 크다고 할 수 있습니다. 그 실험으로 random input을 pre-training모델로 예측하면 그 정확도는 랜덤 guess보다 높게 나온다는 점에서 알 수 있습니다. 보다 더 일반화된 모델을 가지는 위해 본 논문은 unsupervised learning 모델(k-means)에서 나오는 pseudo label(cluster index)를 pre-training모델에 fine-tuning을 시킵니다. 세부적으로 NMI에 대한 클러스터 평가지표를 활용해서 fine-tuning할수록 모델의 일반화성능이 더 좋아지는 것 을 주장하고 있으며 분류성능 또한 우수하다고 합니다. 임베딩 성능평가는 pre-training된 네트워크를 freezing을 시키고 마지막 classifier만 재학습함으로써 임베딩성능을 측정하고 있습니다.

[1] 발표자료

[2] 발표영상