Selective Classifier: Bias-Reduced Uncertainty Estimation for DNN

Selective Classifier는 분류 결과에 대한 uncertainty estimation을 수행한 후 uncertainty score에 따라 분류 결과를 거부(모른다)할 수 있는 모델이다. 따라서 질 좋은 selective classifier를 위해 질 좋은 uncertainty estimation이 필요하다.

해당 논문은 질 좋은 uncertainty estimation을 하기 위해 NN 학습 과정에서 생성되는 모델을 앙상블하는 방법을 제시한다. 실험을 통해 분류가 어려운 hard point의 경우 NN이 학습되면서 점차 잘 분류하게되는 반면 분류가 쉬운 easy point는 NN 학습 초기에 미리 잘 분류가 되는 것을 확인하였고, 이에 착안하여 모델의 학습 과정에서 생성되는 NN을 앙상블하여 사용하는 방법을 제시하였다. 해당 방법론을 기존의 DNN과 관련한 uncertainty estimation 방법론에 적용한 결과 E-AURC 기준 뚜렷한 성능 향상이 있는 것을 확인하였다.

[1] 발표자료

[2] 발표영상

[1] Younatan Geifman, Guy Uziel, Ran EL-Yaniv. "Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers" ICLR 2019.

[2] Balaji Lakshminarayanan, Alexander Pritzel, Charles Blundell et al. "Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles" Nips 2017.

[3] Yarin Gal, Zoubin Ghahramani, et al. "Dropout as a Bayesian Approximation" ICML'16 Proceedings of the 33rd International Conference on International Conference on Machine Learning.