Uncertainty for Bayesian network and density network

 신경망을 통한 예측은 많은 성능 향상을 이루어 왔다.

이에 더하여 모델을 예측하는 것 뿐만아니라, 그 불확실성에 대한 정보도 중요하게 된다. 이전의 Dropout을 통한 Monte-carlo sampling 방식은 실 상황에서 몇 가지 단점이 존재한다. Regression기준으로 Single gaussian distribution기반의 density network이며 적정 셈플링의 횟수에 대하여 고려하여야 한다. 이에 따라서 sampling-free 방식의 불확실성에 대하여 연구가 되고 있으며 본 세미나에서는 Mixture density network기반의 total variance에서 explainable, unexplainable variance를 기준으로 epistemic uncertainty와 aleatoric uncertainty에 대한 실험적 연구 결과를 이야기한다. 본 세미나에서는 수식을 증명하면서 이 과정을 이해하는 것에 그 목적이 있다.

 [1] 발표자료

 [2] 발표영상

4. 참고문헌

 [1] Gal, Yarin, and Zoubin Ghahramani. "Bayesian convolutional neural networks with Bernoulli approximate variational inference." arXiv preprint arXiv:1506.02158 (2015).

[2] Gal, Yarin. Uncertainty in deep learning. Diss. PhD thesis, University of Cambridge, 2016.

[3] Tishby, Naftali, Esther Levin, and Sara A. Solla. "Consistent inference of probabilities in layered networks: Predictions and generalization." International Joint Conference on Neural Networks. Vol. 2. 1989.

[4] Bishop, Christopher M. Mixture density networks. Technical Report NCRG/4288, Aston University, Birmingham, UK, 1994.

[5] Choi, S., Lee, K., Lim, S., & Oh, S. Uncertainty-aware learning from demonstration using mixture density networks with sampling-free variance modeling. In 2018 IEEE International Conference on Robotics and Automation (ICRA). (2018)