Autoencoding Variational Inference For Topic Models

토픽모델링은 자연어처리에서 문서를 표현하기위해 널리 사용되는 방법론으로, 해당문서를 잠재된 분포를 학습하여 표현한다. 토픽모델링을 적용하고 새롭게 모델을 학습하는 데 있어서의 큰 문제점은 토픽들의 분포를 추론하는데 많은 계산적인 cost가 소요되는 것이다. 이러한 한계점때문에 MCMC Gibs Sampling과 같은 Markov-chain Monte Carlo와 같은 variational methods를 통해서 간접적으로 근사하여 학습을 수행해 왔다. 최근 연구에 따르면 이러한 근사 방법론들은 모델링의 가정에 약간의 변화가 있어 새로운 주제 모델에 적용하려면 수학적으로 많은 어려움을 겪으며 새로이 학습해야 한다는 단점이 지적되어 왔다. 본 논문에서는 Variational Autoencoder를 활용하여 잠재벡터 공간 z를 SGD(backpropagation)을 통해 학습하고 이를 통한 디리클레 분포를 Laplace approximation하여 토픽모델링을 수행하는 방법을 제안한다.

[1] 발표자료

[2] 발표영상

[1] Srivastava, Akash, and Charles Sutton. "Autoencoding variational inference for topic models." arXiv preprint arXiv:1703.01488 (2017).

[2] Philipp Hennig, David H Stern, Ralf Herbrich, and Thore Graepel. Kernel topic models. In AISTATS, pp. 511–519, 2012.

[3] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. The International Conference on Learning Representations (ICLR), Banff, 2014.

[4] Srivastava, Akash, and Charles Sutton. "Autoencoding variational inference for topic models." arXiv preprint arXiv:1703.01488 (2017).