Sequential Transfer Learning in NLP

2. Overview

Transfer Learning 중에서도 Sequential Transfer Learning은 label이 존재하지 않는 다량의 데이터로 비지도학습 방식의 모델을 학습(Pretrain)한 후 label이 존재하는 소량의 데이터에 대해 지도학습 방식으로 모델을 이어서 학습(adaptation)하는 일련의 과정을 의미합니다. 일반적으로 자연어처리에서의 Pretrain은 2014년 Word2Vec(Mikolov et al.)의 등장 이후로 단어에 대한 학습을 주로 일컫는 말이었습니다. 대표적으로 Yoon kim의 2014년 논문인 Convolutional Neural Networks for Sentence Classification에서 다량의 unlabeled data에 대하여 Word2Vec으로 학습을 한 후 학습된 단어를 이용해 labeled data에 대한 classification을 수행했을 때 성능이 더욱 향상되었다는 연구가 있습니다. 그 후 skip-thought vector(Kiros et al.)에서 문장 단위의 pretrain이 제안되었고 ELMo(Peters et al.)와 BERT(Devlin et al.) 이후 현재까지 문맥에 맞게 단어(문장)에 대한 pretrain을 하는 방식이 주가 되고 있습니다.

본 논문에서는 이러한 pretrain이 완료된 후 label이 존재하는 데이터(downstream task)에 대해 adaptation하는 과정에 집중합니다. 크게 pretrain된 단어(문장) embedding을 이용해 feature-based approach를 진행하는 feature extraction과 embedding의 weight를 조절하며 추가 학습을 진행하는 fine-tuning의 두 가지로 adaptation을 나눠 진행하는데 이 과정을 크게 ELMo와 BERT 모델 두 가지에 대하여 실험을 진행합니다.  실험은 NER과 단일 문장 분류, 문장 유사도 측정의 세 가지 downstream task에 대해 진행합니다. 결과적으로 ELMO는 feature extraction 방식이, BERT는 fine-tuning 방식이 효과를 내는 것을 확인했습니다. 저자들은 feature extraction과 fine-tuning 모두 pretrain task와 downstream task가 유사해야 성능이 잘 나오며 특히 문장 유사도가 중요한 downstream task에 대해서는 ELMo의 pretrain 방식이 이와 달라 효과가 잘 나오지 않으며, BERT에서는 문장 쌍에 대한 유사도를 pretrain 과정에서 학습하기 때문에 유사도 측정에 유리하다고 말합니다.

3. 발표자료 및 발표영상

[1] 다운로드

[2] 발표영상

4. 참고문헌

[1] Matthew Peters, Sebastian Ruder and Noah A. Smith. To Tune or Not to Tune? Adapting Pretrained Representations to Diverse Tasks. arXiv preprint arXiv:1903.05987, 2019.