이번 세미나는 "Addressing Semantic Drift in Question Generation for Semi-Supervised Question Answering"을 주제로 진행되었습니다. QA중에서도 Question generation 분야에대해 다루었는데, 먼저 QG의 큰 카테고리와 관련연구에 대해 정리한 자료를 통해 큰 흐름을 파악 할 수 있었습니다. 그 후 paper review를 통해 semantic drift issue에 대해 다루었습니다. 본 논문은 문서를 기반으로 생성된 질문과 답이 문맥을 파악하지 못하는 것에 문제를 제기하였습니다. 이를 해결하기위해 reinforcement learning 기반으로 생성된 리워드를 통해 question generation을 조절하였습니다. 여기서 QPP와 QAP의 리워드를 계산하는것이 조금 어려웠는데, 새로운 질문이 생성되었을때 pretrain model을 사용하여 environment를 형성한다는 부분이 확실히 이해되지않았습니다.

또한 논문의 내용을 모두 읽어본것은 아니지만, 발표를 통해 느꼈던 부분은 과연 저자들이 의문을 제기한 semantic drift issue가 해결되었는가 ? 였습니다. 제가 느낀바로는 이논문의 컨트리뷰션은 QG에서 RL을 적용한것과 기존에 생성된 질문을 사용하여 새로운 질문을 생성함으로서 성능향상이 이루어진것 그리고 기존의 QA를 평가할 수 있는 척도를 제안한 것이라 생각하였습니다.

QA에 대해서는 알고있었지만, 세미나를 제가 모르던 분야인 QG에 대해 알 수 있었던 유익한 발표였습니다.

기존의 QA방식들이 본문의 문맥을 제대로 파악하고 있지 못한다는 논문 저자들의 문제 제기는 매우 타당하다고 생각합니다. 본 논문에서는 제기한 문제를 해결하기 위하여 양질의 질문을 많이 '생성' 하고 이를 통하여 문맥을 조금 더 잘 이해하는 방법론을 제안하였습니다. Question Generation은 이전의 방법을 차용하였고 외부에 RL모델을 통하여 pretrain된 binary classification model의 output을 reward로 사용합니다. 하지만 이렇게 되는 경우 결국 pretrained dataset의 question을 따라가야 높은 reward를 받을 수 있게 됩니다. 이러한 형태의 generator는 논문 저자들이 말하는 다양하지만 의미있는 질문과는 거리가 멀어 보입니다. 이는 pretrain을 위한 dataset이 단순히 paraphrasing된 질문들이며 RL에서 높은 reward를 받기 위하여서는 QG모델이 원래 존재하는 paraphrased question을 잘 모방해야하기 때문입니다.
이러한 이유로 개인적으로는 문제 제기는 좋았으나 이를 해결하고자 제안한 방법론이 매우 효용적이지는 않은 모델이라 생각 합니다. 아직 여러 방법을 적용할 수 있고 발전할 부분이 많은 분야인 것 같습니다.

Question Generation이라는 분야를 처음 접해서 재미있게 들었던 세미나였습니다. 논문 외에도 QG의 역사를 잘 설명해주셔서 좋았습니다. 조규원 석사과정이 발표한 논문의 핵심 내용은 질문 생성시 문맥과 답변이 의미상으로 잘 맞지 않는 문제(sematic drift)를 해결하는 것입니다. 논문에서는 기존의 QA 모델은 앞서 말한 문제로 인해 question을 잘 이해하고 있지 않다고 할 수 있습니다. 논문에서는 이를 해결하기 위해 동일한 context에서 다양한 문제(question)를 생성합니다. 이를 강화학습을 통해 수행하는데 reward에 pharaphrasing과 QA task 두 가지를 이용합니다. 강화학습을 이용한 방식을 처음 접해서 굉장히 신선했습니다. 또한 강화학습 과정에서 pretrain된 classification 모델들을 사용하는데 최근 개인적으로 다양한 pretrained classification 모델을 새로운 task에 이용하는 것에 대한 고민을 한 적이 있어 무척 흥미로웠습니다.

금일 발표는 "Addressing Semantic Drift in Question Generation for Semi-Supervised Question Answering"이라는 제목으로 진행되었습니다. 그동안 세미나를 통해서 Visual Question Answering 분야에 대한 논문을 접해왔지만, 이와 유사한 방향성을 지닌 Question Generation 분야의 논문은 처음이라 기대를 가지고 발표를 청취했습니다. 금일 세미나를 통해 발표된 논문은 질문을 생성할 때 문맥과 답변의 의미가 맞지 않는 문제가 발생하는데 이를 질문을 생성하는 모델을 통해 해결한 내용이었습니다. 세부적으로 본 논문은 강화학습을 기반으로 동일한 context에 대해 다양한 질문을 생성하는 과정을 통해 semantic drift 문제를 해결하고자 하였으며, 이 과정에서 paraphrasing과 QA에 대한 두 가지 reward를 기반으로 강화학습을 학습하였습니다. 강화학습을 기반으로 새롭게 정의된 문제를 해결하는 방법이 흥미로웠으며, 다양한 분야에서 강화학습을 기반으로 문제를 해결하고 있다는 사실을 다시 한 번 느낄 수 있는 발표였습니다.

이번 세미나는 조규원 석사과정의 Question Generation(QG, 질문 생성)에 관련된 논문의 발표였습니다. 발표한 논문은 QG 모델이 context와 answer간의 의미적으로 통하지 않는 Question을 생성하는 문제와 문맥이 적절하지 않는 Question을 생성하는 문제를 해결하기 위해 Semantic Drift통해 성능을 높인 논문이었습니다. 해당 논문에서는 위의 문제들을 해결하기 위해 QPP(Question Paraphrasing Probability)와 QAP(Question Answering Probability)라는 두 가지 reward를 사용하였습니다. 질문과 정답에 대한 문맥이 맞게끔 학습 시키기 위해 강화학습을 사용한 부분에 대하여 자세히 설명해주어 좋았습니다.

QG에 대해서는 생소했지만, 이번 세미나를 통해서 QG에 대한 과거 연구에서 부터 현재까지 설명해주어 태스크의 흐름을 알 수 있었습니다.

이번 발표에서는 SSL과 관련된 주제로 관심깊게 들었습니다. SSL 특성상 label을 알아서 anntation을 한다는점에서 강화학습과 잘 어울리는 것 같습니다. 해당 논문에서는 텍스트분야에 대한 LM의 모델의 Q&A를 더 augmentation을 시켜 향상시키는 방법을 제안한것 같습니다. 한편으로 SSL 방법 그 자체를 개선했다기 보단 application으로 Q&A 텍스트 분야에 SSL를 적용해 봤다라는 의미에서 관심깊게 보았습니다. Q&A목적에서 start token, end token를 맞추는 task보다 더 어려운 task로도 가능한지 향후 이 연구분야에 기대가 됩니다.

대부분의 QA 경우 주어진 문장에 대해 BIO tag embedding을 통해 정답을 selection하는 과정으로 이루어지고, text에 대해 질문이 많지 않으면 문맥을 이해한 것인지 단순히 문제를 푸는 스킬인지 확인하기가 힘듭니다. 이에 한 text에 대해 여러 문제와 답을 만들 수 있다면 이러한 한계를 극복할 수 있다는 전제로 QG이 더 의미있다고 생각합니다. 정답을 generation하는 것이 궁극적인 목적일 것 같지만 향후에 성능이 좋은 연구가 나오지 않을까 합니다.
본 논문은 좋은 QG의 근거로 본인들이 새로 제시한 QPP, QAP를 제시하고 이를 통해 주장을 뒷받침하는 흐름을 보고 신선한 느낌을 받았습니다. 또한 논문에서는 나오지 않지만 본인들이 실험하면서 filter의 비율, 원 질문과 만들어진 질문을 다시 학습하는 비율 등 많은 실험이 있었을 것이라고 추측됩니다.

이번 세미나는 Question Generation이라는 분야 내 이라는 논문에 대한 발표로 이루어졌습니다. 본 연구는 질문 생성 시 발생하는 'Semantic Drift'라는 현상을 개선할 수 있는 방법론으로 'Semantics-reinforced QG Model'을 제안하였습니다. 제안 방법론은 생성된 질문이 얼마나 Ground Truth 질문과 유사한지를 반영하는 Question Paraphrasing Probability (QPP) Reward, 그리고 context를 통해 답변 가능한 질문인지를 반영하는 Question Answering Probability (QAP) reward를 바탕으로 이루어진 강화학습 방법론입니다. 개인적으로 발표를 통해 이해한 본 연구의 접근 방식이 타당하고 합리적으로 느껴졌지만, 발표 초반 언급한 '모델이 얼마나 context를 잘 이해하고 있는가'에 대한 연구는 아니라고 느껴져 아쉬웠습니다. 발표자께서 언급한대로 제안 방법론을 통해 answer를 특정시키면 그에 맞는 질문의 생성이 가능한데, 이 방식을 적용하여 각 알고리즘의 context 이해도 측면에서 모델 평가가 이루어졌으면 어떨까 하는 생각이 들었습니다. 마지막으로 간접적으로만 접했던 QA와 QG 분야를 이해할 수 있었다는 점에서 의미있는 세미나였다고 생각합니다.

오늘 세미나에서 조규원 석사과정이 발표한 내용은 Question Generation task에 대한 것이었습니다. 기존에 많이 알고 있었던 내용은 Question Answering으로, 문서가 주어졌을 때 문서 내용에 대한 질문을 답하는 모델을 학습시키는 task였습니다. 그런데 이 task에서는 그 모델을 향상시키기 위해, 즉 질문들을 잘 이해하고 적절한 답을 할 수 있게끔, 추가적으로 질문들을 만들어내는 것이어서 흥미로웠습니다.
그러나 전 처음에는 한 문서에 대해 다양한 질문들을 만들고 그 답을 뽑아냄으로써, 해당 문서를 완벽하게 이해하는 모델을 만드는 것이 목표라고 생각했으나, 발표한 논문의 내용에 따르면 이미 훈련데이터에 있는 질문과 유사하지만 다른 맥락으로 만들어내는 것이었습니다. 즉, 기존 QA task에 대해 성능을 높이기 위해 데이터를 augmentation하는 의도였습니다. 그리고 모델 내에 강화학습 부분에서 결국 reward를 줄 때 QA 모델의 결과물을 이용해서 loss를 계산해내는데, QA의 결과물을 ground truth로 설정하면 이게 본 목적을 잘 달성하고 있는 것인가 라는 의문이 들었습니다.
그래도 아직 많이 연구되고 있는 분야인만큼 여러 방면으로 실험을 시도한 결과물을 같이 공유받으면서 공부하면 좋을 것 같다고 생각했습니다.