이번세미나는 Question Generation을 주제로 진행되었습니다. 먼저 첫번째 논문은 'A Recurrent BERT-based Model for Qeustion Generation'으로, BERT-QG /BERT-SQG / BERT-HLSQG 3가지 방법론에 대한 실험을 진행하였습니다. 각 모델의 문제점과 그를 해결하기위해 보완된 모델을 제안하는 논문의 흐름이 직관적이라고 생각하였습니다. 하지만 논문의 디테일이나, QG Task의 성능 평가 지표가 와닿지 않아 아쉬웠습니다. 두번째 논문은 'Learning to Answer by lerarning to Ask'으로 QA와 QG가 서로 영향을 주며 성능을 향상시키는 모델을 제안했습니다. 보통 '비슷한 의미를 가지는 문장'을 생성하는것을 목표로 모델을 학습시킨다고 생각했으나, 이 모델에서 생성한 질문은 정답만 같다면 문맥이 다르더라도 정답으로 인정하였습니다. QG Task에서 유의미한 질문을 생성했다고 판단함에 있어 더 정확한 평가지표가 필요할것같다는 생각이 들었습니다.
새로운 분야에 대해 설명을 들으며 함께 개선점을 논의할 수 있는 유익한 시간이었습니다.

금일 세미나에서는 Question Generation (QG)에 대한 설명을 들었습니다. "A Recurrent BERT-based Model for Question Generation" 이라는 논문의 흐름을 설명함에 있어 줄글을 최대한 줄이고 그림과 직접적인 예시를 들어 설명을 하였습니다. 이러한 설명이 듣는 입장에서는 매우 직관적이고 빠른 이해를 돕는다고 생각하였습니다. 논문에서 제안하는 방식은 기존 QA에서 정답 토큰 앞뒤에 HL 토큰을 추가하는 아주 간단한 방식이었지만 좋은 컨퍼런스에 workshop으로 진행된 것을 보면 충분히 후속 연구로 발전할 가능성이 있다는 생각을 하였습니다. 다만 저자들이 제안하는 방법론을 평가하는 metric은 빠르게 발전해야 한다고 생각합니다. 현재는 질문을 생성하여 생성된 질문과 원래 dataset이 가지고 있는 질문을 비교하여 성능을 평가하고 있습니다. 하지만 이러한 방식으로는 정말 좋은 질문이 생성되었는지에 대한 평가가 되기 어렵기 때문에 보다 합리적이고 누구나 납득할 수 있는 방법이 나오면 좋겠습니다.

Question Generation은 QA task에서 주어진 질문, 답변 pair 외에 추가적인 질문을 모델이 생성하도록 함으로써 augmentation 효과를 내고 이로 인해 QA의 성능을 향상시키는 task입니다. 조규원 석사과정이 소개한 본 논문에서는 다양한 자연어처리 분야에서 높은 성능을 내는 BERT와 GPT-2를 이용해 QG를 하는 내용입니다. 본 발표에서는 QG에 대한 연구가 어떻게 발전되고 있는지를 보기 쉽게 설명해줘서 잘 이해할 수 있었습니다. 다만 QG task 자체가 갖고 있는 근본적인 목표인 "좋은 질문을 만들어냄으로써 QA의 성능을 높히자"의 "좋은 질문"에 대한 평가가 아직 명확하게 잡히지 않는 느낌이 있었습니다. 이와 관련해 정량적으로 평가할 수 있는 새로운 방법에 대해 연구하는 것도 좋은 연구 방향이 될 수 있을 거라고 생각합니다. 또한 궁극적으로 생성해낸 질문이 실제 현실 문제에서 질문/대답 쌍으로 이용 가능한, 즉 사람이 읽어도 납득이 갈 만한 정성적으로 높은 퀄리티의 질문을 생성하는가에 대한 연구도 해볼만한 분야일 것 같다는 생각이 들었습니다.

금일 발표는 "Question Generation with BERT, GPT2"라는 주제로 진행되었습니다. 본 발표에서는 BERT와 GPT2를 활용한 Question Generation 방법론을 자세히 다루었습니다. 먼저 BERT를 활용한 A Recurrent BERT-based Model for Question Generation은 BERT input을 sequential 하게 구성하여 question generation의 성능을 높였습니다. 다음으로 발표한 Learning to Answer by Learning to Ask: Getting the Best of GPT-2 and BERT Worlds는 GPT-2와 BERT를 모두 사용하여 높은 question generation 성능을 도출하였습니다. 발표된 두 논문을 통해 최근까지도 지속적으로 많은 분야에서 BERT와 GPT 모델의 적용을 통해 성능 향상을 도출하고 있다는 것을 다시금 깨달았고, 이러한 상황이 제 연구분야인 continual learning에서도 보여지고 있기 때문에 더 관심을 가지고 들은 발표였습니다.

Question Answering은 context를 주고 문제를 주면 주어진 context 내에서 답을 찾는 문제입니다. 이를 위해 Question Generation방법을 사용하여 Question Answering 성능을 향상할 수 있는데, 이는 QG(Question Generation)을 통해 Data Augmentation이 가능하고 학습 데이터셋에 없던 데이터에 대해서도 Question을 생성할 수 있기 때문입니다.

논문에서는 BERT를 이용해 Question을 생성해 내는 3가지 방법을 제안합니다. 본 논문에서는 [SEP] 토큰을 이용해 context와 answer를 함께 제공하는 BERT-QG, 디코딩 단계에서 이전 Step의 단어를 함께 고려하는 BERT-SQG, 정답 부분이 자주 등장하는 문제를 해결하고 정답 부분에 따라 생성되는 문장을 바꾸는 BERT-HLSQG 방법을 제안하고 기존 논문들과 성능을 비교합니다.

추가적으로 논문에서는 GPT-2를 이용하여 질문을 생성하고 BERT를 이용하여 문제를 답하는 방법을 제안합니다. GPT-2가 질문과 context를 BERT에 전달하고, BERT가 질문의 시작 index와 종료 index를 이용하여 Loss를 계산한 후 올바른 질문과 올바르지 않은 질문을 구별하여 다시 GPT-2 모델에 context와 정답을 전달하는 방식으로 학습을 진행합니다.

QG의 동향과 목적에 대해 학습할 수 있었고 이에 관한 두 편의 논문을 통해 QG를 폭넓게 이해할 수 있었던 유익한 시간이었습니다.

감사합니다.

이번 세미나는 조규원 석사과정의 Question Generation(이하 QG)에 관한 2개의 논문에 대한 발표였습니다.
QG는 QA(Question Answering) 태스크에서 적용할 수 있는 분야이며, QG를 이용하여 다양한 Question 을 Augmentation을 통해 QA의 성능을 높일 수 있는 방법입니다.
첫 번째 논문은 BERT를 이용하여 QG 태스크를 수행하는 논문입니다. BERT를 이용한 QG는 {[CLS], [Context], [SEP], [Answer]} 구조를 입력으로 받아 [Question]을 생성하게 됩니다. 기존에 BERT를 사용한 QG는 Question을 생성할 때 시퀀스를 한번에 생성하기 때문에 단어들 간의 정확성이 떨어지는 문제가 있었습니다. 이를 해결하고자 단어 시퀀스를 차례로 생성하는 Sequential QG를 제안하였고 거기에 [HL] token을 더해주는 BERT-HLSQG 모델을 제안하였습니다.
이번 세미나를 통해서 QG 태스크가 어떠한 것을 하고자 하는지 알게 되었고, BERT를 이용하여 QG를 생성할 수 있는 방법에 대해 배울 수 있었습니다.

금일 발표는 "Question Generation with BERT, GPT2"라는 주제로 조규원 석사과정이 준비해주었습니다.
해당 논문에서에서는 기존의 Sentence Generation이 아닌 BERT와 GPT2를 활용한 Question Generation 방법론을 소개하였습니다.
기존 BERT모델을 활용한 A Recurrent BERT-based Model for Question Generation은 BERT input을 sequential 하게 구성하여 question generation의 성능을 높였습니다.
두번째로 소개한 Learning to Answer by Learning to Ask: Getting the Best of GPT-2 and BERT Worlds 논문에서는 GPT-2와 BERT를 모두 사용하여 높은 question generation 성능을 도출하였습니다.
계속해서 문장을 생성하거나 summary를 생성하는 논문들과 다르게 해당 논문들을 통해서 Question Generation 을 생성하는 부분에서 재미있고, 앞으로 다양한 분야에서 활용될것이라 기대됩니다.

본 논문을 하나의 그림으로 요약하여서 이해하기가 편했습니다. BERT는 질문에 대한 대답 구조로 parameter 업데이트는 진행하지 않고, 좋을 것이다라고 가정합니다. 이를 근거로 GPT2는 질문 생성을 하는 모델로 parameter를 업데이트 합니다. Catastrophic forgetting이 일어나지 않게 맞는 답에 대해서도 가끔씩 sampling하여 기억한다는 아이디어는 다른 도메인들에도 요즘 많이 쓰이는 방법인 것 같습니다. 모델 구조가 BERT의 정답에 제한된다는 한계점이 명확하며 QG task와 관련하여 평가 metric이 믿을 수 있는가에 대한 의문이 있습니다. 19년 NIPS에서 GAN에 대한 새로운 평가 metric이 제안된 논문이 있는데 QG에도 이런쪽으로 연구해도 재밌을 것 같습니다.

Question generation에 대한 전반적인 설명과 BERT, GPT-2의 collaborative learning을 통해 질문을 생성하는 연구에 관한 발표였습니다. 개인적으로 지난 발표에서 들은 semantic drift는 그 개념을 이해하기가 쉽지 않았는데 7번 슬라이드에서 설명된 QG의 발전 방향에 관한 설명은 매우 직관적이라는 생각이 들었습니다. 추가적으로 BERT는 분류, spanning, tagging 등의 task에 강점을 가지며, GPT-2는 generation에 강점을 가지는 모델로 알려져 있는데, 이를 잘 활용하여 GPT-2로 하여금 질문을 생성하게 하고 BERT로 하여금 이를 풀게 하는 방식의 방법론이 매우 합리적이고 인상깊었습니다. 반면, 논문 제목에서는 결국learning to answer를 어떻게 할지에 대해 설명할 것 같았는데, learning to ask에만 초점이 맞춰진 연구라는 점이 아쉬웠고 발표자 포함 많은 분들이 세미나때 말씀하신 것처럼 성능 측정 지표의 신뢰도에 관한 부분도 아쉬움으로 남습니다. 마지막으로 코드가 공개되지 않은 논문을 발표자가 직접 구현하려고 노력했다는 점이 좋았고, 이러한 과정에서 드러난 어려움을 공유하는 것도 유익한 세미나를 만드는데 기여했다고 생각합니다.

오늘 발표에서는 Question Generation에 대한 최신 연구를 들을 수 있었습니다. QG는 기존에 존재하는 질문에 대해 augmentation을 하는 방향으로 질 좋은 질문들을 만들어냄으로써 기존에 존재하는 QA task에 대한 성능을 향상시키고자 하는 것을 목표로 하고 있습니다. PLQG부터 BERTQG, HLSQG까지 각 연구들이 가지는 연구점이나 한계점을 기준으로 모델이 발달되는 flow에 대해서 설명해주어서 이해하기 수월했습니다. 다만, QA task에 대해서 QG 모델이 만들어낸 질문에 대한 평가를 하는 것은 납득이 되었지만, QG 모델이 만들어낸 질문과 g.t의 질문과의 비교를 통해 성능을 평가하고 있는 현재 상태에 대해 큰 회의감을 가지면서 들었습니다. 결국은 QG가 가지고 있는 기존의 목적에서 크게 벗어난 방향으로 모델이 발전될 수도 있겠다고 생각하면서, 이를 정량적으로 평가할 수 있는 수치화된 기준을 만들어내는 것도 하나의 연구가 될 수 있겠다고 생각했습니다.

이번 세미나는 먼저 Context와 Answer이 주어졌을 때, Question을 생성하는 BERT-SQG에 대한 소개입니다. BERT-SQG는 이전 step의 output인 question 문장의 단어를 고려해 Sequential하게 input을 구성하는 모델입니다. BERT-SQG는 answer이 여러 번 등장할 경우 문제점이 발생하는데 이는 answer부분에 [HL]를 해줌으로서 해결할 수 있습니다.
두번째 논문은 GPT-2로 question을 만들고 BERT로 피드백을 해 성능을 높이는 모델에 대한 설명입니다. QA-Head를 붙여 Question Answering Task를 풀 수 있도록 pre-training을 하고 question generating을 할 수 있도록 Fine-Tuning과 Re-Fine-Tuning을 거치는 모델입니다. Re-Fine-Tuning 과정에서 GPT-2가 question을 생성하면 BERT를 거쳐 손실 함수 값을 계산하고 GPT-2의 weight들을 업데이트 하는 과정입니다.
학습 데이터 셋에 없던 데이터에 대해서도 question 생성이 가능한 모델이어서 유용한 것 같고 이번 세미나를 통해 GPT-2와 BERT를 동시에 사용하는 모델을 보고 각자의 장점만을 갖을 수 있는 방법을 배울 수 있었습니다.

[박경찬]
Text 관련 분야는 정확한 정답이 주어지지 않는 경우가 많고 그렇기 때문에 task를 진행하기 위해 어떤 방식을 제안하고 그 방식의 논리성을 입증하는 것이 중요한 것 같습니다. 그런점에서 QA를 위해 Question Generation을 수행하고 Question Generation을 평가하기 위해 다시 QA를 적용하는 일련의 과정에 대해 모호성이 강하다는 느낌을 받았습니다. 이에 대해 좀 더 명확한 방법을 찾을 수 있다면 그것만으로도 이 분야에서는 큰 contribution이 될 수 있을 것 같다는 생각을 하였습니다.