금일 세미나는 "Learning Dense Representations of Phrases at Scale"라는 주제로 진행되었습니다. 본 발표에서는 DenSPI를 발전시킨 open-domain question answering 방법론인 DensePhrases 방법론이 소개되었습니다. 개인적으로는 정답을 도출하기 위해 phrase 후보에서 가장 그럴 듯한 정답을 찾는 것이 자연스러운 흐름이라고 생각했는데 DenSPI에서 이 부분을 passage에서 가장 그럴듯한 start와 end token의 위치를 찾는 문제로 재정의한 점이 인상깊었습니다. DensePhrases에서는 DenseSPI와 다르게 정답 span이 위치한 문서의 정답 span의 시작 위치와 끝 위치를 찾는 문제로 변환하였고, 이를 효율적이고 효과적으로 학습하기 위한 다양한 시도를 하였습니다. 특히 DPR의 in-batch negatives를 기반으로 한 contrastive learning에서 매우 큰 배치 사이즈가 필요로되는 문제를 해결하기 위해 비전 분야에서 제안된 연구에서 영감을 얻어 pre-batch negatives를 통해 직전 C개의 배치를 negatives로 활용함으로써 효율적인 학습이 가능하도록 한 점이 흥미로웠습니다. 개인적으로 연구를 할수록 방법론 자체가 아닌 실험을 통해 증명하는 것과 효과적으로 모델을 학습하는 것이 중요하다는 생각이 많이 드는데 그런 점에서 DensePhrases가 매우 실용적인 연구라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Open Domain Question Answering(ODQA) 과업에 대해서 소개되었습니다. 기본적은 QA 형태와 유사하게 본문-질문-답 의 형태로 데이터가 구성되어 있는데 특히 질문의 경우에는 질문 자체에서 정답을 유추할 수 없는 특징이 있습니다. 일련의 과정을 거쳐 답으로 예측하는 것은 본문 내 실제로 존재하는 연속된 토큰으로 구성된 phrase(혹은 span)이 됩니다. 아주 큰 틀에서 해당 과정을 설명하면 본문내 여러 passage와 질문을 하나의 임베딩 공간에 mapping 시킨 다음 질문과 가장 유사한 상위 여러 개의 passage를 우선 선택하고 해당 passage들 안에 존재하는 모든 span에 대한 확률 분포를 구하는 식이 됩니다. 소개해주신 방법론인 DenSPI에서는 span 자체를 찾는 것을 목적으로 한 것이 아닌 span의 시작 토큰과 마지막 토큰을 찾는 문제로 변형해서 해당 과업을 수행하고 있습니다. 발표자분께서도 계속해서 언급했던 바와 같이 해당 과업에서는 Knowledge 역할을 하는 데이터베이스의 거대한 용량을 어떻게 효율적으로 관리하는지가 관건이 될 듯합니다. ODQA가 어쩌면 NLP의 여러 요소들을 복합적으로 필요로하는 수준 높은 과업인 것 같습니다. 내용이 어려움에도 관심을 가지고 이해를 잘 하고 계신 발표자분께 박수를 보내드립니다. 유익한 발표 잘 들었습니다.

금일 세미나는 Learning Dense Representation of Phrases at Scale을 주제로 진행되었습니다. DenSPI에서 제안되었던 것 처럼 retrieved passage에서 reader를 추가적으로 forwarding 하는 방식을 사용하지 않고 direct로 정답 span을 검색하는 방식은 매우 직관적이었습니다. 구체적으로는 Question representation과 Phrase의 start/end token representation을 활용하여 내적이 가장 높은 span을 찾아냈습니다. DensePhrase는 DenSPI와 굉장히 유사하나 Question start, end token representation을 별도로 생성한 후 passage내의 representation을 탐색하는 과정을 통해 answer span을 예측합니다. 논문의 contribution인 1) 동일 passage내의 다른 phrase representation 사용 2) Pre-batch negative 가 인상적이었습니다. coCondensor에서 사용했던 gradient caching과 더불어 향후 연구에서 학습 효율을 위해 적용해볼만한 아이디어라 생각했습니다. 발표 논문도 흥미로웠지만 발표 흐름이나 질의응답 시간이 유익했습니다. 특히 발표 과정에서 생기는 질문들에 정확히 답변하기 위해서는 정말 많은 레퍼런스들을 익히고 있어야 하는데, 발표자분께서 최근 Retrieval 논문들을 꾸준히 follow up 하고 계셔서 다양한 시각의 이야기를 들을 수 있었습니다. Retriever가 MRC task를 흡수한다면 span extraction 기반의 다양한 task pipeline이 개편될 수 있습니다. 최근 발표된 NPM과 함께 앞으로 extraction task에 해당 방법론이 널리 적용될 수 있을 것 같다는 생각이 들었고, 발표 재미있게 들었습니다. 향후 다른 스터디 들에서도 관련 내용이 꾸준히 공유되면 좋을 것 같습니다. 감사합니다.

이번 세미나에서 Learning Dense Representations of Phrases at Scale라는 논문에 대해 다루었습니다. 많은 Retrieval 모델들은 extractive QA task에 대해 Retrieval and Read/Generatre의 구조를 보이는데, Densephrases라는 모델은 이 과정을 없애고 Retrieval만을 통해 answer를 찾는 구조입니다. 이를 위해 phrase 단위로 indexing을 진행하고 indexing 공간 안에서 start와 end token을 직접 찾아서 answer span을 예측합니다. training 과정에서는 mrc task에 대한 single passage training, distillation 등을 통해 answer span 예측에 대한 학습을 진행하고, in-batch negative, pre-batch negative 등을 통해 retrieval에 대한 학습을 진행합니다. 또한 query-side finetuning라는 추가적인 데이터에 대한 학습 방법론을 제안합니다. 어려운 task인 retrieval에 대한 구성 요소들을 예시와 함께 background에서 자세하게 설명해주셔서 정확하게 이해할 수 있었습니다. 또한 실험 장표에서 어떤 것에 대한 실험인지 제목으로 적어주신게 도움이 되었습니다. 항상 좋은 발표 감사합니다.

이번 세미나에서는 Learning Dense Representations of Phrases at Scale이라는 연구를 소개해주셨습니다. Open-Domain Question Answering(ODQA)에서 대부분의 방법론들은 External Knowledge Base로부터 Question과 Relevance Score가 높은 Subset Context들을 선정하는 Retriever와 선정된 Context들에서 Question에 알맞은 정답을 추출 혹은 생성하는 Reader/Generator 모델을 사용했습니다. 반면, 세미나에서 Background로 소개해주신 DenSPI와 세미나에서 주되게 다룬 DensePhrases는 Reader/Generator 없이 직접 Answer Span을 추출하는 방법을 이용했습니다. DenSPI의 경우 Question과 Context(Passage)를 단일 BERT를 이용해 Encoding하는 반면, DensePhrases는 Answer Span의 시작 위치와 끝 위치, Question을 Encoding하기 위해 세 개의 (Span)BERT를 이용하는 모델 구조적 차이를 보이고 있습니다. 그리고 DensePhrases의 Phrase Encoder를 통해 생성되는 Phrase Representation 자체의 정확도를 높이기 위해 MRC Task로 학습된 SpanBERT 모델을 Distillation한다는 접근법이 신선했습니다. 발표자 분께서 ODQA를 이해하기 위해 필요한 핵심 용어인 Indexing, Retrieval 등을 자세히 설명해주셔서 이해에 도움이 되었습니다. 또한 해당 원 논문에 기재되어 있는 Figure보다 상세히 Figure를 그려주셔서 특히 이해에 많은 도움이 되었습니다. 좋은 발표 감사드립니다.

본 세미나에서는 Learning Dense Representations of Phrases at Scale이라는 주제의 논문에 대한 리뷰를 진행하였습니다. ODQA task를 해결하기 위해 다양한 방법론들이 제안되고 있으며 그 중 대표적인 방법론이 retrieval 입니다. 처음 제안되었던 Retrieve-and-Read, Retrieve-and-Generate 방법의 경우 Inference 시 큰 속도 저하가 발생한다는 문제로 인해 실제 서비스에 적용하기에는 다소 무리가 있었습니다. 이를 해결하기 위해 직접 정답 span을 retrieval하는 구조인 DenSPI가 제안되었습니다. 본 논문에서 제안하는 DensePhrases는 DenSPI의 후속연구라고 할 수 있습니다. DenSPI의 경우 하나의 CLSRepr.을 쪼개어 start와 end로 사용한 반면에 DensePhrases는 별도의 SpanBERT 모델을 사용하여 각각 전체 CLSRepr.을 start와 end로 사용하였습니다. 또한 DensePhrases는 MRC task와 In-batch negative를 결합하여 손쉬운 학습 방법론을 제안하였고 실험을 통해 이를 입증하였습니다. 결론적으로 문제가 되었던 inference 속도를 DensePhrases를 통해 어느정도 해결할 수 있었습니다. 스터디나 세미나를 통해 ODQA 분야에 대해서 꾸준히 리뷰해주셔서 항상 재밌게 보고 있습니다. 좋은 발표 감사합니다.

이번 세미나는 Learning Dense Representations of Phrases at Scale 논문을 바탕으로 진행되었습니다. 해당 논문에서는 ODQA Task를 다루는 DensePhrases 모델을 제안하고 있었습니다. 먼저 ODQA task는 어떠한 질문이 주어졌을 때, 대량의 외부 문서에서 Retriever가 불러온 관련된 Passage에서 Answer를 추론하는 Task라고 볼 수 있습니다. 이때, 대량의 외부 문사에 대하여 Indexing을 진행한 후, Retrieval 하는 과정을 효율적으로 진행하기 위하여 Retrieve-and-Read, Retrieve-and-Generate 방법이 제안되었는데, 두 방법 모두 Question과 Passage에 대해 2 번의 Model Forwarding을 수행하므로 Inference 시에 큰 속도 저하가 발생한다는 문제점이 존재했습니다. 이를 통하여 Question과 Phrase의 Start/End Token의 Representation 간의 내적을 통해 직접 정답 Span을 Retrieve하는 DenSPI가 제시되어 이전보다는 빠른 속도를 낼 수 있게 되었습니다. 이때, 현 논문에서 제시하는 DensePhrases에서는 하나의 CLS를 쪼개어서 start와 end를 사용하는 DenSPI과는 다르게 별도의 SpanBERT 모델을 사용하여 각각 전체 CLS를 start와 end로 사용하고 있습니다. 이러한 DensePhrases에서 대량의 외부 문서에 대한 구분 능력을 확보하고자 In-batch negative를 사용하기에 매우 큰 배치 사이즈가 필요한데, 이를 효율적으로 학습하기 위하여 직접 C개의 배치를 Negative로 활용하는 Pre-batch Negatives 방법론을 사용하는 것이 새롭게 다가왔습니다. 결론적으로 빠른 Indexing 속도와 적은 저장공간을 사용하며 효율적인 학습을 진행할 수 있었습니다. 매번 ODQA task에 대해서 자세히 설명해 주시고, 많은 예시를 들어주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 정말 감사드립니다.

금일 세미나는 Learning Dense Representation of Phrases at Scale 을 주제로 진행되었습니다. Open-Domain Question Answering 은 Question, Query 와 Context Passage, Answer 로 구성됩니다. Question Repr 과 가장 가까운 Passage Repr 을 탐색하는 Task 입니다. 오늘 세미나에서는 Dense Repr 만을 이용하여 효과적인 Phrase Retreival 구조를 제안하고, MRC Task 와 In batch negative 를 결합하여 손쉬운 학습 방법론을 제안했습니다. 해당 task 와 해당 방법론이 QA 뿐만아니라 다양한 방법론에도 적용 할 수 있는 방법론이며 아이디어 자체가 흥미로웠던 점이 인상깊었습니다. 좋은발표 감사합니다.

이번 세미나에서는 Learning Dense Representations of Phrases at Scale 논문에 대해 진행 해주셨습니다. 해당 논문에서는 ODQA Task의 DensePhrases 방법론을 제시하고 있습니다. 기존의 ODQA Task의 경우 Retrieve and Read 혹은 Retrieve and Generate 방식으로 다뤄 졌지만 이는 느린 속도라는 문제점이 존재 하였습니다. 그래서 해당 논문에서는 Retrieval 대신 정답 Span이 위치한 문서의 정답 Span의 시작 토큰과 끝 토큰을 찾는 문제로 변환하여 해당 Task를 수행합니다. 또한 효과적인 학습을 위해 MRC task와 In-batch Negative를 활용하고 있으며 그 결과 효율적인 Indexing 속도를 낼 수 있었습니다. 발표자분 께서 전반적인 ODQA Task를 풀어가는 구조들을 잘 설명 해 주셨고, 해당 논문에서 제안하는 방법론과 이전 방법론들의 차이점, 그로 인한 이점까지 잘 설명 해주셨던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Learning Dense Representations of Phrases at Scale 논문을 소개해 주셨습니다. Open-Domain Question Answering task는 질문, 외부 문서, context 내 존재하는 연속된 토큰(span)으로 데이터를 구성하고 있습니다. DenSPI에서는 문서에서 정답에 해당되는 span을 찾기 위해 시작 토큰과 끝 토큰을 찾고 직접 정답 span을 retrieval하는 구조를 제안하고 있으며, 구체적으로는 question representation과 가장 가까운 passage representation을 탐색하고 있습니다. train할 때에는 MRC task를 이용하여 진행하고 있으며 1개의 passage에 대해 다양한 question augmentation을 적용하여 이용하고 있습니다. 이후에 해당 task로 학습한 SpanBERT 모델에 대해서는 distillation을 진행하게 됩니다. 추가적으로 문서를 encoding하여 indexing을 하는 과정을 통해 retrieval 속도를 빠르게 하고 있습니다. 이러한 indexing을 진행한 이후에는 passage encoder에 대한 학습이 불가능하기 때문에 question encoder를 추가적으로 활용하여 학습을 진행하고 있습니다. retrieval을 하는 수식 부분에서 각각의 파라미터값들에 대한 설명을 상세히 서술해 주시고 그림을 통해 표현해주셔서 이해에 많은 도움이 되었습니다. 실험 장표에서 있어서는 단순히 성능만을 리포팅하지 않고, 저장공간, inference 속도까지 함께 다룬 점이 인상적이었습니다. 직접 다시 그린 그림들과 예시에서 공을 많이 들였다는 점을 확인할 수 있었고, 발표 자료도 짜임새 있게 구성하신 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 "Learning Dense Representations of Phrases at Scale"라는 논문에 대해 다루어주셨습니다. 해당 논문은 Open Domain Question Answering (ODQA)에 관련된 방법론을 제안하였습니다. ODQA는 외부 문서의 context로부터 question에 대한 답변을 retrieval하는 문제로 question representation의 정답에 해당하는 passage를 추출하는 것이 핵심입니다. 이번 세미나를 통해서 기존에 제안되었던 방법론들이 inference 관점에서 한계점이 존재한다는 것을 알게 되었습니다. retrieve-and read, retreive-and-generate 방식 모두 2번의 forwarding 과정이 필요하기 때문에 inference latency를 야기하는 문제점이 있었습니다. 따라서 본 논문에서는 정답 span으로부터 시작 토큰과 끝 토큰을 찾는 것으로 이를 해결하였습니다. 특히 효율적인 학습을 위하여 in-batch negative라는 방법론을 활용한 부분이 인상 깊었습니다. 좋은 발표 감사드립니다.

이번 세미나는 Learning Dense Representations of Phrases at Scale를 주제로 진행되었습니다. 본 세미나는 open-domain question answering을 주제로 DensePhrases라는 방법론에 대해서 설명해주셨습니다. DensePhrases는 문서 안에서 정답 span의 시작 위치와 끝 위치를 찾는 문제로 접근하고 있으며, 두 개의 representation을 통해서 start, end token을 탐색하고자 하였습니다. 학습 시에는 MRC task와 In-Batch negative를 결합하였습니다. 해당 방법론이 학습도 간단하면서 빠른 inference 속도, 적은 메모리 사용량을 갖는 점이 인상 깊었습니다. 전반적으로 발표 및 내용이 훌륭하였습니다. 좋은 발표 감사합니다.

금일 세미나는 Learning Dense Representations of Phrases at Scale 논문에 대하여 소개해주셨습니다. 해당 논문에서 제안하는 DensePhrases는 open-domain question answering (ODQA) 에서 제안하는 여러 retrival-and-something이 아닌 바로 정답 span에 대하여 retrieval하는 학습 방식을 가지고 있습니다. 해당 모델은 이전 DenSPI와 유사한 점을 가지고 있지만 하나의 question에 대하여 start token과 end token에 대한 각각의 representation을 분리하였다는 차이점이 있습니다. ODQA는 대량의 문서를 retrieval 하는 과정이 필요하기 때문에 DensePhrase는 사전에 미리 embedding을 추출하여 indexing을 저장한 상태로 진행하여 더빠른 latency를 가지는 장점이 있습니다. 이전 DenSPI 논문을 읽었을 때 이와 유사한 장점으로 인해 인상깊게 보았었는데 금일 후속 논문에 대하여 들을 수 있어서 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 발표자 분의 지난 세미나에 이어서 크게 Retrieval을 주제로 Learning Dense Representations of Phrases at Scale 논문을 소개해주셨습니다. retrieval이란 대량의 외부 문서 중 query와 유사한 문서를 representation 공간 상에서 거리를 기반으로 탐색하는 방식을 일컫습니다. 주로 질문과 연결된 passage가 주어지지 않은 open domain question answering에 쓰이는 기법으로 question representation과 가장 가까운 passage representation을 찾는 것을 주 목적으로 합니다. 보통 question과 유사한 passage를 retrieve하고 나면 해당 passage에서 정답 span을 찾는 것이 일반적인 프레임워크입니다. 최근 해당 분야에서 모든 passage를 입력으로 받아 정답을 생성하는 연구들도 큰 주목을 받고 있습니다. 금일 소개해주신 논문의 경우 대량의 문서에서 직접 정답 span을 retrieval하는 DenSPI 선행연구의 뒤를 이어 DenPhrases라는 방법론을 제안하고 있습니다. 정답 span이 위치한 문서에서 span의 시작/끝 위치를 찾는 것을 목적으로 하며 DenSPI의 경우 [CLS] 토큰의 representation 벡터를 분할하여 각각 start, end representation으로 사용하는 반면, DenPhrases는 별도의 spanBERT 모델을 사용하여 [CLS] representation을 start와 end rep로 사용한다는 특징이 있습니다. 사실 질문과 정답의 representation을 오직 start와 end representation만으로 나타내는 방식이 충분히 잘 작동할 수 있는 이유에 대해 아직 직관적으로 와닿지는 않으나 비교적 효율적인 inference를 수행하며 높은 성능을 기록한 점에서 흥미롭게 들을 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에선 Learning Dense Representations of Phrases at Scale 라는 연구가 소개되었습니다. 논문은 Open-Domain Question-Answering(ODQA) task를 다루고 있으며 Answer Span의 위치를 직접 retrieval 한다는 점이 특징입니다. 세미나 전반에 설명해주신 것처럼 이전 연구들은 retrieval 방식이나 그 이후의 generation 과정을 변형, 개선한 반면 본 연구에서 제안한 DensePhrases는 직접 정답 span의 start, end 를 찾는 방식을 사용하여 높은 inference 속도 및 EM score를 기록할 수 있었다고 합니다. 본 연구는 ODQA의 일반적인 구조에서 벗어난 방향을 제시했다는 점과 이전과 이후 연구로 언급해주신 DenSPI, NPN 등과도 연결되기에 발표 이후 많이 인용되고 있는 것 같습니다. 좋은 세미나 발표 감사합니다.

금일 세미나는 Open-Domain Question Answering task에 활용되는 다양한 프레임 워크, Retrieve-and-Read 구조와 Retrieve-and-Generate 구조에 대한 설명과 Learning Dense Representations of Phrases at Scale 논문으로 진행되었습니다. Learning Dense Representations of Phrases at Scale 논문에서 제안된 DensePhrases 방법론은 dense representation만을 이용해 효과적인 phrase retrieval 구조를 제안한 논문으로 MRC task와 in-batch negative를 결합하여 간단하면서도 Question Answering 외에 Slot Filling 등 다양한 태스크로 확장 가능하다는 점이 큰 contribution인 논문인 것 같습니다. 논문으로만 보면 이해가 어려울 수 있는 부분을 그림으로 함께 나타내주셔서 비교적 이해가 수월했던 것 같습니다. 감사합니다.