이번 세미나는 Open Domain Question Answering(ODQA) 및 Knowledge Intensive Task(KIT)을 주제로 진행되었습니다. 이는 발표자분께서 말씀해주신대로 ‘질문이 주어졌을 때 Knowledge base에서 Retriever가 불러온 관련된 passage에서 Reader가 답을 추론하는 태스크’입니다. 일반적으로 질문과 관련된 passage를 찾는 retriever 그 중 답이 될 수 있는 후보를 찾는 Reader, 그리고 passage와 질문을 입력으로하여 답을 생성하는 Generator의 역할을 하는 모델로 구성되어 태스크가 진행됩니다. 발표자분의 설명을 들으며 Reader와 Generator를 기능적인 면에서 통합할 수 있지 않을까 하는 생각이 들었는데 마침 소개해주신 방법론에서 이를 적용하여 Retriever-Generator로 구성된 프레임워크를 제안하였습니다. 언어모델에 대한 근본적인 이해가 필요하며 이에 따라 Encoder, Decoder의 역할을 할 수 있는 적절한 언어모델을 찾는 것이 중요한 점을 비롯하여 Text-to-Text의 구조를 이용하는 점 등에서 KIT가 마치 자연어처리 과업의 집합체 같은 느낌을 받았습니다. 흥미로우며 앞으로 자연어처리 발전에 중요한 연구 분야인 것 같습니다. 상세하고 쉬운 설명 덕분에 발표를 재미있게 들었습니다. 감사합니다!

이번 세미나는 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" 논문에 대한 소개를 해주셨습니다. 이번 세미나에서는 발표자분께서 open domain question answering (ODQA)와 knowledge intensive task(KIT)에 대한 흐름을 배경으로 얘기해주셔서 이후 소개할 RAG에 대한 이해가 수월했습니다. ODQA는 REALM 부터 reader를 generator로 변경하여 반드시 passage안에 정답이 존재해야하는 span prediction이 아닌 passage에 정답이 존재하지 않아도 답변을 생성할 수 있는 answer generation task로 바뀌었습니다. 이번 RAG에서 인상 깊었던 점은 생성 방식을 두 가지로 RAG-Sequence 와 RAG-token 를 제안하였습니다. 이 중 RAG-Sequence는 모든 생성한 token들을 marginalize하여 최종 답변을 생성하는 방식이었는데 처음 알게된 방법이라 새로웠습니다. 오늘도 좋은 발표 감사합니다.

이번 세미나에선 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(RAG) 라는 연구에 대해 소개되었습니다. RAG는 Knowledge-Intensive Task(KIT)를 수행할 때 retrieval -> generation의 방식을 사용하며 모델은 Retriever, Generator로 구성됩니다. Retriever은 주어진 question과 관련된 문장을 검색하고 Generator는 기존 연구들에서 Passage 내의 정답 후보를 검색하던 Reader를 Answer Generation 목적에 맞게 변형한 형태입니다. 이는 단순 prediction task 만으로 적절한 답을 생성하기 어렵다는 점을 잘 보완한 아이디어라 생각되고 이러한 Retriever-Generator 구조는 RAG 이후 연구인 Fid-Distill, Atlas에서도 사용되게 됩니다. RAG는 Open-Domain Question Answering(ODQA)를 Knowledge Intensive Task로 확장한 연구라는 데에 의미가 있다는 점을 세미나 초반에 이전, 이후 연구와의 비교를 통해 잘 정리해주셔서 이 후 내용을 이해하는 데에 많은 도움이 되었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나에서 소개된 논문은 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks입니다. 우선 background에서 ODQA와 KIT에 대한 개념 설명이 자세해서 유익했습니다. 본 논문에서 제안하는 RAG 모델은 End-to-end 로 학습 가능한 모델이며 reader 대신 generator를 사용하여 task를 수행했습니다. 특히 RAG-Sequence, RAG-Token 모델을 제안하는데, BART 모델을 기반으로 외부 지식을 사용하여 직접적인 디코딩이 가능하도록 설계하였습니다. 제안 방법론이 설득력이 있고 직관적이어서 흥미로웠던 것 같고, 특히 시각화 부분에서 해석력을 제공할 수 있다는 점이 신기했습니다. 첫 발표임에도 발표자료가 정리가 잘 되어있고 설명과 잘 맞게 구성되어 있어 발표 흐름을 잘 따라갈 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (RAG)에 대해 살펴보았습니다. 해당 연구를 이해하기 위해 필요한 Knowledge-Intensive Task (KIT)와 Open-Domain Question Answering (ODQA)에 대해서도 알 수 있었습니다. 최근 연구들에서 reader를 generator로 대체하여 보다 유연한 대처가 가능하다는 것이 재밌었습니다. 본 연구에서도 retrieval 후에 answer generation을 진행하게 되는데 제안 하는 방법론들이 직관적이라 좋았습니다. 발표 자료 구성이 좋았고, 발표자가 해당 분야에 대해 어떤 생각을 가지고 있는지 알 수 있는 시간이었습니다.

이번 세미나는 Retrieval-augmented generation for knowledge-intensive NLP Tasks 논문을 바탕으로 진행되었습니다. 해당 논문은 RAG를 통하여 Knowledge-intensive task를 generation으로 해결한 최초의 논문으로 이후 같은 계열에서 탄생한 다양한 Framework들의 뿌리가 되고 있기에 더욱더 의미가 있는 논문이었습니다. RAG에서는 Knowledge intensive task(KIT)를 가장 중점적으로 다루고 있고, 더불어 이를 연결 짓기 위해 ODQA task를 사용하고 있습니다. 먼저 ODQA task는 특정 질문이 들어오면, 이와 관련된 passage를 Knowledge base(여기서는 위키피디아)로부터 Retriever가 실제 질문에 대한 답을 찾아와 만들게 되고, 이를 통해 Answer를 만들어 냅니다. KIT 중 Fact checking 같은 경우에는 주어진 질문인 Query가 사실인지 아닌지를 판단하게 되는데, 이때 해당 Query에 관한 정보가 담겨있는 Knowledge base를 직접 Retriever가 가져와 passage로 사용한 후 이에 맞는 Answer를 도출합니다. 이때 KIT는 QDQA와는 다르게 Passage 내에 Answer 토큰이 존재하지 않는다는 차이점이 존재합니다. RAG는 기존 다른 모델들이 Retriever-Reader 구조로 이루어져 ODQA task만 해결할 수 있었던 문제에서 벗어나, 처음으로 Retriever-Generator 구조를 사용하여 KIT task까지 해결할 수 있게 된 모델입니다. 해당 모델의 진행 과정은 먼저 반복적으로 사용되는 Query 인코더와 Passage 인코더를 사용하여 Representation을 뽑아낸 후, 이 Representation 과 가장 유사한 Passage들을 찾아내어 이를 기존 Query(Question)와 Concatenation 하여 해당 모델의 핵심이라고 할 수 있는 Generator에 Input으로 사용하게 됩니다. 이후 Generator를 통해 각 집합에 대한 Vocab distribution을 생성하고, 이를 문장으로 만들기 위하여 Rag-Sequence, Rag-Token을 통해 최종 Output을 산출하게 됩니다. 기존에 NLP에 대한 지식이 부족했지만 하나하나 예시를 들어주며 시각화 자료까지 제공해주시면서 명확하게 이해시켜 주셨고, RAG라는 방법론의 Background 과정을 천천히 설명해 주셔서 최종적으로 RAG 모델의 의의가 무엇인지 정확하게 이해할 수 있었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 Retrieval-augmented generation for knowledge-intensive NLP Tasks라는 논문을 다루었습니다. 발표 초반에 ODQA에서 KIT로 이어지는 흐름에 있던 논문들의 내용을 잘 요약해서 설명해주셔서 Taks에 대해 수월하게 이해할 수 있었습니다. 이 흐름의 분기점에 있는 논문이 RAG였는데, 이를 기반으로 Retrieval-Augmented LM이 발전하기 시작했다는 것을 알 수 있었습니다. 최근 LM들이 점점 더 커지면서 모델들이 지식들을 이미 알고 있고 생성할 수 있다는 의견들이 많은데 LM을 사용해서 Reader대신 Generator를 사용한 것은 이 의견과 일치한다는 생각이 들었습니다. 어려운 내용들이 많고 다루는 논문들도 많은 세미나였는데 흐름과 핵심을 잘 정리해서 자료를 구성한 것이 좋았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 ODQA 태스크에서 기존에는 리트리버 + 리더 형태였던 것을 리트리버 + 생성모델로 접근 한 Retrieval-Augmented Generation for Knowledge-intensive NLP Tasks 에 대해 세미나를 진행 해 주셨습니다. ODQA 태스크에서 기존에는 Question에 대한 passage를 리트리버를 통해 검색하게 되고 리더를 통해 답을 찾는 방식을 사용했습니다. 하지만 해당 논문에서 제안한 LAG를 통해 리더 대신 생성 모델로써 접근을 하게 되었고 이를 계기로 그 뒤에 생성 모델로써 접근한 모델들이 제안 되었습니다. 기존에는 패시지로 부터 원하는 답을 뽑는 형태라면 생성 모델은 지식을 저장하고 질문에 맞는 답을 찾아 생성하는 과정입니다. 이러한 구조만 생각을 해 봤을 때 지식들을 저장하기 위한 많은 파라미터가 요구되지 않을까 라는 생각이 드며 그 만큼 학습이 어려울 것이라 생각이 듭니다. 동일한 태스크, 동일한 문제(ODQA)에 다른 방식으로 접근하여 풀어 냈다는 것이 인상적이었습니다. ODQA 태스크를 이해하기 위한 리트리버, 리더, 생성 모델 개념 그리고 데이터 관점에서의 Q,A,P 설명을 잘해주셔서 더 잘 이해할 수 있었습니다.

이번 세미나에서는 Retrieval-augmented generation for knowledge-intensive NLP Tasks라는 논문을 다루었습니다. background에서 ODQA와 KIT에 처음 보는 사람도 알기 쉽게 설명 잘 해주어서 따라가기 좋았습니다. 최근 연구흐름을 잘 반영한 논문들 인 것같고, 휴리스틱한 부분들이 많이 변화하고 있는것을 확인 할 수 있었습니다. Knowledge를 직접적으로 디코딩 시 이용할 수 있는 방법론 제시 하고, knoledge base 언어모델을 사용하는 외부정보를 추가로 사용하는 것 또한 흥미로운 방법론입니다. 감사합니다.

본 세미나에서는 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks에 대한 리뷰를 진행하였습니다. 최근 주목 받고 있는 연구 중에 하나인 Retriever를 사용한 논문으로 retriver를 generator와 연결한 최초의 논문입니다. 본 방법론은 ODQA task를 위해 제안된 방법론 입니다. ODQA란 open-domain question answering의 약자로 외부 도메인의 질문에 대한 답변을 하는 task를 의미합니다. 따라서 model이 많은 knowledge를 포함하고 있어야 질문에 대한 답변을 할 수 있습니다. 그러므로 model에 knowledge를 주입하는 과정이 필요하고 이를 retriever를 활용하여 진행합니다. Retriever를 사용하였기 때문에 기존 reader를 사용한 방식과는 다르게 end-to-end 학습이 가능한 것이 장점입니다. 발표의 구성이 ODQA와 KIT에 대한 흐름을 잘 담고 있어서 내용에 대한 history를 이해할 수 있습니다. 어떤 문제가 있었고 이를 어떤 방식으로 해결해나가며 모델이 발전했는지를 알 수 있었어서 내용에 대한 풍부한 이해를 할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" 논문에 대해 소개해 주셨습니다. 해당 연구에서 제안한 방법론인 RAG는 Open-Domain QA에서 Passage에 Answer Span이 어디 있는지 예측하는 Span Prediction을 수행하는 Reader가 아닌, Answer를 Generation 해내는 Generator를 처음 사용한 모델입니다. RAG 이전의 모델들이 반환하는 Answer는 Passage 안에서 선택해야 한다는 한계가 있었으나, 발표자분께서 소개해 주신 RAG는 Answer를 선택하는 것이 아니라 생성해낼 수 있어서 Retrieve된 문서에 존재하지 않는 Answer도 생성해 내기까지 했습니다. Passage 안에 존재하지 않는 Answer를 생성해낼 수 있는 배경은 LLM이 이미 Knowledge를 가지고 있다는 것을 전제로 하고 있는데, 이 내용은 이전에 연구실 내 스터디를 통해 읽게 되었던 논문인 "Language Models as Knowledge Bases?"라는 연구의 결론을 기반으로 하고 있다고 느껴졌습니다. 해당 논문의 저자 중에 이번 세미나에서 소개한 논문의 1저자가 계신 것을 보고, 자신이 이전에 했던 연구의 결론을 바탕으로 ODQA라는 Task에 잘 접목시켜 새로운 방법론을 만들어냈다는 생각이 들었습니다. Background에서 ODQA 및 Knowledge Intensive Task에 대해 쉽게 설명해 주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks논문을 소개해 주셨습니다. 본논문에서 제안 한 RAG는 Knowledge Intensive Task(KIT)를 해결하는데에 있어 Retriever-based 방식과 Generator-based 방식을 적절히 함께 사용하는 방식을 처음으로 제안한 프레임 워크입니다. 기본적으로 우선 외부의 Knowledge base로부터 input과 관련된 문서를 Retrieval하고, 그로부터 절절한 생성을 수행하는 과정을 거칩니다. 특히 본 방법론이 상당히 많은 양의 knowledge를 필요로하는 ODQA task를 풀기위해 제안된 것이기 때문에 외부 knowledge base를 활용하는 것이 필요했고, 그 지식을 활용하여 보다 자유도 높은 답을 생성하기 위해 Generator를 사용하게 됩니다. RAG 프레임 워크를 활용하는 다른 논문들을 읽어본 적은 있었으나, 처음으로 프레임워크를 제안한 본 논문을 읽어 본 적이 없었는데 이번 발표를 통해 RAG 프레임워크를 더욱 깊이 이해할 수 있었습니다. 또 발표자께서 Background로 ODQA 와 KIT에 대한 개념을 잘 정리해 주셔서 각 내용들을 정확히 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Knowledge Intensive Task를 주제로 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문을 소개해주셨습니다. 최근 이유경 박사과정의 세미나에서 다뤄졌던 Retrieval augmented LM인 Atlas의 선행 연구로 자리하고 있는 논문으로, 두 발표 모두 훌륭한 세미나 구성으로 retrieval 관련 연구에 대해 알아갈 수 있는 좋은 시간이었습니다. KIT 소개에 앞서 Open Domain Question Answering에서부터 이어져 오는 흐름을 쭉 소개해주셨습니다. 개인적으로 Large language model과 Knowledge base 기반 retriever의 개념을 통합하여 RAG와 같은 Knowledge Intensive Task 연구들이 발전되어 온 흐름이 인상 깊었습니다. 발표자분께서 평소에 RAG가 가진 잠재력과 가능성에 대해 자주 어필하시곤 했는데, 이와 관련하여 어떤 연구 스케치를 하고 계신지 대략적으로 들을 수 있어 더욱 흥미로웠던 것 같습니다. Text-to-Text 프레임워크에 knowledge base가 결합된다면 언어모델이 발휘할 수 있는 능력이 극대화될 것이라는 기대감도 들었습니다. 수식에 대해서도 꼼꼼하게 짚어주신 점이 좋았고, 첫 발표라는 점이 믿기지 않을 정도로 매끄러운 세미나였습니다. 고생 많으셨습니다.

이번 세미나에서는 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문을 다루어 주셨습니다. 해당 논문에서는 retriever와 generator를 결합하는 방법론을 제시하고 있으며 retriever에 대해 end-to-end로 학습을 진행하여 성능을 개선하고자 하고 있습니다. 제안하고 있는 RAG는 input sequence를 이용하여 text passage를 검색하고 target sequence를 생성하는 모델로 볼 수 있습니다. 해당 논문에서는 생성된 텍스트에 대한 분포를 생성하기 위해 latent document를 aggregation(marginalize)하는 방식이 다른 두가지 모델을 제안하는데 첫째로는 RAG-Sequence로 모델에서 동일한 문서를 사용하여 각 target token을 예측하고자 하는 것이고, 둘째는 RAG-token으로 모델이 다른 문서를 기반으로 각 target token을 예측하고자 하는 것입니다. RAG에서는 BART를 Generator로 이용하여 다양성을 확보하고 hallucination을 적게 하고 있습니다. Background에서 ODQA(Open-Domain Question Answering)부터 KIT(Knowledge Intensive Task)까지 어떻게 흐름이 이어져 왔는지 잘 짚어주셔서 RAG가 ODQA에서 KIT로 어떻게 확장했는지 잘 이해할 수 있었습니다. 첫번째 세미나 발표 수고하셨습니다!

이번 세미나는 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks를 주제로 진행되었습니다. 본 논문 설명에 앞서 ODQA와 KIT에 대해서 자세히 설명해주시고 이전 논문들에 대해 간략하면서도 자세히 설명해주셔서 연구 흐름을 따라 가기 수월하였습니다. 본 논문에서 제안하는 RAG 모델은 기존의 REALM 모델에서 reader를 generator로 변경하였으며 QA task 외에도 다양한 생성 기반 태스크를 수행할 수 있다는 장점이 있습니다. RAG는 외부 지식을 사용하며 knowledge를 직접적으로 디코딩 시 이용하는 방법론 또한 제시하였습니다. KIT에 대해서 더 자세히 알게되는 시간이 되었던 것 같습니다. 첫 발표임에도 굉장히 훌륭하였습니다. 좋은 발표 감사합니다.

금일 세미나는 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"라는 주제로 진행되었습니다. 본 발표에서는 처음으로 retrieval을 활용하여 knowledge intensive task와 같은 다양한 NLP task를 해결한 Retrieval-Augmented Generation 방법론이 소개되었습니다. RAG 모델은 Open-Domain Question Answering 모델인 REALM의 구조에서 Reader를 Generator로 변경한 모델 구조로 Retriever와 Generator를 결합하여 answer generation task로 문제를 정의함으로써 question answering 외 다양한 생성 기반 task의 수행이 가능하게 하였습니다. 개인적으로 NLP 관련 논문을 따로 follow up하고 있지는 않기 때문에 Open-Domain Question Answering에서 최근 Knowledge Intensive Task까지의 연구의 흐름을 흥미롭게 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 NuerIPS 2020에 억셉된 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (이하 RAG) 논문으로 진행되었습니다. 해당 논문은 기존 ODQA task에서 일반적으로 사용되던 Retriever-and-Read 구조를 벗어나 Retrieve-and-Generate 구조를 처음 제시한 논문인데, 사실 context에서 정답에 해당하는 span을 찾아내는 Retriever-and-Read 구조는 답변의 다양성에 한계가 있다는 너무 명확한 한계가 존재하기 때문에 Retrieve 과정에 생성 모델을 결합하게 된 것은 당연한 흐름이었다고 생각합니다. 전반적인 모델 구조는 Retriever로 DPR, Generator로 BART를 활용한 구조이며, BART의 input은 DPR로부터 반환된 Top-k Passage를 Query와 concat하는 직관적인 방식으로 구성했습니다. BART가 정답을 생성해내는 방식을 2가지로 진행했는데 각 passage마다 별개로 토큰을 생성하고 최종 생성된 결과를 시점 단위로 Marginalize하는 방식과, 토큰을 하나씩 생성할 때마다 passage별 분포로 Marginalize하는 방식을 사용했습니다. 실험 결과를 보면 2가지의 방식이 각자 성능이 더 높게 나오는 데이터셋이 다른데 해당 결과에 특정 패턴이 있는지 궁금증이 들었습니다. 평소 흥미롭게 보던 분야의 논문 세미나기도 하고, 배경부터 자세히 설명해주셔서 유익하게 들을 수 있었던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" 논문에 대해 발표해주셨습니다. 생소한 주제로 다소 이해가 난해할 수 있었는데 발표 초반에 ODQA와 KIT에 대해 구체적으로 설명해주셔서 이후 발표를 따라가기 수월하였습니다. RAG 모델이 reader를 generator로 구조로 변경함으로써 정답이 존재하지 않을 경우에도 답변을 생성할 수 있는 구조를 설계한 점이 흥미로웠고, 이 밖에 다양한 task에도 유연하게 대응할 수 있다는 점이 큰 장점이라고 생각 되었습니다. 전체적인 방법론이 직관적인 논리 구조를 가지고 있는 점도 높게 평가할만한 부분이라고 생각되었습니다. 마지막으로 실험 결과 부분에서도 제안한 방법론의 효과를 잘 검증했다는 생각이 들었습니다. 좋은 발표 감사드립니다.