이번 세미나는 Retrieval된 문서들에 대해 다시 Rerank하여 Generate하는 프레임워크의 학습 방법론을 제안한 Re2G:Retrieve,Rerank,Generate이었습니다. ODQA 등의 문서를 이용한 생성 태스크에서 Retriever을 훈련시키는 것은 상당히 까다로운 작업입니다. 특히 Dense Retriever 모델들이 Out-of-Domain 데이터에 대해 Sparse Retriever 모델에 비해 좋지 못한 일반화 성능을 가진다는 점을 고려하면, Dense Retriever을 학습 데이터에 맞게 새로이 Finetune하는 것이 중요함에도, 생성 시 도움이 되는 문서를 labeling하고 학습하는 것은 RAG에서 제안된 Logit 값 계산 시 retrieval score를 포함하는 방식으로 진행되어오고 있습니다. 하지만 이러한 프레임워크는 ReRanker의 학습 방식에 대한 고려가 부재한 상황에서 해당 논문은 Retriever, ReRanker, Generator 모두 학습하는 방법론을 제안하고 있습니다. 특히, End-to-End 학습 단계에서 ReRanker의 relevance Score를 label로 사용하여 retriever의 query encoder를 학습시키는 방법론을 통하여 ReRanker 사용의 효과를 극대화하고 있습니다. 기존의 FiD-Distill과 같은 방법론이 end-to-end 학습이 불가능하다는 점을 고려하면 훨씬 효과적으로 ReRanker까지 포함하는 방법론을 제안한 점이 흥미로웠습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Sparse Retrieval와 Dense Retrieval을 함께 사용한 Retrieve and Generator 모델인 Re2G에 대해 진행 해주셨습니다. Re2G는 Sparse Retrieval인 BM25와 Dense Retrieval인 DPR을 같이 사용하며, 이를 통해 얻인 Query들을 Reranking 하여 관련된 Passage들을 찾는 것을 목적으로 합니다. Sparse,Dense한 Retrieval을 동시에 사용함으로써 서로가 가지는 장점과 단점을 상호 보완 하며 semantic, lexical information을 잘 반영하도록 하였습니다. 이렇게 생성 된 Passage들을 이용하여 최종 output을 생성하게 됩니다. 학습 과정은 총 4번을 거치게 되며, DPR, Generation, Reranking, End-to-End로 이뤄지게 됩니다. 다만 DPR,Generation,Reranking 까지의 학습 과정은 납득이 되지만 online distillation을 수행하는 End-to-End는 납득이 되지 않았는데, 개인적인 의견으로 서로 각각 학습된 모델들을 최종적으로 align해준 것이 아닌가 라는 생각을 하게 되었습니다. 목적을 달성하기 위해 하나의 모델이 아닌 여러 모델들 그리고 통계적 방법까지 활용하여 프레임워크를 구성한 것이 인상적으로 보이며, 섬세하게 설계했다 라는 느낌을 받을 수 있었습니다. 발표 또한 예시와 그림을 통해 잘 설명해 주셔서 수월하게 이해할 수 있었던 것 같습니다.

이번 세미나에서는 Re2G : Retrieve, Rerank, Generate 논문을 소개해 주셨습니다. 본 논문에서 제안하고 있는 Re2G는 sparse retrieval과 dense retrieval을 함께 이용하여 retrieve와 generate을 하는 방법론인 Re2G 모델을 소개하고 있습니다.이때 sparse retrieval에는 BM25를, dense retrieval에는 DPR을 이용하고 있습니다. 본 방법론을 다루기 앞서 background에서 각각의 모델들에 대한 예시를 많이 들어주셔서 추후 발표 내용을 이해하는데 많은 도움이 되었습니다. Re2G의 또다른 특징 중 하나는 DPR의 retrieval 결과와 BM25의 retrieval 결과를 reranking하여 query와 관련된 passage들을 찾는다는 점입니다. 여기서 reranking은 초기 retrieval 결과로 반환된 값들에 대해 상위 N개의 passage들을 reranker를 활용하여 relevance score와 top-k개의 passage를 반환하며 진행됩니다. BM25는 tf-idf의 발전된 형태라고 볼 수 있으며 query와 document의 연관성을 평가하고 있으며 query와 관련된 문서를 찾기 위해 별도의 모델이나 학습과정이 필요하지 않다는 장점이 있습니다. Re2G의 학습과정은 크게 4개의 step으로 이루어지게 되는데 이는 DPR training, Generation training, Reranking training, End-to-end training으로 구성되어 있으며 target이 gold passage인지 gold label인지에 따라 차이가 있습니다. 이중 3번째 step에 해당되는 reranking training에서는 base model로 BERT를 이용하고 있고, query와 passage의 관계가 긍정인지 부정인지 이진분류하는 task를 진행하게 됩니다. 최종 output token을 생성할 때에는 reranker가 개입하게 되며, query encoder를 같이 학습시키기 위해 teacher model로 reranker를, student model로 query encoder를 이용하는 online knowledge distillation 방법론을 적용하고 있습니다. 여기서 teacher model (reranker)가 학습이 되기 때문에 “online”이라는 표현을 하고 있는 점이 인상적이었습니다. 본 논문에서 다루는 방법론에서 두종류의 retrieval을 사용하고 reranking을 추가적으로 이용하여 아이디어를 발전시킨 점이 인상적이었습니다. 좋은 발표 감사합니다!

금일 세미나에서는 Retrieval 분야에서 높은 성능을 보이는 Re2G: Retrieve, Rerank, Generate 논문에 대한 발표가 이루어졌습니다. 이 논문에서는 Retrieval과 Generation을 위한 Re-Ranking 방법론을 제시하고 있습니다. 기존 Retrieval 방법론의 단점인 Semantic한 정보를 고려하지 못하는 문제를 해결하기 위해 Sparse Retrieval에는 BM25, Dense Retrieval에는 DPR(Dense Passage Retrieval)을 사용하며, 각 Retrieval 방법의 장점을 활용하여 Re-Ranking을 수행합니다. 또한, Retrieval과 Generation 사이에 Reranker를 적용함으로써 Relevance Score가 높은 Passage를 선택하여 Generation 성능을 높일 수 있습니다. 발표자 분께서는 이러한 방법론의 중요성과 함께 학습 단계별로 어떤 정보가 적용되는지, 또한 각 모듈의 역할과 기여도에 대한 내용을 자세히 설명해주셨습니다. 더불어 모델 구성에 대한 질문에도 상세하게 답변해주시면서 이해하기 쉽게 설명해주셨습니다. 이번 세미나를 통해 Retrieval과 Generation을 결합한 방법론에 대한 이해를 더욱 높일 수 있었습니다. 더 나아가, 현재 문제점에 대한 분석과 개선 방향에 대한 아이디어도 함께 공유해주시면서, 해당 분야의 연구에 대한 방향성을 생각해볼 수 있게 도움을 주셨습니다. 정말 유익한 발표였습니다. 감사합니다.

이번 세미나에서는 Re2G: Retrieve, Rerank, Generate라는 논문에 대해 다루었습니다. Re2G는 기존에 많이 사용되는 Retrieval 모델들과는 다르게 Retrieve-and-Generate 방식의 모델입니다. Re2G의 핵심은 dense retrieval 방법론인 dpr과 sparse retrieval 방법론인 BM25의 결과를 활용하여 query와 관련된 passage를 찾고 다시 Reranking을 해서 generator에 태우는 방법론이라는 점입니다. Re2G는 4가지 step으로 모델 학습이 진행됩니다. 먼저 step1에서는 query와 관련 passage들을 retrieve하도록 dpr을 훈련시킵니다. step2에서는 정답을 생성해내는 generator를 학습시킵니다. step3에서는 retrieve된 passage들을 reranking하기 위한 reranker를 학습시킵니다. 마지막 step4에서는 end-to-end로 다시 한번 학습을 시킵니다. 실험 결과를 보면 Re2G의 성능이 이전 baseline들 보다 많은 task에서 상당히 높은 성능을 달성했다는 것을 알 수 있었습니다. 발표자 분의 자세한 설명과 많은 시각 자료를 통해 어려운 내용이지만 확실하게 이해를 할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 "Re2G: Retrieve, Rerank, Generate"라는 논문에 대해 소개해주셨습니다. Retieval 분야는 Sparse Retrieval과 Dense Retrieval이 구분되는데 해당 논문에서 제안한 방법론은 두 가지를 함께 사용하여 Retrieve-and-Generate 모델을 제안하였습니다. Re2G는 DPR과 BM25의 retrieval 결과를 reranking하여 query와 관련된 passage들을 찾는 구조를 제안하였는데 이를 위해 retrieve, reranker, generator로 구성되 세가지 모듈을 활용하였습니다. 이로 인해 조금 복잡한 모델 구조를 가지고 있었지만 retrieval task에 있어서 성능 향상에 기여할 수 있는 부분이 무엇이 있는지 잘 알 수 있었습니다. 다만 online distillation을 통해 relevance score 분포가 유사하도록 student 모델을 학습하였는데 해당 부분이 유의미한 구조인지에 대해서는 잘 파악할 수 없었습니다. 또한 학습이 너무 여러 번 반복된다는 점이 해당 방법론의 단점이 될 수 있다고 생각하였습니다. 좋은 발표 감사드립니다.

금일 세미나는 "Re2G: Retrieve, Rerank, Generate"라는 주제로 진행되었습니다. 본 발표에서는 Sparse Retrieval와 Dense Retrieval를 함께 사용한 Retrieve-and-Generate 모델인 Re2G가 소개되었습니다. 본 연구에서는 선행 연구에서 밝혀진 처음 Retrieve된 결과를 Reranking하면 성능이 향상된다는 사실에서 영감을 받아 DPR Retrieval 결과와 BM25 Retrieval결과를 Reranking해서 Query와 관련된 Passage들을 찾자는 아이디어를 제안하였습니다. 최종적으로 DPR Training-Generation Training-Reranking Training-End-to-End Training 네 단계로 모델을 학습하여 아이디어를 구체화하였습니다. 개인적으로는 해당 발표는 연구의 아이디어를 도출하는 부분이 매력적이라는 생각이 들었습니다. 선행 연구에서 발견한 사실을 근거로 자신만의 가정을 세우고 이것을 모델로 구현한 과정이 본받을만하다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Re2G: Retrieve, Rerank, Generate 논문을 바탕으로 진행되었습니다. 먼저 해당 논문에서 제시하는 Re2G 모델을 풀어서 쓴다면 Sparse Retrieval과 Dense Retrieval의 장점을 함께 사용하기 위하여 해당 Retrieval의 결과를 Reranking하여 쿼리와 관련된 Passage를 찾자는 것이라고 말할 수 있겠습니다. Pre-trained Language model은 사전학습에 사용된 대용량의 Corpus를 통하여 이미 많은 Knowledge를 가지고 있지만, 이는 현실에 적용하였을 때 시간에 따른 최신 정보를 반영하지 못하므로 최신 정보를 반영하기 위하여 외부 Knowledge를 탐색하자라는 것이 Retreval의 역할이라고 볼 수 있겠습니다. 이러한 Retreval은 크게 Query의 단어가 각 Document에 얼마나 자주 등장하는가를 기반으로 Query와 Document의 연관성을 평가하는 Sparse Retreival와 Query와 Document의 Dense Vector간 유사도를 바탕으로 Query와 Document의 연관성을 평가하는 Dense Retrieval로 나누어지는데, 이 두 Retreval 방법들을 모두 이용하여 각 방법의 장점을 이용하자라는 것이 Re2G입니다. Re2G는 총 4번의 Training 단계를 거치게 됩니다. 먼저 Step1에서는 기존 Dense Passage Retrieval Training과 동일한 방법을 거치고, Step2에서는 Retrieval-Augmented Generation 방법과 동일하게 진행됩니다. 이때, BM25, Reranker를 없다고 가정한 후 Training을 수행하여 Training 데이터의 input Query와 Output pair를 이용하여 Retrieval와 Generator를 함께 Training합니다. 이후 Step3에서는 Reranker를 Training한 후, Step4에서는 RAG의 END TO END train 방식과 Online knowledge distillation 이용하는 것으로 총 4단계의 training을 진행하고 있습니다. 익숙지 않은 분야에 대한 세미나지만, 발표자료를 자세하게 구성해주시고, 설명도 꼼꼼하게 해주셨기에 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 Re2G: Retrieve, Rerank, Generate 논문을 소개해 주셨습니다. 발표자께서는 지속적으로 Retrieve에 관련된 논문들을 소개해 주시고 계신데, 이번 방법론 Re2G는 이전에 설명해 주셨던 Sparse Retrieval와 Dense Retrieval를 함께 활용한 방식입니다. BM25로 대표되는 Sparse Retrieval는 Query와 Document에 함께 등장하는 단어의 빈도를 기준으로 문서를 찾아내는 방식으로, 빠르고 학습이 필요하지 않으나, semantic한 연관성 반영 불가합니다. 반면 DPR로 대표되는 Dense Passage Retrieval는 Query와 Document의 CLS embedding 간의 DotProduct를 RelevanceScore로 사용하고 In-batch Negatives를 통해 학습하기 때문에 semantic한 연관성을 반영하게 됩니다. 그러나 Out of Domain 데이터에 대해서는 Sparse Retrieval가 DenseRetriever 보다 높은 성능을 내는 등 장단점이 존재합니다. Re2G는 Retrieve, Rerank, Generate 과정을 통해 이 두 장점을 함께 사용하고자 하였습니다. 최근 하나의 task에 대한 서로 다른 접근을 함께 활용하는 시도가 많은 것 같습니다. 공부를 하다보면, 본인의 마음에 더 맞는 접근법에 매몰되기 쉬운데, 항상 모든 분야에 열린 태도로 받아들이는 것이 중요할 것 같습니다. 항상 좋은 발표 감사합니다.

본 세미나는 Re2G: Retrieve, Rerank, Generate 라는 주제의 논문에 대한 리뷰를 진행하였습니다. 해당 논문에서 제안하는 구조인 Re2G는 Dense retriever인 DPR Retrieval 결과와 Sparse retriever인 BM25의 Retrieval 결과를 Reranking해서 Query와 관련된 Passage들을 찾는 구조를 통해 학습을 진행합니다. 이는 Sparse retriver의 장점인 Query와 관련된 Document를 찾기 위한 별도의 Model 및 Training과정이 필요하지 않다는 점, 빠른 연산 속도, OOD 데이터에 대한 높은 성능과 Dense retriever의 장점인 이음동의어를 비롯한 단어/문장의 의미가 반영 가능하다는 부분을 모두 취하기 위해서 였습니다. 해당 구조를 통해 다섯가지 KILT Dataset에서 SOTA를 달성하였습니다. 기존의 Sparse retriever와 Dense retriever를 reranking 이라는 아이디어를 통해 통합한 것이 인상적이었습니다. Background로 Sparse retriever와 Dense retriever에 대한 자세한 설명이 있어 세미나를 이해하는데 큰 도움이 되었습니다. 좋은 발표 감사합니다.

금일 세미나 에서는 Re2G: Retrieve, Rerank, Generate 논문을 주제로 진행되었습니다. 논문은 sparse retrieval 와 dense retrieval 를 함께 사용한 generate 모델을 의미하며, 방법론은 DPR 결과와 BM25 의 결과를 Reranking 해서 쿼리와 관련된 passage 들을 찾는 Re2G 를 설명합니다. 전통적인 키워드 기반의 Sparse Retrieval 와 Dense Retrieval 을 함께 활용하는 Retrieval 방법을 제안하고 새로운 KD 방법을 제안합니다. 논문의 내용을 예시와 함께 순차적으로 설명을 잘 해주어서 이해하기 편했습니다. 감사합니다.

이번 세미나는 sparse retrieval과 dense retrieval을 함께 사용한 retrieve-and-generate 모델인 Re2G: Retrieve, Rerank, Generate에 관해 설명해주셨습니다. Re2G는 sparse 모델로 BM25를 사용하고 dense 모델로 DPR을 사용하여, 두 모델의 결과를 reranking하는 방법을 바탕으로 query와 관련된 passage를 찾는 모델입니다. retrieve 결과로 확인한 top-k passages를 다시 각각의 query와 passage로 input data를 구성하여 reranker를 학습하고, 이를 reranking 하는 것으로 훨씬 우수한 결과를 도출할 수 있었습니다. 기존 retrieval의 강력한 두 모델을 혼합 사용하는 것 뿐만 아니라, reranking이라는 새로운 아이디어를 접목하여 더 발전된 모델을 만들어내었다는 점이 흥미로웠습니다. NLP에 관심을 갖고 있는 만큼, retrieval에 대해 공부해볼 수 있는 유익한 시간이었습니다. 발표 자료 구성이 발표자님의 설명을 잘 뒷받침할 수 있게 구성되어 있어서 더욱이 이해가 잘 되는 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에선 Re2G: Retrieve, Rerank, Generate 라는 논문에 대해 소개되었습니다. Re2G는 Retrieve, Generate, Rerank 순으로 Retriever를 학습할 수 있는 구조를 제안하며 마지막엔 End-to-End 학습까지 총 4 단계의 학습으로 구성됩니다. Retrieval를 학습하는 기존의 연구들과는 달리 Sparse Retrieval, Dense Retrieval을 함께 사용하는 방법론을 제안한 점에서 의의가 있고 두 가지의 Retrieval 결과를 결합하는 Rerank 과정이 논문의 핵심 아이디어라 생각됩니다. 마지막의 End-to-End 학습에는 Reranker를 teacher, Query Encoder를 student로 하여 Online Knowledge Distillation 학습 방식을 사용하는데, 여러 아이디어를 학습 과정 전반에 잘 적용했다는 생각이 들었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 Sparse Retrieval와 Dense Retrieval를 함께 사용한 Retrieve-and-Generate 모델을 제시한 Re2G: Retrieve, Rerank, Generate 논문으로 진행되었습니다. 해당 논문은 이전에 김재희 석박통합과정이 세미나에서 소개해준 RAG 논문처럼 Question Answering task에서 정답을 Extraction하지 않고 Generate하는 방식을 사용하면서도 단순히 Dense Retrieval만을 활용하는 것이 아니라 Spare Retrieval 방법론인 BM25를 함께 활용하는 방법을 제안했습니다. Dense Retrieval과 Sparse Retrieval을 함께 활용하고, Reranking 과정을 추가한다는 아이디어는 비교적 단순한 것 같지만 end-to-end로 학습이 가능하게 하기 위해 추가한 몇가지 장치가 신선했던 논문인 것 같습니다. 다만, Reranking loss 식에서 label 1에 해당하는 logit들만 한번 더 softmax를 태우는 식으로 구성함으로써 어떤 효과를 얻을 수 있는지가 개인적으로 이해가 가지 않는 점이 아쉽습니다. 관심 분야의 논문인데다 배경지식부터 방법론 설명까지 직관적인 figure로 잘 설명해주셔서 발표 내내 흥미롭게 들었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Re2G:Retrieve,Rerank,Generate를 주제로 진행되었습니다. Re2G는 sparse retrievel와 dense retrieval을 함께 사용하여 retrieve된 passage를 기반으로 generation을 수행하는 모델입니다. sparse retrieval은 쿼리의 단어가 문서에 얼마나 자주 등장하는지를, dense retrieval은 쿼리와 문서의 dense vector 간의 유사도를 통해 쿼리와 문서의 연관성을 평가하는 방법입니다. sparse retriever는 빠르다는 것과 ood data에 대해서는 dense retriever보다 성능이 좋다는 장점이 있고, dense retriever는 단어, 문장의 의미 반영이 가능하다는 장점이 있습니다. 두 장점을 살리고자 두 가지 retrieval 결과를 reranking해서 관련 passage를 찾는 방법을 사용하였습니다. 단순 등장 횟수로 유사도를 판단하는 sparse retrieval를 사용하는 것이 당연히 더 안좋을 것으로만 생각해서 같이 사용하는 것이 오히려 역효과가 생기지 않을까 생각했었는데 둘을 같이 사용함으로 인해 성능을 올린 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나는 Retrieval 연구인 Re2G: Retrieve, Rerank, Generate 논문을 주제로 진행되었습니다. 본 논문은 Sparse Retrieval(BM25)와 Dense Retrieval(DPR)을 함께 활용하는 Generative Language Model에 Reranking과정을 추가하여 다섯가지 KILPT 데이터셋에서 기존 연구를 능가하는 성능을 기록하였습니다. 해당 방법론 Re2G는 앞서 김재희 통합과정이 세미나를 통해 소개해주신 RAG 방법론과 상당히 유사한 구조를 가집니다. RAG에서 BM25와 reranking 과정을 추가하여 변형한 버전으로 이해했습니다. 발표자분께서 background부터 상세히 retrieval 관련 연구들의 흐름을 짚어주셨기에 발표를 따라가는데 큰 도움이 되었습니다. Reranking이라는 메커니즘 자체는 ODQA의 초창기 연구에서부터 활용되어온 만큼 적절히 응용하였을 때 대량의 후보군 텍스트에서 검색의 범위를 줄이는데 도움이 될 만한, 가치있는 연구 분야라는 생각이 들었습니다. 발표 장표가 깔끔한 점 역시 인상 깊었습니다. 유익한 세미나 진행해주셔서 감사합니다.

금일 세미나는 Re2G: Retrieve, Rerank, Generate 논문에 대해서 소개해주셨습니다. 이번 논문에서 제안하는 방법은 retrieval and generation 을 위한 방법으로 retrieval 에는 sparse retrieval로는 BM25를 사용하고 dense retrieval로는 DPR을 사용하였습니다. 또한 해당 방법에서 톡특했던 점은 학습 과정에서 각 module 마다 학습 단계가 있다는 점이었습니다. 본 방법에서는 크게 네 단계로 학습 절차가 수행되며 논문을 읽었을 때보다 세미나에서 설명해준게 이해하는데 더 많은 도움이 되었습니다. 각 단계 마다 어떤 부분이 학습에 적용되고 적용되지 않는지 한눈에 보기 편하게 설명해주셔서 좋았습니다. 또한 retrieval 관련 세미나 중에서 Reranker에 대하여 처음 듣게 되어 새롭게 배울 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 Sparse retrieval과 Dense retrieval을 함께 사용한 Re2G: Retrieve, Rerank, Generate 논문을 중심으로 진행되었습니다. 빈도를 기반으로 query와 document의 연관성을 추정하는 BM25 sparse retrieval은 빠른 연산과 out-of-domain 데이터에서 좋은 성능을 보이지만 단어/문장의 semantic을 반영하지 못하는 단점을 가지고 있습니다. 저자는 query와 document의 연관성을 평가할 수 있는 DPR (dense retrieval)와 BM25를 같이 활용함으로써 두 retrieval 방법론의 단점을 상호보완하였습니다. 그 결과, 본 논문의 방법론은 query에 대한 빈도와 semantic이 동시에 고려된 방식으로 passage를 retrieve할 수 있는 장점을 가집니다. 또한, Retrieval 결과를 BERT 기반의 reranker에 입력하여 Top-N개의 passage 중에서도 Top-K개의 Relevance score가 높은 passage를 반환하여 성능의 비약적인 향상을 달성할 수 있었습니다. 두 종류의 retrieval을 사용함으로써 결과적으론 query가 자주 등장하면서 유사한 내용을 가진 passage를 사용할 수 있다는 점이 큰 contribution으로 꼽을 수 있습니다. 발표자 분께서도 지적한 바와 같이, online knowledge Distillation은 모델의 실질적인 성능 향상에 크게 기여하지 못 했지만, 개인적으론 QA Task를 효율적이고 빠르게 수행하기 위해선 점진적으로 발전해 나가야 할 연구이지 않나 생각했습니다. Retrieval에 대한 자세한 예시를 제공해주셔서 관련 방법론을 기초부터 배울 수 있어 매우 유익했습니다. 좋은 발표 감사합니다.

해당 세미나는 홍성희 발표자님께서 "Re2G: Retrieve, Rerank, Generate"라는 논문을 바탕으로 진행되었습니다. 본 논문에서는 Retrieval Task에서 사용되는, RAG model에 BM25와 Reranker가 추가된 점을 중점적으로 소개하고 있습니다. 기존 RAG model은 Retrive된 passage를 기반으로 extraction이 아닌 generation을 수행하는 반면, Re2G는 DPR Retrieval와 BM25 Retrieval 결과를 Reranking하여 Query와 관련된 Passage를 찾고 있습니다. 이는 처음 Retrieval 결과를 다시 Reranking하면 성능이 향상된다는 가정을 가지고 있습니다. Reranking 프로세스는 Bert를 reranker로 사용하여, DPR과 BM25의 결과를 Merge하여 input으로 사용하고 한 개의 passage씩 이진 분류하는 형식으로 training되고 있습니다. 이에 따라 Sparse Retrieval의 장점인 term-based의 장점과 Dense Retrieval의 장점인 Semantic한 정보를 함께 Reranker에 사용한다는 점이 큰 기여점이라고 생각했습니다. 또한 추가적으로 End-to-End training을 적용하고자 online knowledge distillation 방법을 적용한 점이 색다른 접근법이었습니다. 실질적으로 성능은 높이지 못했으나, Retrival Task에서 중요하게 여겨지는 정답을 빨리 찾아오기 위한 유용한 방법이라고 여겨졌습니다. 이를 바탕으로 속도와 효율성을 중요하게 여기는 다른 Task에도 적용할 수 있지 않을까라고 생각하였습니다. 마지막으로 8번의 model update 과정을 효율적으로 줄이는 개선점에 대해서도 생각해볼 수 있는 좋은 논문이었습니다. Task에 대한 설명, 기여점과 향후 개선방향에 대해 상세하게 설명해주셔서 이해하기 쉬웠습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 RAG, REALM에 이어 retrieve-and-generate방법으로 Re2G를 제안합니다. RAG와 달리 sparse retriever를 함께 사용하며, reranker를 포함시켜 성능을 높이고 있습니다. 해당 연구를 통해서 query에서 answer를 바로 구하는 것보다 candidates를 구한 후 reranking을 포함하면 더 정확도를 높일 수 있다는 것을 증명하였습니다. 이 부분을 통해서 큰 문제를 두가지 작은 문제로 나누어 학습시켜 성능을 높였다고 생각이 되었습니다. candidates를 구하는 모듈의 역할과 조금 더 미세하게 ranking을 구하는 모듈의 역할이 다르며, 각 모듈의 성능이 높은 것을 통해 IR task에 대한 성능이 올라갔다고 생각했습니다. 학습 방법으로는 KGI에서 사용한 학습 방식에 추가적으로 reranker training과 knowledge distillation을 이용하여 두번 더 학습하고 있습니다. 다만 해당 학습 방법은 4번의 stage를 거쳐서 전체 파이프라인을 학습 시켜 각 모듈의 학습 횟수를 모두 더하면 총 8번을 학습하게 됩니다. 학습 횟수가 늘어나는 것은 곧 학습 시간이 늘어나는 것과 연관이 있어 학습 횟수 혹은 학습 시간을 줄이는 방법에 대해서 Future Work로 연구할 가치가 있다고 생각했습니다.

이번 세미나에서는 생성(generate) 과업을 수행함에 있어 서로 다른 Retrieval 종류인 Sparse/Dense Retrieval을 활용하는 방법론에 대해서 살펴보았습니다. RAG(Retrieval-Augmented Generation)와 유사한 구조에 더해 별도의 학습 과정을 생략할 수 있는 Sparse Retrieval의 BM25를 활용함으로써 조금 더 풍부한 정보를 입력할 수 있도록 해준 것이 본 방법론의 요지였습니다. 모델의 구조 중 Re-Ranking 부분을 통해 query-passage 관계를 더욱 확실하게 찾을 수 있도록 한 부분이 좋은 아이디어라고 생각이 듭니다. 최근 들어 세미나를 통해 Retrieval에 대한 내용을 접하게 되었는데 앞으로 NLP에서 주축이 될 것이라는 이야기도 있기에 더 늦기 전에 기본부터 follow-up을 할 수 있도록 해야겠습니다. 발표자 분께서 구성 요소를 하나 씩 잘 설명해주신 덕분에 이해하기 수월했습니다. 유익한 발표 감사합니다.

금일 세미나는 Retrieval 분야에서 높은 성능을 달성한 Re2G: Retrieve, Rerank, Generate를 주제로 진행되었습니다. Retreival-Reader를 end2end로 수행하는 RAG와 같이 generator를 사용했으며 Sparse와 Dense retriever를 함께 사용함으로서 lexical, semantic을 모두 고려한 Passage들을 추출하여 reranking에 활용했습니다. 다만 크게 retriever, reranker, generator로 구성되므로 각 모듈을 학습시킨 후 세가지 모듈을 한번에 학습하는 end to end training까지 추가되어 복잡한 구조를 가집니다. online distillation은 reranker를 teacher로, query encoder를 student로 학습되는데 각 모델의 relevance score 분포를 유사하게 만들어 가는것이 목적입니다. 개인적으로는 online distillation의 목적을 논문에서 명확히 제시했으면 제안 구조를 납득할 수 있을 것 같았으나 성능으로 해당 모듈의 필요성을 보여주고 있어 아쉬웠습니다. 최근 연구실 내부 스터디를 통해 retrieval을 다시 공부하는 기회를 가졌었는데, 해당 내용과 논문의 내용을 잘 연결해주셔서 도움이 되었습니다. 세미나마다 발표 퀄리티가 더욱 높아지는 것 같아 앞으로도 기대가 됩니다. 감사합니다.