이번 세미나는 자연어처리 분야에서 Retrieval 관련 기법을 적용하여 주어진 query에 알맞은 텍스트를 생성하는 과업에 대해서 소개되었습니다. FLARE(Forward-Looking Active Retrieval Augmented Generation) 이라는 이름의 방법론으로 예전 세미나에서 다뤘었던 RAG를 직접적으로 활용하고 있음을 이름에서도 알 수 있습니다. 핵심은 RAG를 통해 생성된 문장을 다시 query로 활용하여 계속해서 텍스트를 생성하는 과정으로 진행됩니다. 좀 더 엄밀히는 추가적으로 정보의 retrieving이 필요한가, 어떻게 query를 구성해야하는가 등을 고려하는 방법론이라고 볼 수 있습니다. 모델이 스스로 필요한 정보를 찾아가는 점이 이전 세미나에서 소개된 Toolformer랑 비슷하게 느껴집니다. 이에 해당 세미나의 리뷰에서도 언급한 바와 같이 자연어처리의 지향점은 아마 사람으로 부터 query가 주어지면 그 이후의 process- 정보 탐색, 정보 선택 등-는 모두 자동화가 되도록 하는 것, 더불어 그에 대한 결과물의 질적향상을 이루어내는 것이지 않을까 생각됩니다. 산업공학도로서 자연어처리 분야를 어떻게 대해야할지 고민이 필요한 것 같습니다. 좋은 발표 감사합니다.

금일 세미나 시간에는 이상민 석사과정이 “Active Retrieval Augmented Generation” 논문을 세미나로 진행해 주었습니다. 논문의 제목에서 짐작할 수 있듯이 해당 논문에서는 query로부터 정확한 response를 생성하는 과정에서 계속적으로 active한 방식으로 문장을 하나씩 생성하고 이를 활용하여 재 생성하는 과정을 반복적으로 수행하는 큰 flow를 가지게 된다. 여기서 주목할 점은 문장 생성 과정에서 언제, 무엇을 검색할 지를 능동적으로 결정하고 추가 정보를 동시에 검색하여 forward-looking 문장을 재 생성한다는 점이다. 기존의 방식들은 LM으로부터 생성된 문장을 외부지식으로부터 보완하는 것이 대부분이지만, 이러한 보완을 거치는 방법론들은 한 번만 검색하고 생성하는 과정을 거치지만, 해당 논문에서는 문장을 생성하면서 계속해서 반복적으로 검색을 수행하는 과정을 거쳐 지속적으로 정보를 수집하여 길이가 시나리오가 긴 텍스트 생성에 장점을 가질 것으로 생각합니다. 실제로 실험환경에서도 복잡한 질문들 위주의 4가지 데이터셋을 기준으로 성능을 제시하고 있고, 최근에 발표된 만큼 기존 방법론 대비 SOTA의 성능을 보여주고 있었습니다. 개인적으로 흥미로웠던 건 지난 “Toolformer” 세미나 댓글에 제가 문장 생성을 보완하는 외부 API를 호출하는 과정에서 연속적인 API호출이 가능할지 여부와 그 독립성에 대해서 의문을 제시하는 댓글을 작성하였는데 불과 일주일만에 그것을 가능 하게하는 본 논문의 방법론을 접하게된 점입니다. 세미나 시간을 잘 준비해준 발표자에게 감사의 인사 전하며 후기 마치도록 하겠습니다.

이번 세미나는 "Active Retrieval Augmented Generation" 논문을 주제로 진행됐습니다. 해당 논문은 LLM을 활용하는 과정에서 query에 대한 정확한 knowledge를 기반으로 response의 품질을 높이는 방법론을 제안합니다. 최근에는 주기적으로 최신 정보 corpus로 학습시키기 어려운 최신의 LLM이 생성하는 response의 신뢰도를 극대화 시키기 위해 외부 knowledge과 LLM을 결합하는 연구가 활발하게 진행되고 있습니다. 비슷하게, Flare는 Retriever가 반환한 passage를 generator (LLM)에 함께 입력한 뒤, 지속적으로 정보를 재검색하여 response를 재생성하는 flow를 가집니다. 그 과정에서 모델은 "어떤" 정보를 "언제" 검색할 것인지 판단하게 됩니다. 이 과정을 위해 토큰 단위의 probability를 활용하여 어떠한 정보를 언제 검색할지 판단합니다. FLARE는 다양한 QA task에서 우수한 성능을 달성하였습니다. 현실적으로 LLM을 학습시키기 어려운 여건에서 이와 같이 외부 knowledge를 적극적으로 활용할 수 있는 방법을 보완해가는 것이 향후 관건이지 않을까 생각하였습니다. 친절하고 자세한 설명 덕분에 좋은 내용을 비교적 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Active Retrieval Augmented Generation”이라는 연구에 대해 소개해 주셨습니다. 해당 논문에서는 Long-Text Generation을 위해 Generation 과정에서 언제, 무엇을 Retrieval할 것인지 결정하고 추가 정보를 Retrieve하여 재생성하는 방법론인 FLARE를 제안했습니다. 기존 Retrieval-and-Generate 프레임워크 방법론들은 Sequence Output을 생성하기 위해 외부 Knowledge Base로부터 Query와 관련된 Knowledge를 한 번만 수집합니다. 하지만, Long-text Generation을 위해서는 한 번이 아닌 여러 번의 Retrieval 과정이 필요하기에 Retrieval을 여러 차례 진행한다는 것이 FALRE와 같은 Multi-time Retrieval 방법론의 기본적인 아이디어입니다. QA나 Response Generation의 경우 생성해야할 Sequence의 길이가 Sentence 한 두개 정도로 비교적 짧습니다. 하지만 사람이 논문이나 에세이 등을 작성할 때를 생각해보면 긴 글을 생성하기 위해 수 차례 지속적으로 정보를 수집하는 과정이 필요하기에 직관적으로 Multi-time Retrieval 방법론의 Motivation이 공감되었습니다. FLARE는 Instruct를 활용한 방법론과 LM이 생성할 문장을 이용해 언제 Retrieval을 할지 결정하는 방법론을 함께 제안했습니다. 그동안 ODQA 및 KGD Task만을 접해보며 Retrieval 관련 방법론의 한계점으로 Long-text Generation에 대해서는 생각해보지 못했는데 이번 세미나를 통해 접할 수 있어 유익했습니다. 첫 세미나 발표임에도 불구하고 발표 자료 구성이 좋아 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Active Retrieval Augmented Generation 연구를 주제로 진행되었습니다. 해당 방법에서는 long-form generation task 에 적용할 수 있는 생성과정에서 언제, 무엇을 검색할 지 능동적으로 결정하고 추가 정보를 검색하여 재생성하는 FLARE 방법론을 제안하였습니다. 생성될 문장을 활용하여, 지속적을 정보를 재검색 후 재생성하는 흐름의 도식을 알기쉽게 잘 설명하고 장표정리가 매우 깔끔하여 이해하기 쉬웠습니다. 해당 방법론에서 WHAT / WHEN 에 대한 검색할 것인지 판단하는데, 이 과정을 위해 토큰 단위의 probability를 활용하여 어떤 것을 재 검색할지 수행합니다. 첫 발표임에도 매우 상세하게 논문에대한 이해와 내용의 구성이 좋았던것 같습니다.

이번 세미나는 "Active Retrieval Augmented Generation" 논문에 대해 소개해주셨습니다. 해당 방법은 long-text generation을 위해 한번에 긴 답변을 생성하는 것이 아닌 일부 생성한 답변을 다시 입력으로 사용하여 retrieval을 수행한 후 generation을 이어가는 Forward-Looking Active Retrieval Augmented Generation(FLARE) 방법을 제안하였습니다. 최근 기존 모델을 반복적으로 사용하여 결과에 대한 성능을 높이는 연구도 조금씩 나타나는 것 같습니다. 최근에는 현실적인 측면에서 API로만 사용가능한 LLM의 경우 해당 방법론을 사용할 때 retrival을 수행할 때 마다 API를 호출해야 한다는 점에서 비용 문제가 있을 것 같다는 이야기를 들었습니다. 그러나 기존 모델을 잘 활요하는 측면에서는 좋은 연구 사례라고 생각됩니다. 좋은 발표 감사합니다.

이번 세미나는 "Active Retrieval Augmented Generation" 논문을 주제로 진행되었습니다. 이 연구에서는 long-text generation 문제에 대한 새로운 접근법인 Forward-Looking Active Retrieval Augmented Generation (FLARE)을 제시하였습니다. FLARE는 RAG와 같은 기존 방법들을 확장하여, 생성된 텍스트를 다시 query로 사용하여 지속적으로 정보를 검색하고 재생성하는 데 초점을 맞추고 있습니다. 이 과정에서 모델이 언제 어떤 정보를 검색할지 스스로 결정할 수 있어, 더욱 정확한 결과물이 생성될 가능성이 높아집니다. 이 세미나를 통해 자연어 처리 분야의 발전 추세를 이해할 수 있었으며, 이 기술이 어떻게 실제 산업에 적용될 수 있는지에 대한 높은 흥미를 느낄 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 “Active Retrieval Augmented Generation”을 주제로 진행되었습니다. 해당 논문은 long text generationt시 외부 지식에서 관련 정보를 검색하여 생성 과정에 활용하는 방법입니다. 기존 방법론들은 입력에 기반하여 한번만 정보를 검색하거나, 고정된 간격으로 이전 context를 query로 사용하여 문서를 검색합니다. 이전 방법론의 한계는 생성할 내용을 미리 예측하거나 검색 시점을 조절할 수 없었습니다. 논문에서 제시하는 방법은 생성 과정에서 언제, 무엇을 생성할지 모델이 능동적으로 결정합니다. Forward-Looking Active REtrieval augmented generation (FLARE)는 다음 문장을 예측하여 이후에 나올 내용을 미리 파악하고 그 내용을 쿼리로 사용하여 관련 ㅁ누서를 검색합니다. 예측한 문장에 신뢰도가 낮은 토큰이 있을 경우 검색한 문서를 참고하여 문장을 재생성하고 이 과정을 반복하여 긴 텍스트를 생성합니다. 해당 방법은 다양한 데이터셋에서 경쟁력 있는 방법임을 입증하였습니다. 하지만, 문장 예측시 실제로 적절한지 판단하기 어렵습니다. 그리고 신뢰도가 낮은 토큰을 찾기 위해 언어모델의 확률값과 threshold를 비교하지만, 이에대한 최적의 하이퍼파라미터를 찾기 위한 노력이 들어가야 합니다. 한계점은 존재하지만 앞으로 올 내용을 반영하여 검색하고 글을 작성한다는 아이디어는 굉장히 흥미롭고 좋았습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Active Retrieval Augmented Generation” 논문을 다루어 주셨습니다. 본 논문에서 제안하고 있는 FLARE(Forward-Looking Active Retrieval Augmented Generation)는 생성될 문장을 활용하여, 지속적으로 정보를 재검색한 후 재성생하는 방법론입니다. 문장 단위의 긴 형식으로 생성을 진행하기 때문에 generation 과정에서 여러 knowledge를 수집하는 과정이 필요하다는 특징이 있습니다. FLAREdirect에서는 추가 정보가 필요한 상황에서 생성될 문장을 활용하여 언제 다시 검색 후 재생성할 것인지를 제안하고 있으며, 이렇게 생성된 문장을 query로 직접 사용하게 됩니다. 이때 생성된 query는 다음 검색 query가 생성되거나 끝날 때까지 사용자 입력 앞에 붙는다는 특징이 있습니다. 다음으로 query formulation에서는 생성될 문장 중 무엇을 다시 검색한 후 재생성할 것인지를 제안하고 있습니다. 이때, s^t를 기반으로 검색을 trigger할지에 대한 query formulation을 진행하게 됩니다. implicit query의 경우 s^t가 threshold()보다 낮은 토큰을 마스킹하는 것이며, explicit query의 경우 threshold()보다 낮은 span을 대상으로 explicit query를 생성하게 됩니다. 실험결과에서 결과적으로 5가지 데이터셋에 있어 모두 성능이 향상된 결과를 확인할 수 있었습니다. 하지만 lm을 retrieval할 때마다 한번씩 활성화를 해야 한다는 한계는 한번쯤 생각해볼 만한 부분이라고 생각됩니다. 본 세미나 발표에 앞서 이전에 세미나에서 다루어졌던 RAG(Retrieval Augmented Generation)뿐만 아니라 각 단계에서 다양한 예시를 들어주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다!

이번 세미나는 FLARE: Forward-Looking Active Retrieval Augmented Generation 논문을 바탕으로 진행되었습니다. 해당 논문에서 제시하는 FLARE는 Retrieval Augmented Generation을 수행하는 과정에서 Output을 Refine 하는 형태로 구성되어 있습니다. 먼저 Retrieval Augmented Generation 과정에서는 Non-parametric method를 통하여 외부 Knowledge base를 참조하여 사실에 가까운 정보를 검색한 이후, Parametric method를 통하여 다양한 형태의 Output을 생성합니다. 그러나 기존 Retrieval Augmented Generation 기반 방법론들은 정보를 한 번만 수집하여 지속적인 수집을 요구하는 Long-text generation task에 부적합하다는 한계점이 존재하였는데, 이를 해결하고자 Long text에 대해 여러 번 정보를 수집하는 Multi-time retrieval 방법론이 대두 되었으며, 이것이 FLARE의 기본적인 아이디어라고 볼 수 있습니다. FLARE 방법론에서는 생성될 문장을 활용하여 지속적으로 정보를 재검색 후 재생성하는 과정을 거치고 있는데, 이것은 사실 사람이 논문, 에세이 등의 글을 작성할 때 정보를 지속적으로 수집하는 것처럼, Generation 과정에 필요한 다양한 Knowledge를 수집하는 것입니다. 이러한 FLARE는 생성될 문장을 활용하여 언제 다시 검색 후 재생성할 것인지를 제안하는 FLAREdirect, 생성될 문장 중 무엇을 다시 검색 후 재생성할 것인지 제안하는 Query formulation 과정으로 이루어져 Active Retrieval Augmented Generation이 가능하게끔 구성되어 있었습니다. 해당 분야에 대해서 자세히 알고 있지 못했지만, 발표 장표를 꼼꼼하고 짜임새 있게 구성함과 동시에 발표자분 역시 상세하게 설명해주신 덕분에 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 FLARE라는 방법론에 대해 소개해주셨습니다. 해당 방법론은 "Active Retrieval Augmented Generation" 라는 task를 수행하는데, 긴 문장을 생성함에 있어서 더욱 양질의 생성문을 생성하기 위한 기법을 제안했습니다. 긴 문장 같은 경우에 단 한번의 생성으로는 정확한 문장을 생성하기 어려우므로 FLARE에서는 생성된 문장을 다시 query로 사용하여 반복적으로 문장을 재생성하는 구조를 통해 모델이 더욱 정확한 문장을 자동적으로 생성할 수 있도록 합니다. 모델이 자동적으로 재생성 과정을 통해 신뢰도 높은 문장을 재생성하는 framework를 제안했다는 점이 흥미로웠고, 어떤 기준을 통해 무엇을 다시 검색하여 재생성할 것인지에 대한 아이디어를 잘 구성했다는 생각이 들었습니다. 다만 여러 하이퍼파라미터가 존재하고, 과연 더욱 다양한 dataset 및 환경에서 잘 작동할지에 대해서는 좀 더 검증이 필요하다고 생각했습니다. 좋은 발표 감사합니다.

본 세미나에서는 Active Retrieval Augmented Generation 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문의 motivation은 인간이 논문, 책 등을 만들 때 정보를 지속적으로 수집한다는 부분에서 출발합니다. 이러한 motivation을 통해 Long-form generation task에 적용할 수 있는 생성 과정에서 언제, 무엇을 검색할 지 능동적으로 결정하고 추가 정보를 검색하여 재생성하는 FLARE (Forward-Looking Active Retrieval Augmented Generation)를 제안하였습니다. 결론적으로 생성과정에서 정보가 필요하다고 판단되면, retrieval을 진행합니다. 이러한 FLARE의 구성을 위해 1) 언제 다시 검색 후 재생성 할 것인지, 2) 무엇을 다시 검색 후 재생성 할 것인지에 대한 기준이 필요합니다. 이를 token 단위의 probability를 통해 판단하였습니다. NLP 논문들의 최근 경향을 보면, 정말 사람이 언어를 사용하는 과정을 많이 모방하여 LLM에 주입하려는 연구가 지속되고 있는것으로 보입니다. 이러한 추세에 잘 부합하는 논문이라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Active Retrieval Augmented Generation"에 대해 소개해주셨습니다. 논문은 긴 text에 대한 정확한 output을 도출해내기 위해서는 기존과 같이 한번 information을 retrieve하는 것이 아닌, 여러 차례의 knowledge 수집 단계를 필요로 한다고 말합니다. 이에, generation의 중간 과정마다 필요 여부를 판단하고, 이에 맞게 여러 차례의 재검색을 진행하여 최종적인 output을 생성하는 FLARE(Forward-Looking Active Retrieval Augmeneted Generation)를 제안합니다. FLARE는 전체적인 생성 단계 중, 추가적인 정보 검색이 필요한 시점들을 파악하고, 이에 대한 정보를 search하는 FLAREinstruct와 문장 내에서의 특정 span 중 검색을 필요로 하는 부분에 대해 파악하는 FLAREdirect로 구성됩니다. 구체적인 method 설명에 앞서, 필요한 background의 양이 많았음에도 핵심을 잘 정리하여 전달해주셔서 보다 더 수월한 이해가 가능했습니다. 단번에 적절한 정보를 얻는 것은 어렵기에 여러 차례의 knowledge retrieve 방법을 활용한다는 점이 흥미로웠습니다. 좋은 발표 준비해주셔서 감사드립니다. 수고 많으셨습니다.

이번 세미나에서는 Active Retrieval Augmented Generation 논문을 소개해 주셨습니다. 본 논문은 기본적으로 LM이 문장을 생성할 때, 한 번에 문장을 완성하는 것이 아니라 여러 단계에 걸쳐 점진적으로 문장을 완성해나가는 접근에 대한 것으로, 특히 반복되는 문장의 생성 과정에서 계속해서 필요한 정보를 수집하는 것을 특징으로 합니다. 이는 사람이 실제로 정보를 탐색하며 글을 써나가는 과정을 묘사한 것으로, 실제 사람도 문장을 작성하면서 지금까지 작성한 부분에 대해 추가적인 정보를 필요로하게 되고 해당 정보를 보완하여 지속해서 글을 써나가는 것을 쉽게 떠올릴 수 있습니다. 본 논문에서 제안하는 방법론도 우선 query에 대한 응답을 생성하고, 해당 응답과 질문을 다시 한번 LM에 input 해 주는 것으로 보다 정확한 정보를 활용한 응답을 가능하게 합니다. 이런 과정이 자연스러울 수 있다는 것은 바로 납득이 가나, 결국 하나의 응답을 최종적으로 산출하기 위해 전체 모델의 inference가 반복되어야 하는 것으로 computational cost 관점에서 개선할 점이 많은 방법론이라고 생각이 듭니다. 또한 사람이 모든 문장 하나하나를 생성하면서 매번 새로운 정보를 탐색하는 것이 아니라는 점에 주목하여, 정말로 추가적인 retrieval이 필요한 순간에만 제안하는 방법론이 적용될 수 있도록 한다면 보다 실용적인 연구가 될 수 있을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Active Retrieval Augmented Generation 논문으로 진행되었습니다. 해당 논문에서 제안한 FLARE(Forward-Looking Active Retrieval Augmented Generation)라는 방법론은 쉽게 말해서 생성된 문장을 이용해 언제, 무엇을 retriever할지 동적으로 결정하는 방법론입니다. 만약 현재 step에서 생성된 문장이 높은 confidence를 가지면 생성된 문장을 그대로 가져가고, 낮은 confidence를 가지면 생성된 문장을 query로 사용해 Retrieve를 다시 진행합니다. 이때 confidence를 결정하는 기준은 각 token별 confidence로, 만약 모든 token이 threshold보다 높은 confidence를 가질 경우 그대로 가져가고, 그렇지 않은 경우 문장의 일부를 마스킹하거나(implicit query), threshold보다 낮은 토큰에 해당하는 span을 쿼리로 사용하여(explicit query) 다시 retriever하게 됩니다. 잘 아는 분야는 아니지만 Retrieval-augmented generation 계열도 점점 더 새로운 논문이 많이 나오는 것 같습니다. 첫 번째 세미나 준비하시느라 수고 많으셨습니다. 좋은 발표 감사합니다!!

이번 세미나는 LLM 사용 시 Retrieval을 사용할 시점을 모델이 스스로 선택하도록 하면서 반복적으로 Retrieval하도록 모델의 생성 방법론은 제안하는 "FLARE: Forward-Looking Active Retrieval Augmented Generation"을 주제로 진행되었습니다. LLM 활용 시 가장 큰 문제점으로 지적되는 Hallucination을 해결하는 근본적인 방법론 중 하나는 현재 생성해야 하는 정보를 관련 문서에서 Retrieve하여 추가 입력으로 활용하는 RAG 방식입니다. 해당 방법론은 이전 연구실 세미나에서 다루었던 RAG 논문 이후로 LLM이 광범위하게 활용되면서 다양한 접근방법이 제안되고 있습니다. 해당 논문은 특히 RETRO에서 제안된 각 토큰마다 다른 정보를 Retreival하고 활용하도록 하는 프레임워크의 한계점을 지적하면서 Retrieve할 시점, Retrieval 시 사용될 Query, Retrieve된 정보를 이용한 생성 방법론을 새롭게 제안하고 있습니다. 방법론 자체는 생성될 토큰의 Confidence를 이용하는 단순한 방법이지만, 해당 방법론 도입 시 다양한 QA 태스크에서 개선된 성능을 보이고 있습니다. 흥미로운 접근법이기는 하지만, 기존의 생성문 Refinement 접근법이라 생각할 필요가 있고, CoT와 같은 방법론과도 비교가 필요해보입니다. 좋은 발표 감사드립니다.

이번 세미나는 Active Retrieval Augmented Generation를 주제로 진행되었습니다. Retrieval augmented generation은 retriever를 통해 외부 knowledge를 참조하여 정보를 검색하고 generator를 통해 다양한 형태의 답변을 생성하게 됩니다. 하지만 기존의 방법론들은 정보를 한번만 수집한다는 한계점이 존재하였으며 이를 해결하고자 여러 번 정보를 수집하도록 multi-time retrieval이 진행되었습니다. 본 논문에서 제안하고 있는 FLARE는 생성될 문장을 활용해서 반복적으로 정보를 재검색하고 재생성하는 방법을 사용하였습니다. 세부 내용으로는 생성될 문장을 활용해서 언제 다시 검색, 재생성할 것인지 결정하는 FLAREdirect와 생성될 문장 중 무엇을 다시 검색 후 재생성할 것인지 제안하는 query formulation이 있습니다. 단순히 retrieval을 반복하는 것이 아닌 정보가 필요하다고 여겨지면 retrieval을 수행하는 것이 실제 사람이 글을 작성할 때와 굉장히 유사한 방법인 것 같아 인상 깊었습니다. 좋은 발표 감사합니다.