금일 세미나에서는 retriever와 language model을 함께 학습하는 방식을 제안하여 few-shot setting에서 좋은 성능을 보인 Few-shot Learning with Retrieval Augmented Language Models에 대해 설펴보았습니다. 본 연구는 기존의 연구들이 retriever나 language model에 대해서 독립적으로 접근하고 있음을 파악하고 이를 함께 학습하는 방법론을 제안합니다. 제안하는 loss의 경우 KLD를 사용하고 있으며 KLD 내부에 들어가는 score function으로는 query와 document의 내적 즉 유사도를 사용합니다. 제안하는 로스의 경우 이론적으로는 매우 단순하지만 코드상에서 실제 학습이 안정적으로 되는지, 그리고 얼마나 많은 자원으로 얼만큼 학습을 진행 해야 하는지 궁금했습니다.

이번 세미나에서는 Retrieval-augmented language model인 Atlas에 대해 살펴 보았습니다. 2회에 걸친 세미나 덕분에 낯선 분야이지만 조금 더 용이하게 이해할 수 있었던 것 같습니다. 해당 논문에서 제안하는 Atlas는 Retrieval 와 LM을 jointly pretraining 하여 few-shot 에서도 높은 성능을 보였습니다. 다양한 pre-training, pretext task들을 실험하고 비교하며 가장 좋은 방법론을 조사했다는 것이 인상적이었습니다.

이번 세미나에서는 semi-parametric method, information retrieval 등의 방법론들을 language model과 결합한 방법론에 대해 살펴보았습니다. 생소한 분야라서 내용 자체를 완전하게 이해하지는 못했지만, LLM의 현실적 문제들과 새로운 정보와 지식을 업데이트하기 힘들다는 문제점을 보완하기 위한 연구가 자연어 처리 분야에서 트렌드가 되고 있다는 것을 알 수 있었습니다. 직관적으로 생각해보면 새로운 정보가 업데이트될 때 전체 모델을 업데이트 하기 보다는 새로운 정보를 추가적으로 반영하는 것이 합리적이라는 것을 알 수 있었습니다. 따라서 더이상 모델 자체를 키우는 것이 아니라 information retrieval 분야의 방법론을 차용하여 데이터 베이스에서 정보를 찾아 그것을 모델에 적절하게 반영하는 방안을 연구하고 있다는 것을 알 수 있었습니다. 이를 위해 retriever와 language model을 결합하여 훈련 시킨 것이 인상적이었습니다. 좋은 발표 감사합니다!

해당 세미나에서는 KL-Divergence를 응용해서 Retriever(Contriever 사용)와 Language Model(Fusion-in-Decoder 사용)을 Jointly Training한 방법론인 Atlas에 대해 다루었습니다. 2회로 나누어 세미나를 진행하여 첫 번째 순서에서는 해당 방법론을 이해하기 위해 필요한 배경 지식인 Retriever, Query, Passage/Context에 대해 설명해주셨습니다. 두 번째 세미나에서는 Atlas에 대해 설명해주셨는데 첫 번째 세미나에서 배경 지식을 알려주신 덕에 Information Retriever 및 Atlas 방법론에 대한 이해도를 높일 수 있었습니다. 비록 아직은 Information Retriever와 NLP 방법론들에 대한 지식이 부족해 세미나 내용을 완벽하게 이해하지는 못했습니다. 그러나 해당 세미나를 통해 필요한 정보를 포함하는 문서를 찾아 정보를 추출하는 Information Retriever라는 분야에 대해 흥미를 가지게 된 좋은 계기였습니다. 또한 세미나 후, 연구실 선배 분들과의 대화를 통해 Information Retriever에 사용되는 방법론들이 특히 많은 Computational Resource가 필요함을 알게 되어 Knowledge Distillation과 같은 방법론들에 대해서도 찾아볼 수 있게 된 좋은 발표였습니다!

본 세미나에서는 Few-shot Learning with Retrieval Augmented Language Models (Atlas)에 대한 리뷰를 진행하였습니다. Large Language Model(LLM)이 제안되며 다양한 task에서 우수한 성능을 보이고 있지만, model의 크기가 큰 만큼 자원의 한계에 부딪혔습니다. 이러한 문제로 인해 LLM을 효율적으로 사용하는 방법에 대한 연구가 지속되고 있습니다. 저의 관심 분야 중 하나인 Parameter efficient learning도 하나의 예시이고, 본 세미나에서 소개한 Information retrieval도 이러한 문제의 해결을 위한 방법론 중에 하나입니다. 따라서 굉장히 흥미롭게 세미나를 시청하였습니다. 본 논문에서 제안한 Atlas는 Retriever와 language model로 구성됩니다. Retriever와 language model을 jointly training이 진행됩니다. 이러한 Atlas는 few-shot setting에서 높은 성능을 달성했다는 contribution이 있습니다. 발표자님이 발표 말미에 언급을 했듯이 본 논문의 완벽한 이해를 위해서는 저자들의 선행연구를 모두 읽어야했습니다. 세미나 준비를 위해 많은 시간을 투자하신게 눈에 보여서 감사하고 내용이 너무 유익해서 감사했습니다. 좋은 발표 감사합니다.

해당 세미나는 Retriever와 Language model을 jointly하게 training하여 Knowledge intensive Task(KILT) Data에서 좋은 성능을 보인 Atlas에 대해 다루어졌습니다. 이번 세미나는 정확한 정보 전달을 위하여 2회에 걸쳐서 진행되었는데, 첫 번째 세미나에서는 Atlas를 이해하기 위해 필요한 Topic들을 먼저 설명해 주셨습니다. 이를 통하여 Atlas는 Knowledge intensive Task(KILT) Data에서 SOTA를 달성한 모델이며, Atlas의 방법론은 새로운 정보를 업데이트하는 Information Retrieval 아이디어를 통해 Language model의 크기를 크게 만들지 않아도 해석, 제어 가능하게 하는 Semi-parametric method를 사용했다 라는 것을 알 수 있었습니다. 두 번째 세미나에서는 Atlas의 구조에 대해서 설명해 주셨습니다. 이를 통하여 결론적으로 Atlas는 Retriever와 Language model로 구성되어 있으며, 이를 jointly하게 training한다는 것을 알 수 있었습니다. 모델의 파라미터 크기가 커질수록 더 좋은 성능을 보인다는 방법론으로부터 나온 Large Language Model은 NLP task의 성능을 향상시켰지만 문제점이 존재하며, 이러한 문제점을 보완하기 위하여 새로운 정보를 업데이트 한다는 것이 생소하였지만, 매우 흥미롭게 다가왔습니다. 모델을 만들 때 단지 크기를 키우는 것이 전부가 아니며 다양한 방법론을 고안해야 한다는 생각이 들었습니다. 이번 세미나를 통해 제 생각의 폭을 넓힐 수 있었고, 두 번으로 발표를 나누어 주신 덕분에 NLP에 대한 지식이 부족한 저도 잘 이해할 수 있었던 것 같습니다. 좋은 발표 정말 감사드립니다.

금일 세미나는 "Few-shot Learning with Retrieval Augmented Language Models (Atlas)"라는 주제로 진행되었습니다. 본 발표에서는 knowledge Intensive task에서 retrieval approach를 통해few-shot setting으로 SOTA를 달성한 retrieval-augmented language model인 Atlas가 소개되었습니다. 해당 모델은 retriever와 language model을 함께 학습하여 적은 parameter로 few-shot setting에서 좋은 성능을 보였습니다. 세부적으로 retriever로는 학습 과정에서 question-passage의 annotation이 필요하지 않은 contriever를 사용하였으며, language model로는 encoder-decoder 구조의 generative model에 retrieved passage를 함께 넣어 answer를 생성하는 Fusion-in-Decoder가 사용되었습니다. 개인적으로 발표를 들으면서 목적에 맞는 모델을 잘 융합하여 좋은 성능을 도출하는 모델을 구축했다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Retrieval 기법을 활용하여 크기가 제한적인 언어모델(Language Model)을 학습하는 방법론에 대해서 소개되었습니다. 널리 알려진 바와 같이 이미 언어모델의 크기는 한계치에 도달하였다고 봐도 무방할 것입니다. 소수의 자원이 허용된 기업체에서 언어모델을 연구하지 않는 이상 어려운 상황입니다. 이에 모델의 크기를 키우지 않고 새로운 정보와 지식을 효율적으로 업데이트 하는 방법에 대한 연구가 각광받고 있습니다. 특히 Question Answering 분야에서 사전에 학습된 텍스트의 embedding을 활용하여 질문과 유사도가 높은 문서들을 찾아내서 답안을 찾아내는 Information Retrieval과 결합되어 연구가 진행되고 있습니다. Atlas도 이에 한 부분으로써 t5 를 기반으로 하여 다양한 태스크에 대해서 실험들을 진행하며 Information Retrieval 과 Language Model의 jointly training의 효과를 입증하고 있습니다. 한편, 본 논문의 이해를 위해 소개해주신 Knowledge Intensive Task에 대해서 처음 접하게 되었는데 각 태스크에 대한 내용을 자세히 살펴볼 필요가 있어 보입니다. 유익한 세미나 준비해주셔서 감사합니다.

이번에는 Few-shot Learning with Retrieval Augmented Language Models와 관련하여 두 차례에 걸친 세미나가 있었습니다. 먼저 background로 large language model의 한계점인 자원의 한계, scalability 문제, 그리고 새로운 정보와 지식을 업데이트하는 것이 어려움 등을 짚어 주셨습니다. 이러한 상황에서 요즘 information retrieval 기법을 바탕으로 knowledge intensive task에서 few-shot 성능을 높인 것이 Atlas 논문입니다. 특히 이 논문은 retriever와 language model을 jointly training하는 방향으로 효과적인 학습 방법을 제안합니다. 자세한 수식과 개념에 대한 깊은 이해가 다소 어려웠지만, 본문과 정답 간의 복합적인 관계를 objective function으로 잘 디자인했다는 생각이 들었습니다. 늘 유익한 발표 감사합니다.

이번 세미나에서는 두 번에 걸쳐서 Retrieval-augmented language model인 Atlas와 그와 관련된 선행 연구들에 대해서 알아보았습니다. 본 논문을 이해하기 위하여 언어 모델이 갖고 있는 여러가지 한계점들을 먼저 설명해주셨고, 그에 따라 atlas가 제안된 배경을 이해할 수 있었습니다. 특히 few-shot setting을 가정한 한정된 자원하에서 높은 성능의 언어 모델을 학습하기 위해 어떤 연구들이 진행되고 있는지 알 수 있었습니다. Atlas의 경우에는 기존 연구들이 retriever와 언어 모델에 대해 독립적으로 학습하고 있다는 점을 파악하였고, 이에 착안하여 두 개를 jointly training하는 방법론을 제안하였습니다. 세미나를 통해서 들었을 때는 그 흐름이 매우 자연스러웠는데 연구자 입장에서 이런 아이디어를 생각해내기 위해서는 전반적인 연구 흐름을 잘 이해하고 있어야하며 높은 통찰력이 필요했을 것 같다는 생각이 들었습니다. 이에 따라 항상 연구하고 있는 분야에 대해서는 많은 논문을 읽고 여러가지 방향성을 생각해보며 통찰력을 키우는 것이 필요하겠다고 생각했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Few-shot Learning with Retrieval Augmented Language Models 논문을 통해 Retrieval Augmented Language Model인 Atlas를 소개해 주셨습니다. 최근 이제는 너무 커져버린 language model을 대체할 수 있는 다양한 연구 기법들이 시도되고 있는데, Atlas 또한 이러한 연구 흐름의 하나로 모델의 크기를 작게 유지하면서 새로운 지식을 업데이트 하는 방법을 제안합니다. 이를 위해 본 모델의 핵심은 기존의 연구들과는 차별되게 language model 모듈에 추가로 retriever를 포함하여 둘을 jointly pre-training하게 됩니다. 특히 모델을 계속 키우는 것으로 더 많은 지식을 포함하도록 하는 것이 아니라, Information retrieval을 통해 데이터베이스에서 정보를 찾아 language model에 적용하도록 하여, 결과적으로 모델의 파라미터의 수를 줄였을 뿐만 아니라 정보의 update가 가능해지는 효과까지 얻을 수 있었습니다. 본 연구의 목적은 제가 최근 관심을 가지고 지켜본 KBQA분야와 비슷한 방향성을 가져 매우 흥미롭게 들었으며, 서로의 방법론들을 공유할 수 있는 부분이 많겠다는 생각이 들었습니다. 추가적으로 발표자께서 본 논문을 이해하기 위해 선행연구들을 별도의 세미나로 구성하여 꼼꼼히 설명해 주셔서 너무 편하고 재밌게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에선 Few-shot Learning with Retrieval Augmented Language Models 라는 연구에 대해 소개되었습니다. 논문에서 제안한 모델은 retrieval-augmented language model이며 Atlas라고도 합니다. Atlas는 Retriever와 LM의 두 sub module로 구성되었고 각각 Contriever와 FiD를 사용합니다. 두 Module은 jointly pre-training 되며, 이렇게 제안된 모델이 knowledge intensive task에서 높은 성능을 보인다는 점이 논문의 contribution이라 생각되고, 발표자분께서도 소개해주신 저자의 이전 연구들을 잘 조합하여 새로운 구조를 제안했다는 점이 인상깊었습니다. 본 논문에 대한 세미나는 2회에 걸쳐 진행되었고, 첫 번째로는 관련 연구를 포함한 배경에 대한 소개, 2회 차엔 제안 모델인 Atlas에 대해 소개되었습니다. 짧지않은 시간동안 상당히 많은 내용을 소개해주셔서 유익했던 세미나였던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 “Few-shot Learning with Retrieval Augmented Language Models”였습니다. 최근 NLP 분야에서는 Knowledge Intensive task에 대해 Retriver와 Generative LM을 결합한 Semi-Parametric LM이 활발히 연구되고 있습니다. 해당 논문은 이러한 Semi-Parametric LM의 접근법을 어떻게 Pretrain 과정까지 확대하여 여러가지 목적함수와 다른 LLM 방법론과 비교를 진행하고 있습니다. 해당 논문의 결과를 모델 파라미터수와 연관지어 생각하면 매우 놀라운 결과를 볼 수 있었습니다. 즉, 모델 파라미터 수와 업데이트 횟수가 비교적 적으면서 효과적으로 성능을 확보하기 있기 때문입니다. 개인적으로 매우 관심을 가지고 있는 분야여서 기본적인 Retrieval 분야의 개념부터 최근의 흐름까지 한번에 정리를 해주셔서 매우 좋았던 것 같습니다. 앞으로 Semi-Parametric LM이 어떻게 확장될 수 있고, 기존 방법론과 다른 지점이 무엇인지 확실히 알 수 있었던 세미나였습니다. 감사합니다.

이번 세미나는 ‘Few-shot Learning with Retrieval Augmented Language Models’를 주제로 진행되었습니다. 총 두번에 걸쳐 진행되었는데 첫번째는 background로 semi parametric method, information retrieval, knowledge intensive task에 대해 설명해주셨습니다. 두번째 세미나에서는 본 논문의 방법론인 Atlas에 대해서 설명해주셨습니다. atlas는 모델의 크기를 더 키우지 않으면서도 예측에 대한 해석가 제어가 가능하고, 새로운 정보와 지식을 쉽게 업데이트하기 위해 고안되었습니다. Atlas는 retriever와 LM을 joint pretraining하는 방식을 사용하였습니다. 처음 보는 연구 분야들이 많았지만 두 번에 걸쳐 자세히 설명해주셔서 이해하기 수월하였습니다. 특히 semi parametric method에 대해서 흥미롭게 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Knowledge intensive task에서 retrieval 기반의 접근법으로 높은 성능을 달성한 Atlas를 주제로 진행되었습니다. 올해 arXiv에 공개된 논문 Few-shot Learning with Retrieval Augmented Language Models를 소개해주셨습니다. 장장 2회에 달하는 긴 호흡의 세미나인 만큼, 발표자 분의 노련함이 돋보였던 발표였습니다. 개인적으로 few-shot을 제외하고 retrieval, knowledge intensive 등 논문 overview만을 접했을 때는 낯선 개념들이 있었음에도, 발표자 분의 깔끔하고 명료한 설명 덕분에 컨셉을 바로 이해할 수 있었습니다. 어렵고 복잡한 내용일 수록 전달하기가 무척 까다로운데, 그런 측면에서 발표자 분께서 굉장히 공을 들여 준비하셨다는 점을 느낄 수 있어 많이 배웠습니다. 요즘 자연어처리 분야의 주 관심사는 few-shot 셋팅에서의 성능 유지와 더불어 외부 지식을 적극 활용하는 메커니즘으로 귀결되는 것 같습니다. 본 세미나를 통해 소개해주신 Atlas 역시 언어 모델의 파라미터와 더불어 외부 database로 부터 정보를 retrieve하여 few shot task를 수행하며, 이 과정에서 각각 FiD와 Contriever를 활용합니다. 사실, few-shot 셋팅 자체는 오히려 현실 세계의 상황과 동떨어진 unrealistic한 가정이라고 생각하는데, 본 논문에서 다루는 셋팅은 외부 데이터베이스의 정보를 활용할 수 있다는 측면에서 향후 발전 가치가 큰 분야라는 생각이 들었습니다. 유익한 세미나 진행해주셔서 감사합니다.

금일 세미나에서는 Few-shot Learning with Retrieval Augmented Language Models인 Atlas를 다루어 주셨습니다. 제안하고 있는 Atlas는 retriever와 language 모델로 이루어진 sub module로 구성되어 있습니다. 좀더 상세히 보자면 retriever sub-module에서는 외부 데이터베이스에서 정보를 검색하는 역할을 수행합니다. 그리고 기존의 연구들에서는 각 sub-module이 독립적으로 학습되었다면 Atlas에서는 2개의 sub-module들은 jointly training에 사용된다는 차이점이 있습니다. 해당 과정에서는 FiD와 Contriever를 활용하고 있으며 few-shot 세팅에서도 우수한 성능을 보이고 있다는 점에서 의의가 있습니다. 새로운 정보가 들어올 때 모델을 전체적으로 업데이트한다기 보다는 정보를 반영하는 방향으로 이끌어 갔다는 부분이 인상적입니다. 2회에 걸쳐 Background에 대해 상세히 다루어 주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다!

금일 세미나는 Few-shot Learning with Retrieval Augmented Language Models 논문에 대해 소개해주셨습니다. 제안하는 방법론인 Atlas는 OpenQA task에서 새로운 정보를 학습에 반영할 수 있는 knowledge intensive task에 적합하고 few-shot learning으로 높은 성능을 보인 방법입니다. Atlas는 retriever와 reader로 각각 Contriever와 Fusion-in-Decoder (FiD)를 사용합니다. 여기서 Contriever는 gold passage에 대한 정보없이도 contrastive learning을 통해 학습하는 retriever입니다. Atlas와 기존 QA 모델의 차이점은 joint pre-training에 대한 부분입니다. 기본적으로 QA task의 구성요소인 retriever와 reader에 대해 이전에는 각각 학습하는 방식이 연구된 반면 Atlas는 두 가지 구성요소를 함께 학습에 고려하는 방법을 제안하였습니다. Joint pre-training을 위한 objective function으로 서로 다른 4가지를 제안하고 비교한 실험이 인상적이었습니다. 또한 이러한 joint pre-training으로 약간의 sample data만으로도 fine-tuning 시 좋은 성능을 나타낼 수 있고 서로 다른 time index를 가진 데이터를 학습하기에 적합한 형태를 가진다고 이해했습니다. 좋은 발표 감사합니다.

이번 세미나는 2번에 걸쳐 Atlas 논문 이해에 필요한 선행 지식과 Atlas 논문에 대한 발표로 진행되었습니다. 선행 지식으로는 ‘Semi parametric’ method에 대한 개념과 Open-Domain Question Answering 분야에서 활용되는 Information Retrieval에서의 대표적인 방법론들, Atlas 논문이 SOTA를 달성한 Knowledge Intensive Task에 대해 소개해주셨고, 모두 NLP 논문 스터디에 참여하며 몇번 접해본 개념들이지만 아직 정립이 잘 안 되어있던 상태였는데 덕분에 확실히 이해하고 넘어갈 수 있었습니다. 이러한 선행 지식을 바탕으로 소개해주신 Few-shot Learning with Retrieval Augmented Language Models, 즉 Atlas 모델은 KILT에서 Retrieval 접근 방법을 통해 적은 파라미터를 가지고도 Few-shot setting으로 SOTA를 달성한 LM이며, Contriever를 Reetriever로 활용하고, FiD를 LM으로 활용하여 jointly하게 training했습니다. 특히 논문에서 Retriever의 Training 목적 함수가 가장 이해하기 어려운 부분인 거 같은데 한 부분씩 자세히 설명해주신 부분이 인상 깊었습니다. Retriever를 따로 학습하지 않는 첫 FiD 논문 이후로 FiD를 기반으로 Retriever도 함께 학습하는 모델이 계속 나오는 만큼 후속 논문이 궁금해지는 발표였습니다. 좋은 발표 감사합니다!