이번 세미나에서는 LM-BFF 방법론을 제안하고 있는 Making Pre-trained Language Models Better Few-shot Learners 논문에 대해 다루었습니다. 프롬프트 방식에 낯설었지만 자연어 모델의 거시적인 흐름과 함께 프롬프트가 어떻게 사용되었는지 소개해 주셔서 조금 더 원활히 이해할 수 있었습니다. 해당 방법론은 프롬프트 자동 생성과 fine-tuning with demonstration을 이용해 few-shot learning으로 라벨링이 된 데이터가 극히 적은 상황에서도 좋은 성능을 보여 주었습니다. 선행 연구와의 적극적인 비교, 한계점을 명확히 서술한 점이 인상적이었습니다.

이번 세미나에서는 Making Pre-trained Language Models Better Few-shot Learners (LM-BFF)라는 방법론에 대해 다루었습니다. 이번 발표에서는 LM-BFF 방법론 뿐만 아니라 prompt learning의 등장 배경, 발전 과정, 다양한 방법들에 대한 설명, prompt의 구성요소에 따른 방법론 등을 전반적으로 다루었습니다. LM-BFF는 templete을 auto generation하고 소량의 labeled data만을 사용하여 fine tuning함으로써 classification task의 성능을 높인 방법론입니다. 기존의 templete을 manual하게 생성했던 방식에서 auto generation을 한다는 방법론을 연구했다는 점에서 의미가 있다는 생각이 들었지만 성능이 크게 나아지지는 않은 것을 보아 다른 방향의 auto generation 방법론들도 연구되면 성능을 더 의미있게 높일 가능성이 있을 것 같았습니다. Background를 통해 prompt learning에 대한 개념과 prompt learning의 연구 방향과 갈래들에 대해 알 수 있어서 큰 도움이 되었습니다. 좋은 발표 감사합니다.

#

이번 세미나에서는 Prompt 기반의 fine-tuning 기법을 활용해 소량의 labeled data로도 few-shot Text classification에서 높은 성능을 달성한 방법론인 LM-BBF가 소개되었습니다. Prompt 란 결국 지시사항을 의미하는 것으로 수행하고자 하는 task를 source로서 입력값으로 지정하게 됩니다. 혹은 template으로도 이해할 수 있는데 어쩌면 인간의 언어 사용 학습 방법 중 하나를 잘 mimic하고 있다고 생각합니다. 그래서 Downstream task에 따라 prompt 구성도 달리하게 됩니다. 본 방법론은 텍스트 분류 과업을 수행함에 있어 single pormpt를 자동생성해서 학습하는 방식으로 구성되어 있습니다.

설명을 들으며 해당 방법론이 언어모델 학습의 다양한 요소를 고루 적용했다는 생각이 들었습니다. 또한 발표자 분의 의견과 같이 prompt를 자동으로 생성하는 부분에 있어 조금 더 연구가 필요하다는 점을 느꼈습니다. Demonstration 을 활요할 때 불가피하게 SBERT를 이용하게 되는데 최대한 다른 model이나 방법론에 의존하지 않을 수 있는 방법을 찾아보는 것도 의미있어 보입니다. 오랜만에 prompt 기반 방법론에 대한 세미나였는데 흥미롭게 들을 수 있었습니다. 감사합니다.

금일 세미나는 Prompt-based Fine-tuning라는 큰 틀 안에서 Making Pre-trained Language Models Better Few-shot Learners (LM-BFF) 연구에 대해 살펴보았습니다. 우선 prompt의 개념부터 등장배경 그리고 연구 흐름을 짚어주셔서 해당 개념에 대해 잘 모르더라도 충분히 따라갈 수 있는 발표였습니다. 발표자분의 설명대로 LM-BFF 자체는 크게 깊은 이해가 필요한 부분이 없어서 background 설명만 듣더라도 이해가 가능했습니다. 아마 이러한 특성 때문에 prompt를 사용하는 연구들을 엔지니어링이라고 부르는 것이 아닐까 라고 생각되는데, 개인적으로는 엔지니어링의 결과로 광범위한 task를 커버할 수 있다면 이 또한 충분히 연구적 의미가 있다고 생각합니다. 발표자 의견처럼 prompt를 자동으로 생성하고 최적의 prompt를 찾는 비용에 비해 성능 향상 폭이 다소 아쉬울 수 있는데, 이 부분을 개선하는 연구도 의미 있지 않을까 생각됩니다.

이번 세미나에서는 Making Pre-trained Language Models Better Few-shot Learners 논문을 소개해 주셨습니다. 해당 논문에서 제안하고 있는 방법론인 LM-BFF(Better Few-shot Fine-tuning of Language Models)는 prompt에 기반한 fine-tuning 기법을 이용하고 있습니다. 이때 소량의 라벨이 있는 데이터만으로 few-shot text classification에서 좋은 성능을 달성하고 있습니다. prompt는 어떤 pre-train된 모델을 이용하는지, 어떤 downstream task인지, 어떻게 구축하는지 등에 따라 방법이 나뉠 수 있으며, 이러한 prompt를 이용하여 사전 학습된 정보를 최대한 활용하고자 하고 있습니다. 해당 논문에서는 prompt를 자동으로 생성하는데, prompt의 구성요소 중 template에 대한 부분에는 T5를 이용하고, label word들은 template을 고정시킨 상태에서 단어 집합을 구성하고 accuracy를 기준으로 최종 label word를 선정하는 방식을 이용하고 있습니다. LM-BFF는 input 문장과 유사한 demonstration을 구축하게 되는데, 이때 language model인 GPT-3의 in-context learning에서 아이디어를 얻어 (train 데이터에서) 각 class마다 한 문장씩 샘플링하는 방식으로 prompt기반 fine-tuning에 적용하고 있습니다. 발표 구성에 있어 prompt의 등장 배경과 nlp 분야에서의 핵심 모델들을 짚고 넘어가주셔서 입문하는 사람들도 본 발표를 잘 이해할 수 있을 것이라는 생각이 들었습니다. 개인적인 의견도 같이 공유해주셔서 한번 더 생각해볼 수 있는 좋은 기회가 되었던 것 같습니다. 매번 깔끔한 발표자료를 구성하셔서 많이 배워갑니다. 좋은 발표 감사합니다!

이번 세미나에서는 LM-BFF 방법론을 제안한 Making Pre-trained Language Models Better Few-shot Learners 논문을 소개해 주셨습니다. 논문에 대한 설명하기에 앞서, Background에서 NLP에서의 Paradigm Shift를 언급하며 Prompt가 어떠한 이유로 등장했는지 기존 연구들을 요약해서 설명해주셔서 이해에 많은 도움이 되었습니다. LM-BFF는 Prompt 기반의 Fine Tuning을 통해 소량의 Labeld Data만으로도 Few-shot Text Classification에서 Standard Fine-Tuning보다 높은 성능을 달성했습니다. 기존 Prompt-based Learning 관련 연구에서는 Prompt를 Downstream Task 별로 Manual하게 만들어 사용했습니다. 그러나 해당 방법론에서는 Prompt-based Learning의 핵심인 Prompt를 사람이 직접 만드는 것이 아니라, 자동으로 생성하는 방법을 제안했고 이것이 이 연구의 Main Contribution이라는 생각이 들었습니다. 또한 Standard Fine-Tuning을 사용하는 모델들은 특정 Downstream Task를 위해 해당 Task에 한정된 많은 양의 Labeld Data가 필요한 것에 비해 해당 방법론은 매우 적은 양의 Labeled Data가 필요하기에 실용적인 측면에서도 우위를 보인 것 같습니다. 해당 세미나를 통해 처음으로 Prompt-based Learning을 접하게 되었는데 탄생 배경부터 Auto-Generation Prompt까지 잘 설명해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

Making Pre-trained Language Models Better Few-shot Learners 라는 논문의 소개가 있었습니다. 먼저 본 세미나에서 prompt learning에 대한 개념과 흐름을을 background로 잘 짚어주셔서 발표를 따라가기 용이했습니다. 본 논문에서는 자동으로 prompt를 생성하고 few-shot에서도 좋은 classification 성능을 낼 수 있는 LM-BFF라는 방법론을 제안합니다. 자동으로 prompt를 생성하도록 한 것이 가장 핵심이라고 생각했고, 나머지 세부적인 사항은 선행 연구 모델들을 잘 조합하고 응용하여 고안한 것 같습니다. 최근 세미나에서 다뤄지지 않았던 prompt learning이라는 주제를 접할 수 있어 흥미로웠고, 또 AI 연구자로서 단순한 엔지니어링과의 차별점에 대해서도 생각해볼 수 있는 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나에선 Making Pre-trained Language Models Better Few-shot Learners(LM-BFF)라는 논문에 대해 소개되었습니다. 논문 소개 이전에 background가 잘 정리된 세미나였고, 그 중에서도 prompt learning이 무엇이고 어떠한 연구들이 있었는지, 논문에서 직접 비교한 PET와의 비교 설명 등이 논문의 method를 이해하는데에 많은 도움이 되었습니다. 개인적으로 prompt를 사용하는 연구분야에 대해선 (교수님께서도 질문주셨던 것처럼) 엔지니어링에 가깝지않나 하는 의견을 가지고 있었는데 LM-BFF처럼 prompt를 모델이 생성하는 방식의 아이디어가 제안된다면 prompt를 활용한 연구들도 다른 분야, 다른 도메인 데이터에도 충분히 활용될 수 있지 않을까 하는 생각이 들었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 Making Pre-trained Language Models Better Few-shot Learners 논문에 대하여 다루어 주셨습니다. 해당 논문은 Prompt-based fine-tuning을 통하여, 소량의 Labeled data 만으로 Few-shot text classification에서 높은 성능을 달성할 수 있다는 것에 대하 말하고 있습니다. 이 방법론을 이해하기 위해서는 먼저 Prompt라는 개념을 알아야 합니다. Prompt 기반의 방법론에서는 Input 문장 뒤에 Template, 즉 masking 되어있는 sequence가 하나 더 추가로 주어지게 됩니다. 이때, 이는 MLM 모델을 만나서 Mask 뒤에 들어갈 실제 단어인 Label word 예측하고, 이 예측된 Label word와 mapping되어 있는 실제 라벨 정보를 바탕으로 input의 감성을 분류하는 형식으로 진행됩니다. 이에 Prompt learning의 목적은 Prompt의 도움을 받아 사전 학습된 Knowledge를 최대한 활용하는 것이라고 할 수 있습니다. 이때 하나의 쟁점은 이 Prompt를 어떻게 구성해야 하는가입니다. 이때 고려되는 항목은 사전학습이 어떤 objective를 가지고 수행했는지, 풀어야 할 Downstream task이 무엇인지, Prompt를 구성하는 주체가 무엇인지 등 다양한 항목을 고려하여 Prompt를 구성합니다. 이때, 이번 논문에서 제시하는 LM-BFF는 이전 Prompt 모델들과 비교하였을 때, Prompt를 사람이 직접 만드는 것이 아닌, Auto Generation하게 만들었다라는 부분과 소량의 labeled 데이터만을 이용한다는 것이 핵심이라는 생각이 들었습니다. 또한 교수님과 발표자분의 질의응답을 통하여, Engineering과 Learning이라는 단어에 대해 다시 생각해 보면서 왜 Auto Generation이 Contribution으로 제안되었는지 다시 한번 되돌아볼 수 있었습니다. Prompt라는 방법론을 처음 접해봐서 잘 이해를 할 수 있을까 라는 걱정도 있었지만 Background에서 prompt 방법론의 기초, 등장배경, 최근 흐름까지 잘 다루어 주신 덕분에 이해하는 데 크게 무리가 없었던 것 같습니다. 좋은 발표 정말 감사드립니다.

본 세미나에서는 Making Pre-trained Language Models Better Few-shot Learners이라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문에서 제안하는 LM-BFF 라는 방법론은 RoBERTa 기반의 prompt based fine-tuning입니다. 이러한 LM-BFF의 특징은 1) Prompt 자동 생성, 2) Fine-tuning with demonstrations를 뽑을 수 있습니다. 특히 prompt learning에서 가장 중요한 포인트가 되는 부분이 prompt의 생성을 어떻게 할 것인지 라고 할 수 있는데, 이를 자동화 했다는 것이 큰 의의가 있었습니다. 최근 prompt learning과 관련된 다양한 논문이 쏟아지고 있습니다. 연구실 내에서도 prompt learning 스터디를 진행 할 정도로 다양한 분야에서 논문이 쏟아지고 있습니다. prompt learnig은 nlp 뿐만 아니라 컴퓨터 비젼 분야에서도 관련 연구가 진행되고 있습니다. 범용성이 높은 아이디어의 방법론이기 때문에 꼭 공부가 필요하겠다는 생각이 들었습니다. 본 발표를 통해 prompt learning에 대한 로드맵을 그릴 수 있어서 유익했습니다. 좋은 발표 감사합니다.

이번 세미나는 prompt-based fine-tuning 기법을 활용한 LM-BFF: Making Pre-trained Language Models Better Few-shot Learners를 주제로 진행되었습니다. 본 논문에 앞서 prompt learning에 대한 background, 이전 방법론들에 대해 자세히 설명해주셔서 이해하기 수월하였습니다. LM-BFF는 prompts를 자동을 생성하게 하였으며 소량의 labeled 데이터만을 사용하여서도 좋은 성능을 달성하였습니다. prompts 자동 생성의 경우 template을 고정한 상태에서 top-k vocab 집합을 구성하고 label word를 조합하되 train, dev 기준 accuracy가 높은 label word를 선정하는 방식으로 생성하였습니다. Fine-tuning의 경우 demonstrations 방법을 사용하되 유사도를 기반으로 하는 샘플링 기법을 제안하였습니다. LM-BFF가 접근하는 방식들이 인상 깊었는데 NLP의 특성을 잘 반영한 모델 아키텍처를 제안했다기 보다는 엔지니어링에 가깝다라고 생각하였습니다. 좋은 발표 감사합니다.

이번 세미나는 prompt based learning과 관련한 LM-BFF: Making Pre-trained Language Models Better Few-shot Learners라는 논문을 소개해주셨습니다. 우선 prompt based learning이 나오게 된 배경에 대해서 자세히 설명해주신 점이 좋았습니다. 또한 prompt based learning의 초창기 연구와 현재 발전되고 있는 방향성에 대해서도 명확하게 이해할 수 있었습니다. 결국 현재에는 수동적으로 prompt를 생성하는 것이 아니라 자동적으로 최적의 prompt를 생성하고 학습하도록 하여 모델의 성능을 높이고자 하는 시도가 이어지고 있는 것 같습니다. 특히 오늘 소개해주신 LM-BFF라는 방법론은 prompt를 자동으로 생성할 뿐 아니라 소량의 데이터셋만을 활용하여 높은 성능을 달성한 것이 매우 흥미로웠습니다. 해당 모델이 다루고 있는 task는 NLP에 한정되어 있지만 이를 구성하는 여러가지 요소들이 다른 분야에도 응용될 수 있지 않을까라는 생각을 하였습니다. 좋은 발표 감사드립니다.

이번 세미나는 LM-BFF: Making Pre-trained Language Models Better Few-shot Learners 논문에 대한 소개를 해주셨습니다. 해당 논문은 최근 pretrained Language model을 활용하기 위한 prompt 방법에 대해 제안하였습니다. 기존에 manual prompt를 사용하는 것과 달리 automatic prompt를 사용할 수 있는 방법을 제안하였습니다. 해당 방법은 먼저 정해진 template을 사용하여 학습 데이터를 통해 vocab에서 top k를 선정하여 label word 조합을 생성하고 검증 데이터를 기준으로 가장 높은 accuracy를 갖는 label word를 최종 prompt로 선택될 수 있도록 합니다. 다음으로는 데이터를 기반으로 찾은 prompt를 고정한 후 T5를 통해 적절한 template을 생성 할 수 있도록 하였습니다. 제안한 방법으로 찾아낸 prompt와 template은 GPT3에서 incontext learning 방식과 유사하게 demonstration을 함께 사용하였습니다. 실험적으로 manual prompt와 대등한 수준의 성능을 보였다는 점에서 전문가의 도움이 필요한 manual prompt 구성이 어려운 경우 사용하기 좋은 방법이라 생각되었습니다. 이번 세미나에서는 background에 대한 설명을 순차적으로 자세히 해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 ACL 21에 억셉된 Making Pre-trained Language Models Better Few-shot Learners (LM-BFF) 논문으로 진행되었습니다. 해당 연구는 기존 선행연구 PET와 비교해서 prompt를 manual하게 구축하지 않고 자동 생성하는 방식을 사용했으며, Single Prompt만 사용했다는 차이를 지닙니다. 특히 소량의 라벨링 데이터만으로 few-shot text classification에서 높은 성능을 달성한 점이 가장 큰 contribution인 것 같습니다. Prompt에 대한 정의와 등장배경부터 시작해서 전반적으로 그간의 prompt learning 흐름을 짚어주셔서 매우 유익한 발표였던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 Making Pre-trained Language Models Better Few-shot Learners (LM-BFF) 논문을 주제로 진행되었습니다. 본 논문에서 제안된 방법론인 LM-BFF는 대표적인 Prompt learning 방법론인 PET가 추가적인 unlabeled data를 필요로 하는 것과는 다르게 단지 소량의 labeled data 만으로 few-shot text classification를 풀어내는 방법론입니다. 특히 Prompt learning을 수행하기 위해선 반드시 Template과 label word를 포함하는 prompt를 생성하는 것이 중요한데, LM-BFF에서는 T5를 통해 이를 자동으로 생성하는 방법까지 제안합니다. 발표자 분께서 주제 논문에 대한 설명 뿐 아니라 prompt learning의 큰 흐름을 함께 소개해 주셔서 논문에서 제안하는 방법론의 차별점을 이해하기 쉬웠습니다. 최근 prompt learning 관련하여 이 방법이 과연 실제로 유용한가에 대해 전혀 상반되는 결론을 내는 다수의 논문이 있는 것으로 알고 있습니다. 본인도 동시에 유용하다는 논문과 무의미하다는 논문을 함께 읽은 적이 있는데, 아직까지는 스스로도 결론이 잘 나지 않는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 LM-BFF, Making Pre-trained Language Models Better Few-shot Learners 논문을 주제로 진행되었습니다. Background에서 NLP에서의 Prompt가 어떠한 이유로 등장했는지 기존 연구들을 요약해서 했고, 매우 잘 정리되어 흐름을 따라가기 좋았습니다. 해당 방법론에서는 Prompt-based Learning의 핵심인 Prompt를 사람이 직접 만드는 것이 아니라, 자동으로 생성하는 방법을 제안했고, 이것이 어떠한 장점이 있는지 잘 설명해 주었습니다. 항상 발표자료가 매우 깔끔하고, 보기 편한 발표를 준비해주셔셔 감사합니다.

금일 세미나는 "Making Pre-trained Language Models Better Few-shot Learners"라는 주제로 진행되었습니다. 본 발표에서 소개된 LM-BFF는 대표적인 prompt-based learning 모델인 PET가 manual prompt를 사용하고 모델 학습에 대량의 unlabeled data가 필요하다는 한계점을 지적하고, 이러한 한계점을 보완하여 few-shot text classification을 해결하였습니다. 세부적으로 LM-BFF는 T5의 span masking 활용하여 prompt를 자동으로 생성하였고, GPT3에서 영감을 받은 demonstration을 활용하여 fine-tuning을 함으로써 소량의 labeled data만을 활용하여 모델 학습을 가능하게 하였습니다. LM-BFF가 기존에 제안된 방법론들을 효과적으로 활용하여 PET의 큰 단점을 잘 보완한 점이 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나는 Making Pre-trained Language Models Better Few-shot Learners 이었습니다. 해당 논문은 MLM 태스크로 Pretrain된 BERT를 이용하여 Few-Shot Setting에서 Demonstration, Prompt, Verbalizer 등의 요소를 도입하여 비약적으로 분류 태스크의 성능을 향상시킨 논문입니다. 이전까지 Prompt based Learning은 GPT를 비롯한 LM 태스크로 Pretrain된 모델에서 가능하다고 여겨졌었으나, 해당 논문을 통해 BERT 기반의 모델에서도 효과적으로 가능하다는 점이 밝혀졌습니다. 특히 데이터가 부족한 Few-Shot Setting에서 기존의 Classification Head를 사용했을 때보다 Prompt를 적용했을 때 월등히 높은 성능을 기록한 것이 인상적이었습니다. Cloze Task를 수행하는 BERT에 Prompt를 적용하는데는 분명 한계가 존재하고, In-Context Learning을 수행하지 않는 모델임에도 Demonstration을 사용하는 것에 의아함이 있습니다. BERT에 Prompt를 적용할 때, Demonstration의 효과를 분석하는 연구 방향도 좋은 연구가 될 수 있을 것 같습니다. Prompt와 관련하여 오랜만에 연구실 내부의 세미나가 진행되어 매우 유익한 시간이었던 것 같습니다. 감사합니다.

이번 세미나는 LM-BFF를 주제로 진행되었습니다. Prompt base learning이 큰 성능 향상을 가져왔지만, 성능 향상의 이유를 이해하기 어렵다는 아쉬움이 있습니다. 물론 최근 여러 논문들이 다양한 케이스 스터디를 통해 원인을 밝혀내고 있지만 여전히 논의되어야 할 부분이 많다고 생각합니다. 개인적으로는 다양한 LLM들과 tuning하는 방법론들이 쏟아지는 요즘 어떤 연구를 해야할까 고민이 깊어지는 시점입니다. 꼼꼼히 방법론들을 정리해주셔서 저도 많은 공부가 되었고, 해당 세미나를 기점으로 추후 진행되었던 Prompt 스터디까지 연결되어 큰 도움이 되었습니다. classification에 직접적으로 사용되는 hard prompt도 흥미로운 주제이지만, soft prompt 방법들도 세미나에서 자주 다루어진다면 재미있을 것 같습니다. 감사합니다