이번 세미나는 프롬프트 기반의 학습(prompt-based learning)을 이용하여 텍스트 분류(Text Classification) 과업을 수행하는 방법론을 주제로 진행되었습니다. 이는 일반 텍스트 분류 과업과는 다르게 우선 Mask 토큰이 포함된 템플릿을 구성하고 이를 입력 값에 활용하여 mask에 해당되는 토큰(단어)를 예측하여 단어 확률 분포(vocab probability distribution)를 구합니다. 해당 분포를 다시 Verbalizer 라는 함수를 통해 라벨 확률 분포(label probability distribution)를 구하는 과정을 거쳐 최종적으로 분류가 진행됩니다. 즉 verbalizer는 단어 확률 분포와 라벨 확률 분포를 mapping 하는 함수입니다. Verbalizer를 크게 두 가지로 분류할 수 있는데, 하나는사전에 단어별로 label을 어느 정도 지정해놓는 hard 한 방식과 다른 하나는 사전의 명시적인 지정 없이 mask 토큰의 representation을 이용하여 바로 label을 예측하는 soft한 방식입니다. 이에 각 방식의 방법론을 하나씩 소개해주셨습니다. 개인적으로 조금 더 이해가 잘 되고 현실적인 방식은 hard verbalizer 인 것 같습니다. Hard verbalizer에서는 큰 vocab size로 인한 inference의 속도 개선 또한 필요한 부분이라는 생각이 듭니다. 한편, 데이터가 적은 상황에서 template을 이용하는 프롬프트 기반의 학습 방식이 효과적인 사실은 꽤나 신기했습니다. 어쩌면 분명한 패턴을 인위적으로 부여해줌으로써 모델이 학습하기 쉬운 것인가 라는 생각을 해보았습니다. 발표 자료가 너무 시각적으로 이쁘고 내용도 부족함이 없어서 재밌게 들을 수 있었습니다. 감사합니다.

이번 세미나는 Various Methods to develop Verbalizer in Prompt-based Learning을 주제로 KPT, WARP논문을 다루었습니다. 두가지 논문 모두 fewshot text classification에서 높은 성능을 보인 방법들로 KPT는 hard vervalizer를, WAPR는 soft verbalizer를 사용합니다. PLM의 우수성을 보여주기 위해 연구되었던 prompt는 2020년부터 활발히 연구되어 오고 있습니다. 특히 [MASK] 토큰을 포함하는 형태로 문장을 변경시켜 단어를 예측하고, 예측된 단어가 어떠한 class에 속하는지 분류 함으로서 text classification 문제를 재 정의했습니다. 소개해주신 두가지 방법론들은 우수한 성능을 기록했으나, 개인적으로 20년 연구들과는 달리 최근의 prompt 연구는 현실세계에서 실용적인가에 대해서 논의될 필요가 있습니다. 현실 세계에서는 label 데이터가 부족하므로 fewshot에서 좋은 성능을 나타내는 모델은 항상 필요합니다. 다만 해당 연구분야가 성능을 기록하는 방식이나 실험 세팅은 앞선 motivation과 모순되는 부분이 있지 않나 생각됩니다. 보다 유용하고 현실적인 세팅에서 좋은 성능을 기록하는지 평가하는 기준이 필요하다는 생각이 들었습니다. 이와는 별개로 소개해주신 논문들은 모두 흥미로웠습니다. 특히 KPT가 기존 연구와 현재 연구중이신 방법론을 연결해주는 중요한 논문이 될것이라 생각했고, WARP는 soft verbalizer의 장점을 활용한 방법론이라 생각되었습니다. 매번 좋은 세미나를 통해 많이 배우고 있습니다. 감사합니다.

이번 세미나에서는 prompt learning에서 Verbalizer를 개선시킨 두 방법론 KPT(Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification), WARP(WARP: Word-level Adversarial ReProgramming)를 소개해 주셨습니다. 각각은 ACL 2022와 ACL 2021에 게재된 논문에서 제안된 방법론으로 전자의 경우는 명시적인 label word를 사용하여 Verbalizing을 수행하고, 후자의 경우는 명시적인 label word 없이 [mask] representation의 정보를 활용하여 공간 상의 거리를 기반으로 하여 verbalizing을 수행한다는 차이가 존재합니다. 우선 KPT는 외부 Knowledge Base에서 class 이름과 관련된 단어들을 추출하여 Verbalizer(Label words) 보강하는 것을 제안하였으며, 그를 정제하는 과정을 매우 정교하게 설계한 것이 contribution이라 느껴졌습니다. 특히 논문에서는 zero-shot 상황에서 prompt learning의 PLM은 사전확률에 의해 bias가 발생할 수 있음을 지적하며, prior 확률이 높은 단어는 예측 확률을 낮추고, prior 확률이 낮은 단어는 예측 확률을 높이는 Contextualized Calibration을 통해 예측 확률 값을 보정하였습니다. 본 논문에서는 외부지식으로 별개의 서비스를 그대로 가져다 사용을 하였는데, 최근 다른 연구들을 공부하면서도 느끼는 것이지만, 방법론의 일부분을 다른 서비스를 통해 해결하는 경우가 많이 등장하고 있는 것 같습니다. 다음으로 WARP는 처음 KPT와의 짚은 것처럼 최적의 prompt/verbalizer token embedding을 word embedding 공간 상에서 탐색한 방법론입니다. 특히 일반적으로 이미지 domain에서 활용되는 Adversarial Reprogramming 기법을 활용하여 Prompt token embedding에 변화를 주어 model을 통과시킨 것이 인상적이었습니다.(Word-level Adversarial Reprogramming) 주제였던 두 논문 이외에도 prompt learning 관련 연구들을 알기 쉽게 정리해 주시고 이해하기 쉬운 발표자료 준비해 주셔서 유익하게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 prompt learning 방법론인 "Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification" (KPT)와 "Word-level Adversarial ReProgramming" (WAPR)에 대해서 다루어주셨습니다. 각 논문은 verbalizer를 개선시키기 위한 기법을 제안하였습니다. KPT의 경우 zero-shot을 가정한 상황에서 데이터의 부재로 인해 사전확률에 bias가 발생하는 문제를 해결하기 위하여 contextulaized calibration을 통해 확률 값을 보정하였는데 비단 이 분야뿐만 아니라 다른 연구 분야에서도 범용적으로 응용할 수 있을만한 아이디어라는 생각이 들었습니다.. WAPR의 경우에는 adversarial reprogramming이라는 기법을 사용하였는데 이미지 분야에서 제안된 기법을 word level에서 수행하여 문제를 해결한 부분이 인상 깊었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification이라는 논문과 Word-level Adversarial ReProgramming라는 두 가지 논문을 다루었습니다. 첫 번째로 다루었던 KPT라는 방법론은 hard verbalizer를 사용하는 방법론으로써 외부 knowledge base에서 label word를 추출하여 verbalizer구성에 활용하고, zero-shot 상황에서 label word의 편향을 보정하기 위해 calibration 방식을 사용한 것이 핵심이라고 할 수 있습니다. 방법론과 실험 모두 zero-shot과 few-shot을 나누어서 구성한 것이 인상적이었습니다. 두 번째로 다루었던 WARP라는 방법론은 soft verbalizer를 사용하는 방법론으로써 input embedding에 prompt token을 삽입하여 학습을 통해 template을 구성합니다. 또한 MLM head에서 decoder를 거치지 않고 verbalizer token embedding을 직접 사용하여 output을 산출하는 방식을 사용합니다. prompt learning 방법론에 대한 분류를 background에서 설명해주시고 hard와 soft verbalizer의 방법론들을 하나씩 다루어서 전반적으로 prompt learning을 이해하기 쉬웠던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Various Methods to develop Verbalizer in Prompt-based Learning을 주제로 총 두개의 논문을 소개해 주셨습니다. 첫번째 논문인 Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification에서는 KPT를 소개하고 있으며 외부 knowledge base를 이용하여 클래스명 관련 단어들을 추출하여 verbalizer를 보강하는 기법을 이용하고 있습니다. Verbalizer란 label 단어와 실제 클래스를 이어주는 매핑 함수인데, KPT의 경우에는 클래스를 대표하는 여러개의 단어들을 탐색한 후 manual하게 구성하고 있습니다. label 단어들은 정제하는 과정은 zero-shot이냐 few-shot이냐에 따라 차이가 있는 부분 또한 확인할 수 있습니다. 두번째 논문인 WARP: Word-level Adversarial ReProgramming에서는 최적 임베딩을 워드 임베딩 공간 상에서 탐색하고자 하고 있습니다. WARP는 KPT와 달리 명시적인 label 단어 자체를 이용하지 않고, 마스킹된 representation 정보만을 이용한다는 점에서 차이가 있습니다. WARP에서는 adversarial reprogramming의 아이디어를 차용하여, fine-tuning을 위한 최적의 prompt와 verbalizer를 워드 임베딩 공간상에서 연속적인 벡터 형태로 찾고자 하고 있습니다. 발표자료가 깔끔하게 구성되어 있고, 많은 정보를 다룸에도 정리가 잘 되어 있어 흐름을 잘 따라갈 수 있었습니다. 특히 PPT의 구성력은 매번 더 배워가고 싶습니다. 좋은 발표 감사합니다!

본 세미나에서는 Various Methods to develop Verbalizer in Prompt-based Learning 이라는 주제로 KPT(Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification), WARP(WARP: Word-level Adversarial ReProgramming)에 대한 리뷰를 진행하였습니다. Prompt based learning의 경우 명시적인 label word가 있냐 없냐로 크게 분류를 할 수 있는데, KPT의 경우 명시적인 label word를 통해 verbalizing을 진행하고, WARP의 경우 명시적인 label word 없이 [mask] representation을 통해 verbalizing을 수행합니다. 세미나를 두 번에 나눠서 진행할 만큼 prompt 방법론 전반적인 내용에 대해 상세히 설명을 해주셔서 현존하는 대부분의 prompt 방법론들에 대한 정보를 알 수 있었습니다. 특히 KPT, WARP로 나누어 명시적인 label word가 있는지에 대한 기준으로 나누어서 prompt learning에 대한 설명을 진행해 주셔서 조금 더 체계적으로 흐름을 잡을 수 있었습니다. 최근 NLP 도메인에서 LLM을 더 효과적으로 사용하기 위해 prompt에 대한 관심이 지속적으로 증가하고 있으며 prompt를 통해 단순히 LLM 뿐만 아니라 다양한 분야에서 활용이 가능할 것이라고 예상됩니다. 좋은 발표 감사합니다.

금일 세미나는 "Various Methods to develop Verbalizer in Prompt-based Learning"라는 주제로 진행되었습니다. 본 발표에서는 prompt의 verbalizer의 종류에 따라 prompt learning 방법론들이 hard와 soft verbalizer로 분류되었고, hard verbalizer 방법론인 KPT와 soft verbalizer WARP가 소개되었습니다. 개인적으로는 language model의 head에서 도출된 masked language model의 logit을 활용하는 hard verbalizer가 적절한 label word에 대한 기준이 없다는 한계점을 지적하고, 적절한 단어를 도출하는 것이 아닌 mask representation을 잘 활용하는데 초점을 맞춘 soft verbalizer 방법론이 더 흥미로웠습니다. Soft verbalizer 방법론들은 공간 상의 거리를 기반으로 최적의 prompt/verbalizer token embedding을 학습하는 방법에 집중하는데, 오늘 소개된 WARP는 vision의 adversarial programming에서 영감을 받아 모든 파라미터를 고정한 상태에서 새롭게 추가한 prompt 및 verbalizer token embedding만 학습하는 과정을 통해 fine-tuning에 적합한 최적의 token을 word embedding 공간에서 학습하였습니다. 개인적으로 WARP에서 제안한 representation 학습 방법은 representation을 잘 학습해야하는 soft verbalizer 방법론의 목적에서 매우 당연하고 심플한 흐름이라는 생각이 들었는데, 이러한 아이디어을 구체적으로 잘 구조화해서 좋은 결과를 달성한 점에서 정성스러운 연구라는 생각도 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Various Methods to develop Verbalizer in Prompt-based Learning를 주제로 하여 2 가지의 논문을 바탕으로 진행되었습니다. 해당 논문들은 모두 Downstream task를 사전학습과 동일한 MLM task로 치환하여 사전학습 된 Knowledge를 최대한 활용하는 Prompt-based Fine-tuning에 대한 방법론을 다루고 있는데, 이러한 Fine-tuning 방법은 특히 Few-shot setting에서 강세를 보이고 있습니다. 먼저, Classification을 진행하고자 하는 문장이 있을 때, Masking이 포함된 템플릿을 구성하여 Vocab의 분포를 생성한 후, 최종적으로 Label word와 실제 class를 이어주는 Mapping function인 Verbalizer를 통하여 최종적인 예측 확률 분포를 생성하게 됩니다. 이때, Verbalizer를 구성하는 방법에 따라 적절한 Label word를 선정하기 때문에, 이러한 Verbalizer를 어떻게 구성하느냐에 따른 여러가지 방법들이 존재합니다. 해당 세미나에서 다루는 첫 번째 모델인 KPT는 명시적인 Label word를 정의하면서, class를 대표하는 여러 개의 단어를 찾고자 하는 Multi Label words Hard verbalizer 방법을 따르고 있으며 두 번째 모델인 WARP는 명시적인 Label word를 정의하지 않고 Mask의 Representation 정보만을 활용하자는 Soft verbalizer 방법을 따르고 있습니다. 먼저 KPT는 외부 Knowledge Base에서 class 이름과 관련된 단어들을 추출하여 Verbalizer를 보강한다는 방법을 취하고 있습니다. 이때 Label words를 정제하는 과정에서는 zero-shot이냐, few-shot이냐에 따라서 차이가 있습니다. 다음으로 WARP에서는 Input Sequence가 들어올 때, Mask와 k개의 prompt token embedding을 추가하며, class의 개수만큼 Verbalizer token embedding을 형성하고 있었습니다. 이후, 모든 파라미터를 Freeze하여 prompt token embedding과 Verbalizer token embedding만을 업데이트 하여 Fine tuning을 위한 최적의 Prompt와 Verbalizer를 찾고자 하고 있다는 것으로 이해할 수 있었습니다. 발표자분이 발표 자료도 눈에 잘 들어오게끔 깔끔하게 만들어 주시고, 2번의 발표에 걸쳐 자세하게 설명해주신 덕분에 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 Verbalizer를 중심으로 Prompt-based Learning 방법론들을 소개해 주셨습니다. Verbalizer를 중심으로, 사람이 이해할 수 있는 형태의 Label Word를 사용하는 Hard Verbalizer 또는 Continuous한 [MASK] Token의 Representation을 활용하는 Soft Verbalizer를 사용하느냐에 따라 Prompt-based Learning 방법론들을 분류할 수 있습니다. 이번 세미나에서는 각 Class를 대표하는 여러 개의 명시적인 Label Words를 사용하는 방법론 중 하나인 KPT와 Soft Verbalizer를 사용한 방법론 중 하나인 WARP를 중심으로 소개해 주셨습니다. KPT에서는 Hard Verbalizer를 보강하기 위해 외부 Knowledge Base에서 Class Label과 관련된 단어들을 추출해 추가적인 정제 과정을 거칩니다. Promt-based Learning 관련 연구들을 보면 종종 Verbalizer에 사용되는 Label Word에 따라 최종 성능이 변하는 실험 결과를 함께 보여주는데, 이전에 제가 보았던 방법론들에서는 사람이 직접 Pair를 구성하거나, LM의 Vocabulary 내에서 특정 Token을 이용하는 경우가 대부분이었습니다. 그래서인지 외부 Knowledge Base를 통해 Hard Verbalizer를 보강한다는 아이디어가 참신하게 느껴졌습니다. Soft Verbalizer 관련 방법론으로 소개해주신 WARP에서는 명시적인 Label Word를 사용하지 않고 Verbalizer Token Embedding과 [MASK] Representation을 내적하여 Class의 Logit으로 활용하는 방법을 이용했습니다. Hard Verbalizer의 경우 단순히 매핑 함수 역할이었다면 Soft Verbalizer의 경우 매핑 함수라기보다는 추가적인 Layer라는 생각이 개인적으로 들었습니다. 이번 발표 역시 이전 발표처럼 발표 구성과 자료를 매우 잘 준비해주셔서 세미나를 이해하는데 많은 도움이 되었습니다. Prompt-based Learning에 관심이 있었는데, Verbalizer와 관련해 이런 연구들도 이루어진다는 것을 처음 알게 되어서 재미있게 들을 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Prompt-based Learning 방법론 중 Verbalizer를 이용하여 개선한 방법론들인 KPT(Knowledgeable Prompt-tuning)과 WARP(Word-level Adversarial ReProgramming)를 소개 해주셨습니다. 해당 논문들은 Prompt 를 이용하여 Text classification task를 수행하는 방법론으로 Verbalize를 Prompt tuning에 어떻게 활용하는 지에 따라 차이점이 존재합니다 KPT는 사람이 이해할 수 있는 명시적인 label-word인 Hard Verbalize를 활용하며 반대로 WARP는 [mask] representation을 이용하는 Soft Verbalize를 활용합니다. KPT의 경우 외부 knowledge base에서 class의 이름과 관련된 단어들을 추출하여 Verbalizer를 보강하며 Relevance refinement를 통해 label word와 class 간의 연관성을 측정하여 연관성이 뚜렷한 높은 단어만 남기고 나머지는 제거하게 됩니다. 그 후 calibaration을 통해 prior가 한 쪽으로 쏠리지 안헤 보정 해주며 최종적으로 class의 probability를 도출하게 됩니다. WARP의 경우 Image task에서 adversarial perturbation을 가하여 파인튜닝 하는 방법론에서 아이디어를 얻은 것으로 프롬프트 토큰 임베딩만 learnable parameter로 설정하여 학습하는 방식을 사용합니다. 두 방법론 모두 few-shot 세팅에서 좋은 성능을 보여주고 있습니다. 프롬프트 러닝과 verbalizer가 익숙치 않았기 때문에 긴 시간을 할애 한 자세한 Background 설명이 이해에 도움이 되었으며, Hard 혹은 Soft로 한쪽에 집중되어 발전해 가는 방식이 아닌 각각 장단점이 있어 두 분야에서 계속 연구가 되고 있다는 점이 인상깊었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Prompt 기반의 Finetuning 방법론 중에서도 Verbalizer를 중심으로 다루고 있는 두가지 논문이 중점적으로 다뤄졌습니다. Prompt 기반의 방법론들이 결국 Pretrain과 유사한 환경을 finetuning에서 조성하여 pretrain의 이점을 그대로 가져오고자 하는 점에서 볼 때, 가장 큰 문제점은 verbalizer를 Downstream Task마다 개별적으로 구성해야 하고, Verbalizer에 따라 너무 큰 성능차이가 난다는 점인 것 같습니다. 이를 KPT에선 대량의 vocab distribution 중 외부 지식을 이용하여 Label Word를 선택하는 방법론을 제안하면서 Calibration까지 적용하도록 제안하고 있습니다. 이때 하나의 토큰이 아닌 label word에 대해 단순 평균을 내는 등의 한계점이 존재하지만, 비교적 좋은 label word를 뽑는 기준으로 마련하려고 노력한 점에서 큰 성과라고 볼 수 있을 것 같습니다. WARP는 discrete word를 label word로 직접 지정하지 않고, soft verbalizer를 이용하여 한계를 극복하려고 하고 있습니다. 하지만 이 과정에서 input에 대한 learnable parameter의 위치, 갯수 등의 추가적인 hyper-parameter가 발생하고, 이에 대한 성능 변동이 매우 심하다는 점에서 여전히 많은 한계점이 존재하는 것 같습니다. Few-Shot 환경에서 좋은 성능을 확보하기 위해 Prompt 기반의 Finetuning 방법론이 해법이 되는 것이 자명한 사실이겠지만, 아직은 연구해야 할 부분이 많은 분야라는 점을 많이 느낄 수 있는 세미나였습니다. 자세한 발표 감사드립니다.

이번 세미나는 Various Methods to develop Verbalizer in Prompt-based Learning를 주제로 지난 세미나에서 prompt에 이어서 이번에는 verbalizer에 대한 다양한 연구를 소개해주셨습니다. 먼저 가장 인샆깊게 들었던 부분은 배경지식으로 verbalizer의 갈래를 설명해 주신 점이었습니다. Prompt에 대한 다양한 연구가 나오면서 verbalizer도 함께 등장한 것으로 알고 있지만 그에 따른 체계나 유형이 명확하지 않았었는데 잘 정의하여 정리해주셔서 이해가기 좋았습니다. 세미나에서는 다양한 verbalizer 방법 중 두 가지에 대하여 소개해 주셨습니다. 첫번째로는 Knowledgeable Prompot-Tuining(KPT)에 대하여 소개해주셨습니다. KPT에서 재밌게 들었던 내용은 multi-label에 대하여 verbalizer를 relevance refinement를 통해 label word와 class 간의 연관성을 고려한다는 점이었습니다. 또한 zero-shot 상황에서 prior를 고려하여 calibration을 수행하는 것이 성능에 큰 영향을 주었다는 점에서 새롭게 배웠습니다. 두 번째 논문은 Word-level Adversarial ReProgramming (WARP) 논문에 대하여 소개해주셨습니다. 여기서 Adversarial Reprogramming에 대한 개념이 잠깐 등장하는데 이전 vision 연구에서 adversarial reprogramming을 통해 prompt 방법은 제안한 논문이 생각났었는데 이를 인용하여 NLP에 적용한 케이스여서 재밌게 들었습니다. 하지만 adversarial reprogramming에 대하여 아직 명확하게 이해가 안되어서 아쉬움이 남습니다. 두 번에 연이은 긴 세미나 였지만 긴 시간에도 불구하고 좋은 발표해주셔서 감사합니다.

이번 세미나는 Various Methods to develop Verbalizer in Prompt-based Learning을 주제로 두 차례에 걸쳐 Hard Vervalizer와 관련된 Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification 논문, Soft Vervalizer와 관련된 WARP: Word-level Adversarial ReProgramming 논문으로 진행되었습니다. Hard Verbalizer는 Verbalizer를 통해 말그대로 하드하게 명시적으로 Label word를 매핑시키는 방법, Soft Vervalizer는 따로 명시적으로 Label word를 정의하지 않고 mask토큰에 해당하는 representation을 활용해 공간 상의 거리를 기반으로 학습을 진행하는 방법입니다. KPT는 Hard Verbalizer 중에서도 class를 대표하는 여러 개의 단어를 찾는 논문으로, zero-shot과 Few-shot 상황을 나누어 진행한 것이 흥미로웠고, WARP는 CV 분야의 Adversarial Reprogramming이란 개념을 접목시켜 문제를 해결하고자 한 점이 신선했습니다. 지난 세미나에 이어 이번에도 few-shot text classification task 상황에서의 Prompt-based Learning 활용에 대한 논문을 다뤄주셔서 재밌게 들을 수 있었고, 무엇보다 그림들이 다 직관적으로 잘 나타나 있어서 세미나를 듣는 내내 이해가 수월했던 것 같습니다. 좋은 발표 감사합니다!!

이번 세미나에선 Various Methods to develop Verbalizer in Prompt-based Learning 를 주제로 KPT, WARP 라는 두 가지 연구가 소개되었습니다. 두 연구는 few-shot classification 문제를 풀기 위한 prompt based 방식에 각각 hard verbalizer와 soft verbalizer를 사용한 방법론을 제안하고 있습니다. KPT 는 hard verbalizer 구축에 외부 knowledge base에서 분류 class와 관련된 단어들을 추출하여 사용하는 것으로 기존 verbalizer를 보강하였고, 성능뿐만 아니라 calibration 측면에서도 효과가 있었습니다. 하지만, 외부 데이터를 사용하는 것이 few-shot setting에 맞는 것인가 하는 의문은 들었습니다. 반면, WARP 에선 discrete word를 사용한다는 hard verbalizer의 문제점을 보강하여 mask 토큰을 사용하는 soft verbalizer 를 사용합니다. 여기서 Adversarial reprogramming 방식이 사용되는데, 개인적으로 아이디어가 adversarial programing에서 착안하여 참신하다 생각되었고 논리적인 연결성이 부족한데도 성능이 나온다는 점도 인상 깊었습니다. 또한, 세미나중 교수님께서 질문 주셨던 것처럼 hard와 soft 방식이 모두 사용될 수 있는 다른 연구들에선 점차 성능면에서 soft의 강점이 드러나는 쪽으로 연구가 진행되는데, (현재는 어느 하나가 우위를 점하고 있는 상태는 아니라고 발표자 분께서 답해 주셨지만)verbalizer 관련 연구에서도 비슷한 방향으로 향후 연구가 진행될지 관심이 갔습니다. 2회에 걸쳐 유익한 세미나 발표 진행해주셔서 감사합니다.

이번 세미나는 Various Methods to develop Verbalizer in Prompt-based Learning을 주제로 진행되었습니다. "Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification" (KPT)와 "Word-level Adversarial ReProgramming" (WAPR) 두가지 논문에 대해서 설명해주셨는데 외부 knowledge base를 활용해서 verbalizer를 보강하는 방법, 최적의 prompt/verbalizer token embedding을 word embedding 공간 상에서 탐색하는 연구였습니다. 먼저 KPT는 외부 knowledge base에서 class 이름과 관련된 단어들을 추출하여 label words 후보군으로 뽑은 후 class 간의 연관성이 높은 단어들만 남기는 정제 과정을 거친 후 학습을 진행하는 방법을 사용하였고, WAPR은 비전 분야에서 연구된 adversarial reprogramming을 차용하였습니다. 두번의 세미나를 통해 prompt learning에 대해 더 자세하고 많은 내용을 들을 수 있었던 것 같습니다. 좋은 발표 감사합니다.