금일 세미나에서는 Adapter를 사용하여 knowledge injection을 진행한 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters에 대하여 살펴보았습니다. LM layer 위에 adapter layer를 추가하고, adapter layer만 학습하는 기존의 방식이 아니라, adapter block을 LM 외부로 빼서 학습하는 아이디어를 제안하고 있습니다. 실험 결과도 준수했고, 제안하는 아이디어의 효용성을 보여주는 실험 설계도 좋았다고 생각됩니다. 다만 발표 초반에 본 논문의 목적이 adapter를 이용하여 catastrophic forgetting을 해결하는 것이라 설명해주셨는데, 실험 파트에서 지금까지 많이 봐오던 catastrophic forgetting을 위한 실험 결과는 찾을 수 없어서 신기했습니다. 코드와 함께 설명하는 부분들이 많아서 이해가 쉬운 발표였습니다.

이번 세미나에서는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters라는 주제의 논문 발표가 있었습니다. 해당 논문에서는 Knowledge를 주입하기위해 전체 모델의 파라미터를 업데이트하는 것이 아닌, adapter라는 모듈을 도입하여 기존 모델의 파라미터를 고정하고 효율적으로 플러그인 방식으로 정보를 활용할 수 있는 방법론을 제안합니다. 특히, 이를 통해 catastrophic forgetting 문제를 완화했습니다. 세미나에서 질문이 나왔던 것처럼 adapter의 위치에 따른 실험 ablation이 없어 아쉬웠지만 그 외에 정량, 정성적인 실험 설계와 결과가 모두 인상깊었습니다. 발표자료가 잘 정리되어 있고 특히 코드와 함께 설명해주셔서 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 언어모델의 knowledge infusion을 주제로 다루어졌습니다. 소개된 논문은 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 입니다. 논문의 제목에서도 언급된 Adapter란 언어모델의 효과적인 Fine-tuning을 위해 학습가능한 파라미터 수를 줄이는 학습 방법 중 하나 절대적인 파라미터의 양은 증가하지만 실질적으로 학습에 참여하는 파라미터의 수는 효율적으로 관리 될 수 있는 것입니다. 궁극적으로 하고자 하는 것은 언어 모델에 추가적으로 정보를 주입하는 것인데 마치 언어모델을 하나의 저장소처럼 보는 관점이 새삼 신기하게 느껴졌습니다. 한편, 작년에 나온 논문임에도 벌써 인용 수가 200회가 넘었다는 점은 가히 놀라웠습니다. 재밌는 발표 잘 들었습니다!

이번 세미나에서는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 논문에 대해서 다뤄 주셨습니다. 해당 논문은 효율적인 파라미터 튜닝을 위한 k-adaptor 방법론을 제안한 논문으로 큰 언어 모델을 직접 튜닝을 하는 것이 아닌 adapter layer를 추가하여 해당 레이어르 학습하는 방식으로 모델을 튜닝 합니다. Adapter는 크게 두 종류가 존재하며 Factual knowledge와 Linguistic knowledge 를 위한 adapter 입니다. 기존에도 adapter를 이용한 방법론이 존재 하였지만 기존엔 트랜스포머 블록 안에 있었던 반면 해당 논문에서 제안한 방법론은 트랜스포머 블록 바깥에 adapter layer가 위치합니다. 두 adapter를 독립적으로 학습시키게 되고 최종적으로 트랜스포머의 아웃풋과 concat하여 사용하게 됩니다. 기본 Backbone 언어모델이 너무나 큰 탓에 프롬프트 튜닝이나 이 adapter 방식 처럼 파라미터를 효율적으로 학습시키는 방향으로 계속 연구가 되어가는 것 같습니다. 깔끔한 발표, 설명 덕분에 자연어 분야를 잘 모름에도 잘 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 연구에 대해 소개해 주셨습니다. 기존에 Adapter 방법론들은 Language Model의 Transformer Layer내에 Module처럼 추가된 구조로 사용되었습니다. 그러나 해당 연구에서 제안한 구조는 외부에 독립적인 Adapter Layer를 사용하는 구조를 이용했습니다. Language Model의 외부에 Adapter를 사용한다는 점에서 구조적 차별성을 보이기도 했지만, Factual Knowledge를 담당하는 Adapter와 Linguistic Knowledge를 학습하는 Adapter를 독립적으로 학습시킨다는 점이 인상적이었습니다. 개인적으로 저 또한 언어 모델을 효율적으로 Fine-Tuning하는 방법론에 대해 최근 많은 관심을 가지고 있는데, 발표자분께서 이전 세미나에 이어 이번에도 PELT 방법론 중 하나를 소개해 주셔서 흥미롭게 들을 수 있었습니다. Prompt 관련 논문을 읽어본 이후, Adapter와 비교하는 내용이 종종 등장해서 Adapter 관련 최근 어떤 연구가 이루어졌는지 이번 세미나를 통해 접할 수 있어서 좋았습니다. 또한 해당 방법론에 대한 설명과 같이 코드를 보여주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 논문을 다루어 주셨습니다. 본 논문에서는 factual knowledge를 학습하는 fac-adapter, linguistic knowledge를 학습하는 lin-adapter, 두가지 adapter를 이용하여 독립적으로 knowledge를 주입하는 k-adapter를 제안하고 있습니다. 이때, fac-adapter는 relation classification task, lin-adapter는 dependency relation prediction task를 수행한다는 점에서 각각의 adapter는 task specific adapter라고 할 수 있습니다. 기존의 방법론들은 학습 진행시 plm이 업데이트 되기에 catastrophic forgetting 문제가 발생한다는 한계점이 있었는데, k-adapter에서는 plm을 고정시키고 adapter layer만 업데이트하며 이러한 문제를 방지하고자 합니다. 기존 adapter와 비교시 transformer 내부가 아닌 외부에 독립적으로 adapter layer를 구성했다는 점에서 구조적인 차이가 있습니다. 발표 자료에 있어 직접 다시 그린 모델 figure와 예시들이 인상깊었고, 코드(concatenation 부분), 후속연구도 같이 다루어 주셔서 이해가 좀더 수월하였던 것 같습니다. 지난 세미나에 이어 parameter efficient tuning관련 논문을 다루어 주셨는데 흐름이 잘 이어진 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 "K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters" 논문을 소개해주셨습니다. 이전 세미나에서는 Adapter 뿐만 아니라 다양한 경량화 방법들에 대한 내용을 소개해주셨는데 이번에는 Adapter를 활용하여 catastrophic forgetting을 완화할 수 있는 방법에 대하여 소개해 주셨습니다. Adapter는 기존 사전학습된 모델에 작은 module을 추가하여 해당 module만 학습하는 방식을 말합니다. 따라서 adapter를 활용하면 catastrophic forgetting를 해결할 수 있음을 보였고 추가적으로 knowledge injection에 대한 설명을 통해 본 논문에서 제안하는 K-Adapter 방법을 소개하였습니다. 오늘도 좋은 논문 발표 감사합니다.

이번 세미나에서는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters라는 논문을 다루었습니다. 이 논문의 모델인 k-adapter는 최근 많은 LLM에서 지적되고 있는 catastrophic forgetting 문제를 해결하기 위한 모델입니다. 이를 위해 k-adapter는 task specific adapter module을 사용하여 knowledge injection을 통해 catastrophic forgetting을 방지합니다. 기존의 adapter와는 달리 독립적인 학습을 위해 기존 모델의 구조를 outside plug-in 구조로 변형한 것이 인상적이었습니다. 또한 parameter efficient learning의 특성과 multi-task learning을 활용하여 catastrophic forgetting 문제를 해결한 것은 직관적인 해결 방법이어서 좋았습니다. 발표자료가 가독성이 좋았고 코드와 같이 설명해주셔서 구현을 어떤 방식으로 하는지도 알 수 있었던 유익한 세미나였던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 논문을 바탕으로 진행되었습니다. 해당 논문에서 제시하는 K-ADAPTER 모델은 서로 독립적으로 이루어진 Adapter인 Factual adapter, Linguistic adapter를 통하여 Knowledge를 Injection하여 이전 모델들에서 존재하던 Catastrophic forgetting 문제와 Continual Knowledge injection이 불가하다는 문제를 해결할 수 있었습니다. 이때, 기존 Adapter와는 다르게 여러 개의 Adapter들의 독립적인 학습을 위하여 Transformer 내부에 Adapter layer를 설치하지 않고 외부에 독립적인 layer를 구성한다는 점이 다른 방법론들과의 차별점으로 다가왔으며, 실험 결과에서도 다양한 데이터 셋과 Task에 대하여 실험을 진행하였던 것도 인상적이었습니다. 발표자분이 모델의 구조를 하나하나 자세히 설명해 주시고, 불명확한 부분은 코드를 바탕으로 설명해 주셔서 이해가 좀 더 수월했던 것 같습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 발표자께서 지속적으로 소개해 주시고 있는 Parameter efficient language model tuning 방법론 중 Adapter에 knowledge를 주입한 K-Adapter를 소개해 주셨습니다. 본 방법론은 기본적으로 전신이 되는 Adapter와 같이 Fine-tuning을 수행할때 Language 모델의 parameter 전체를 갱신 하는것이 아니라 추가적인 adapter layer parameter 만을 갱신 하는 것으로 훨씬 효율적인 학습을 달성합니다. K-Adapter는 차별적으로Adapter 모듈을 모델의 외부로 빼내어 Factual knowledge와 Linguistic knowledge를 독립적으로 주입할 수 있도록 하였습니다. 덕분에 논문에서도 준수한 성능을 리포팅하고 있으며 catastrophic forgetting 또한 개선했다고 합니다. 발표자께서 하나의 task를 지속적으로 소개해주시며, 그때 마다 코드와 함께 자세히 설명해 주셔서 이해하기 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 ‘K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters’를 주제로 진행되었습니다. 기존의 방법론들은 학습 과정에서 PLM이 업데이트 되면서 catastrophic forgetting이 발생하며, continual knowledge injection이 불가하다라는 한계점이 있었습니다. 이를 해결하기 위해 K-adapter는 adapter layer만 업데이트하여 catastrophic forgetting을 방지하면서 continual knowledge injection이 가능하게 하였습니다. 또한 Factual adapter와 Linguistic adapter 두가지를 사용하여 전자는 relation classification task를 통해 factual knowledge를, 후자는 dependency relation prediction task를 통해 linguistic knowledge를 학습하도록 하는 특징을 가지고 있습니다. parameter efficient tuning에 대해 좋은 발표 감사합니다.

이번 세미나는 여러 knowledge를 독립적으로 주입하기 위해 Adapter를 활용하여 네트워크 구조를 설계한 논문 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters를 주제로 진행되었습니다. 발표자 분의 지난 세미나에 이어 이번 세미나에서도 최근 자연어처리 분야에서 Parameter efficient fine-tuning 기법으로 많이 활용되는 Adapter 관련 논문을 소개해주셨습니다. 본 논문은 각각 사전학습된 언어 모델에 factual knowledge와 linguistic knowledge를 주입하기 위해 독립적으로 FacAdapter와 LinAdapter를 학습하고 output을 concat하는 방식을 취하고 있습니다. Adapter 내부에는 2개의 transformer layer가 자리하고 있으며 여러 adapter를 독립적으로 학습하기 위해 outside plug-in 구조로 변형한 점이 주요 특징입니다. 기존 adapter와 크게 다르지 않았기에 이해가 수월했습니다. 독립적인 정보 주입을 위해 두 adapter를 동시에 활용하는 아이디어는 비교적 간단하다고 느껴질 수 있는데, 간단해보일 법한 아이디어를 연구적으로 풀어내어 논문화를 한 점이 인상 깊었습니다. 다만, 세미나 진행 중에도 질문 드렸듯이, adapter를 몇번째 layer에 추가할 것인지에 따른 ablation을 다양하게 진행했어야 한다고 생각하는데 그 부분이 부재하여 아쉬웠습니다. 발표자 분의 두번째 세미나 고생 많으셨습니다. 무엇보다 깔끔한 ppt 템플릿과 내용 구성이 좋았습니다. 다음 세미나도 기대하겠습니다.

이번 세미나는 "K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters"이었습니다. 해당 논문은 Adapter를 이용하여 모델 외부에 별도로 사용하여, 언어적, 사실적 지식을 학습하고자 하는 방법론이었습니다. 특히 이를 위해 기존 모델의 Hidden Representation을 특정 레이어에서 입력으로 받으면서, Knowledge Graph나 Entity 정보와 같은 언어적, 사실적 정보를 입력으로 하는 각각의 Adapter를 이용한 것이 인상적이었습니다. 최근 PET 관련 논문들이 모델의 효율성만큼이나 Catastrophic Forgetting을 방지할 수 있는 점을 Contribution으로 가져가는 모습인데, 해당 논문은 이러한 Contribution에 부합하는 Input과 모델 구조를 구성한 것인 주목할 만하다고 생각합니다. 하지만 개인적으로 KB와 Entity 정보들 모두 특정 전처리를 필요로하는 만큼, 기존의 FiD와 같은 외부 Knowledge를 직접 이용할 수도 있지 않을까 하는 궁금증이 생겼습니다. 좋은 발표 감사합니다.

이번 세미나에선 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 라는 연구에 대해 소개되었습니다. Adapter는 parameter efficient language model tuning 연구에서 제안된 대표적인 방법론으로 기존 layer위에 위치한 추가적은 adapter layer만을 학습하는 방식을 사용합니다. 기존의 knowledge injection 방법론들은 새로운 knowledge를 학습하면서 기존의 것들을 잊어버리는 catastrophic forgetting에 취약하다는 한계가 존재하는데 Adapter를 사용하면 이러한 문제점을 극복할 수 있다는 점이 장점입니다. K-ADAPTER에선 Fac-adapter, Lin-adapter 를 구성하여 독립적으로 knowledge를 주입하는 방식을 제안합니다. 독립적으로 구성된 두 adapter는 각각 factual knowledge와 linguistic knowledge를 학습하며, 학습 후엔 TRM과 concat하여 사용됩니다. K-ADAPTER에선 제안 방법론과 함께 method의 성능을 검증하기 위해 entity typing, QA, Relation classification 등의 다양한 task에서 실험합니다. 이 중에서 conclusion에서 발표자분이 언급하셨던 것처럼 모델의 설계 의도대로 작동하고 있음을 정성적인 결과로 보여준 부분이 특히 인상적이었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나에서는 "K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters"라는 논문에 대해 소개해주셨습니다. 본 논문에서는 knowledge injection에서 발생하는 catastrophic forgetting 문제를 해결하고자 adapter를 활용한 방법론을 제안하였습니다. Adapter를 활용하게 된다면 기존 모델의 파라미터는 고정한채로 adapter layer를 추가로 삽입하여 학습할 수 있기 때문에 기존에 학습한 정보를 잃어버리는 catastrophic forgetting 문제를 완화할 수 있습니다. 본 논문에서는 이 adapter를 둘로 나누어 fac-adapter와 lin-adapter를 구성하였는데, 각각 사실적 그리고 언어적 정보를 학습하기 위한 구조입니다. 사실적 정보와 언어적 정보를 구분지어 반영하도록 모델을 설계한 부분이 흥미로웠고, 실험적으로 이러한 구조의 효과를 증명한 부분이 인상 깊었습니다. 간단하면서도 참신한 아이디어를 통해 논리적인 모델 구조를 제안한 논문이라는 생각이 들었습니다. 좋은 발표 감사드립니다.

금일 세미나는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters를 주제로 진행되었습니다. 최근 factual knowledge에 관심이 생겨 연구들을 살펴보고 있었는데, 좋은 영감을 받을 수 있었습니다. k-adapter는 task specific adapter module을 사용하되 0,11,22 layer에만 plug-in 형태로 모듈을 추가하는형태로 구성됩니다. input text로 부터추출된 representation과 knowledge로부터 추출된 representation을 concatenate하여 pretraining을 수행한 후 finetuning을 진행합니다. 논문에서 introduction에서 주장한 가설을 입증하기 위해서는 main 실험 외에도 catastrophic forgetting에 대한 실험들이 필요하다고 생각되나 관련 내용들이 없어 아쉬웠습니다. 좋은발표 감사합니다.

이번 세미나는 ACL 21년도에 억셉된 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters 논문으로 진행되었습니다. K-ADAPTER는 model이 새로운 정보를 학습하면서 이전에 학습된 정보를 망각하는 Catastrophic forgetting 문제를 완화하기 위해 task specific adapter를 통해 PLM에 continual knowledge를 주입하는 방법입니다. task specific adapter에는 factual knowledge를 학습하는 FacAdapter와 Linguistic knowledge를 학습하는 LinAdapter가 있는데 각 adapter는 독립적으로 학습되고, 최종적으로 각 layer의 output을 concat하는 방식으로 output을 병합하게 됩니다. 높은 인용수가 보여주듯이 구조를 바꾸는 게 아니라 plug-in 구조라는 점에서 현업에서도 매우 쉽게 적용가능할 것 같은 점이 흥미로웠고, PELT에 대해 전반적으로 흐름을 잡기 좋은 발표였습니다. 좋은 발표 감사합니다!

이번 세미나에서는 K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters라는 주제의 논문 발표가 있었습니다. 해당 논문에서는 adapter 를 이용하여 knowledge 를 LM에 주입하고자 합니다. 독립적으로 두개의 어뎁터를 이용하고자했고, 이를 이용해 CATASTROPHIC FORGETTING 문제를 해결하고자 합니다. 간단하면서도 논리적인 모델 구조를 제안한 논문이라는 생각이 들었고, 추가적으로 발표자의 개인의견까지 함께 들어 해당하는 논문이 하고자하는 방향을 좀더 이해하기 쉬웠습니다. 감사합니다.

금일 세미나는 "K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters"라는 주제로 진행되었습니다. 본 발표에서는 parameter efficient language model tuning의 대표적인 방법론 중 하나인 Adapter를 활용하여 language model에 knowledge injection을 진행한 K-ADAPTER가 소개되었습니다. 해당 방법론은 factual knowledge와 linguistic knowledge를 독립적으로 주입하여 catastrophic forgetting 문제를 해결하였습니다. 개인적으로 이전에 continual learning을 연구한 적이 있어서 adaptor를 통해 catastrophic forgetting 문제를 해결함으로써 knowledge를 주입한 해당 모델이 매우 흥미로웠습니다. 특히 parameter efficient language model은 고정하고 adapter layer만 update하여 catastrophic forgetting 방지한 점이 인상 깊었습니다. 좋은 발표 감사합니다.