금일 세미나에서는 parameter 효율성을 높이는 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning에 대해 살펴보았습니다. 지금까지 대용량 모델의 파라미터를 직접적으로 줄이는 연구들을 많이 접했었는데, 이번 세미나에서는 downstream task에서 finetuning을 진행할때 add-on module을 통해 파라미터를 줄이는 방법을 알게 되었습니다. Adapter, Prefix-tuning, LoRA에 대해 잘 설명해주셔서 처음 들었지만 발표를 잘 따라갈 수 있었습니다. 이미 존재하는 module들을 조합하는 연구였기 때문에 실험이 보다 다양했으면 더 좋았지 않을까 라는 생각이 들었고, 저자들이 주장하는 gate의 효용성에 대해서도 단순히 존재 유무만 보여주기 보다는 다양한 비교가 있었으면 읽는 입장에서 조금 더 많은 정보를 얻을 수 있을 것 같아 아쉬웠습니다.

이번 세미나에서는 언어모델(Language Model)이 효율적으로 학습하기 위해 parameter의 수를 줄이는 방법론인 PELT(Parameter-efficient language model tuning)을 주제가 다루어졌습니다. PELT는 기존 모델의 parameter를 고정시킨 채 추가적인 소수의 parameter만을 학습하는 방법(1)과 기존 모델의 일부 parameter만을 학습시키는 방법(2)으로 나눌 수 있습니다. 대표적인 PELT의 방법론으로는 Adapter, LoRA, Prefix-tuning 등이 있습니다. Adapter의 경우는 기존 layer에 adapter layer를 추가하는 방법론이며 LoRA는 decomposed matrix를 추가하여 학습하는 방법론입니다. 두 방법론의 차이로는 각각 직렬적 연결 및 순차적 학습이 이루어지는 것이고 LoRA는 병렬적 학습이 가능하다는 점입니다. 반면 Prefix-tuning은 input에 prefix를 붙여서 학습하는 방법론입니다. 따라서 prefix를 학습하기 위한 parameter를 따로 설정하게 됩니다. 본 방법론인 UNIPELT는 이 세 가지 방법론을 한 번에 진행할 수 있도록 조합한 방법론입니다. 세 가지 방법론들이 각각 학습하는 방식이 다르기 때문에 이렇게 조합을 이룰 수 있었던 것입니다. 발표자 분께서도 언급하셨지만 PELT는 비단 언어모델 뿐만 아니라 Vision, Time Series 도메인의 모델에서도 충분히 적용할 수 있을 것으로 보입니다. 아마 머지않아 이에 대한 연구 논문들이 등장할 것으로 보입니다. 유익한 내용의 세미나 준비해주셔서 감사합니다.

금일 세미나는 "UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning" 논문에 대해 소개해주셨습니다. 해당 논문의 방향은 기존 모델을 사용 시 전체는 fine-tuning 하는 것이 아닌 추가로 module을 구성하여 적은 수의 학습 파라미터만을 구성하여 전제 모델에 대한 fine-tuning 보다 더 나은 모델 성능을 향상시킬 수 있는 방법에 대해 다루고 있습니다. 이와 같은 방법이 기존에 Adapter, Prefix-tuning, LoRA, 그리고 Compator가 존재하는데 본 논문에서는 새로운 parameter-efficient한 tuning 방법으로 Adapter, Prefix-tuning, 그리고 LoRA를 활용하여 세 가지를 함께 적용할 수 있는 UNIPELT라는 방법을 제안하였습니다. 본 논문에서는 앞선 세 가지 module을 gating mechanism을 통해 가중치를 주어 학습하도록 구성하였습니다. 해당 논문에서 아쉬웠던 점은 기존 방법을 잘 활용하여 보다 높은 성능을 구성한 방법이기 때문에 각 module에 대한 배치나 gating mechanism에 대한 더 많은 조합의 ablation과 같이 다양한 분석이 수행되었으면 좋았겠다라는 점입니다. 오늘 좋은 발표 감사합니다.

금일 세미나는 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning 논문을 주제로 진행되었습니다. 우선 background 부분에서 기존의 방식인 adapter 와 LoRA 와의 차이인 직렬/병렬의 문제 해결 방법을 잘 설명해주셨고, 전체적으로 어떤 흐름일지 잘 잡을 수 있었습니다. 이후 PELT 는 Prefix 정보를 활용하고 이것만 학습하고, input 을 고정한체 사용합니다. 상당히 효율적인 구조로 모델을 병렬적으로 처리하는 방식임을 알 수 있었습니다. 이후 제안한 논문에서는 gate network 를 사용해서 PELT Method 를 통합하는 프레임워크를 제안하였습니다. 마지막 결론에서 LM 에서 수많은 파라메터를 바꾸는 것 보다, 효율적으로 필요한 부분을 바꿀수 있다면, 속도 메모리 측면에서 효율적인 측면 뿐만아니라 성능까지 향상할 수 있음을 보여주었는데 이전에 나왔던 LM 모델들이 가고 있는 방향과 다른 방향을 제시하여 흥미로웠고, 이러한 아이디어를 활용하면 좋은 연구가 될 것 같습니다.

이번 세미나는 ‘UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning’을 주제로 진행되었습니다. 효과적인 fine-tuning을 위해 trainable parameter 수를 줄이는 학습 방법인 parameter-efficient language model tuning 방법론들에 대해서 설명해주셨습니다. 그 중에 Adapter, LoRA, Prefix-tuning, UniPELT에 대해 소개해주셨습니다. Adapter는 down projection, relu, up projection으로 구성되어 있는 adapter layer를 기존 layer위에 추가한 방법이고, LoRA는 decomposed matrix를 통해 병렬적으로 수행하는 방법, Prefix-tuning은 prefix를 추가하고 prefixdp 대해서만 학습을 진행하는 방법입니다. 위 세가지 방법 모두 좋은 성능을 내고 있으며 해당 방법 중에 모든 조건에서 우수한 방법론은 없으며 해당 방법론들을 사용하되 gating mechanism을 통해 각 조건에 따라 해당 방법론이 작용하는 정도를 다르게한 방법론이 UniPELT 입니다. parameter-efficient language model tuning 방법론에 대해 접하게 되는 유익한 시간이었으며, 해당 방법론들에 국한해서가 아닌 좋은 방법론들에 대해서 gating mechanism을 통해 작용하는 정도를 다르게 하는 방법을 다른 연구들에 적용할 수 있는 방법이 무엇이 있을지 고민해보게 되는 시간이었습니다. 좋은 발표 감사합니다.

금일 세미나는 "UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning"라는 주제로 진행되었습니다. 본 발표에서는 Gating mechanism을 통해 기존에 제안된 여러가지 PELT 방법론을 통합한 UNIPELT 모델이 소개되었습니다. 해당 모델은 기존에 제안된 PELT 모델인 Adapter, Prefix, LoRA가 Parameter-Efficient Language Model의 서로 다른 부분에서 사용될 수 있다는 점을 기반으로 해당 모델들을 중요도를 반영하여 통합함으로써 PELT의 성능을 향상 시켰습니다. 다양한 모듈들을 통합하여 학습할 때 가중치를 잘 설정하는 것이 매우 중요한데, 해당 논문에서는 Gating mechanism을 도입하여 각 모듈의 중요도를 산출하였습니다. 세미나에서 처음 Parameter-efficient language model tuning 주제가 다루어진 것으로 아는데 새로운 분야를 접할 수 있어 좋았습니다. 좋은 발표 감사합니다.

금일 세미나는 “UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning”연구에 대해 진행되었습니다. Language model의 tuning을 위한 통일화된 프레임워크라는 것이 큰 담론 같았지만, 흥미롭게 들을 수 있었습니다. 예전에 내부 스터디를 통해 LoRA의 개념을 접한 바 있는 데, PELT의 방법론 중 하나로 소개되어, 이에 대한 이해를 바탕으로 보다 쉽게 소화할 수 있었습니다. UNIPELT의 출발점은 발표에서 보여주신 것처럼 모든 데이터에서 절대적 우위를 갖는 방법론이 없음에서 시작한다고 생각합니다. 간단히 각 PELT 방법론을 병합한 뒤, gating mechanism을 활용해 얼마나, 어떻게 각 PELT모듈을 활용할 지를 결정짓도록 하는 것으로 UNIPELT라는 프레임워크를 완성합니다. 사실 굉장히 간단한 접근이긴 하지만, 문제의식과 그 결과가 인상적인 연구라고 생각합니다. 하지만 성능 외에 모델 크기나 속도 면에서 단점을 자연스럽게 갖게되는 점은 다소 제한점이라고 생각했습니다. 좋은 발표 잘 들었습니다. 감사합니다.

이번 세미나에서는 "UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning" 논문을 소개해 주셨습니다. 이번 발표에서는 현재 사용되고 있는 Parameter-Efficient Language Model Tuning 방법 중 Adapter, LoRa, Prefix-tuning을 소개 주시고, 상황에 맞추어 각각의 PELT 방식을 함께 적절히 조합하여 사용하도록 해주는 UNIPELT 방법론까지 소개해 주셨습니다. 기본적으로 PELT 방법론 들은 downstream task에 대해 fine-tuning을 수행할 때, 기존의 학습된 파라미터들을 그대로 고정하고, 아주 적은 수의 파라미터만을 새로 추가하여 학습하는 것으로 모델의 학습 파라미터 수를 감소시키게 됩니다. 여기서 3가지의 PELT 방법론이 각각 서로 다른 구조로 모델의 다른 부분에 적용이 되기 때문에 서로 동시에 사용하도록 하는 것이 가능했습니다. 본 논문은 이 부분에 착안하여 각각의 모듈을 가중치를 통해 한 번에 사용하도록 하는 UNIPELT 방법론을 제안하였습니다. 기본적으로 각각의 PELT 방법론이 장단점을 가지고 있기 때문에 데이터와 Task에 맞도록 알아서 각 모듈들을 적절히 조합한다는 아이디어는 매우 직관적으로 잘 받아들여졌습니다. 이번 발표에서 특히 인상적이었던 것은 처음에 단순히 파라미터가 줄어들었다는 결과만 보고 좋은 성능으로 받아들였었는데, 교수님께서 실제로 학습에 사용된 시간과 에폭에 대해서도 살펴보아야 한다고 이야기해주신 것입니다. 파라미터의 수가 줄었지만 그에 따라 학습하는 에폭의 수와 시간이 증가한다면 사실 효율성이 어느정도 상쇄되는 효과가 있기 때문에 분명히 고려해야하는 부분이었습니다. 본 논문의 방법론의 경우는 그러한 점을 고려하여도 우수한 성능이라고 인정할 수 있는 수준이지만, 이러한 부분을 신경 써야 한다는 것을 다시 확인하는 좋은 기회가 되었습니다. 첫 세미나 발표 너무 고생하셨습니다. 감사합니다.

이번 세미나에서는 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning 논문을 소개해 주셨습니다. PELT는 Parameter-efficient language model tuning의 약자로, 해당 논문에서는 추가적인 파라미터들을 이용하는 Adapter, Prefix Tuning, LoRA로 이루어진 UNIPELT를 제안하고 있습니다. 이 각각의 모듈들은 final form은 유사하나 prefix-tuning, LoRA는 attention 모듈에, Adapter는 feed forward network에 적용된다는 차이가 있으며 gating mechanism을 이용하여 각 모듈들이 얼마나 활성화될지 조절됩니다. adapter는 구조상 직렬 연결이며 순차적인 학습을 하지만, LoRA는 병렬 연결이며 병렬적 학습만 가능하다는 차이가 존재하며, 이러한 특징으로 인해 계산 효율성의 측면에서는 LoRA가 우수하다고 볼 수 있습니다. 이전에 LoRA와 관련된 부분들은 연구실 내에서 접해보았는데 추가적으로 adapter, prefix-tuning에 대한 내용들을 알게 되어 유익했던 것 같습니다. 또한 해당 프레임워크의 특성상 수식적인 부분이 많았는데 깔끔하게 설명해 주셔서 이해에 많은 도움이 되었습니다. UNIPELT가 nlp분야뿐만 아니라 비전, 시계열 등의 분야에도 적용이 될 수 있다고 언급하셨는데 추후 연구에 있어 적용해보면 좋을 것이라는 생각이 들었습니다. 첫 세미나 발표 수고하셨습니다. 좋은 발표 감사합니다!

이번 세미나는 ACL 2022에 등재된 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning을 주제로 진행되었습니다.
parameter efficient learning은 발표자분께서 nlp 스터디와 연구미팅에서 종종 언급해주신 주제이기에 낯설지 않게 논문의 concept을 이해해볼 수 있었습니다. 본 논문은 기존에 등장했던 Adpater, LoRA, prefix-tuning과 같이 사전학습된 모델의 모든 weight를 업데이트하지 않고 소량의 parameter만 학습을 진행하는 여러 방법론들을 하나의 프레임워크로 통합했다는 의의를 가집니다. 실제로 한 주제에서 여러 기법이 제안되었을 때, 흐름을 하나로 정리하고 이를 엮는 작업에는 굉장히 많은 노력이 들어가고 연구적으로도 큰 의의를 가진다고 생각합니다. 이러한 측면에서 본 논문의 우수성을 체감할 수 있었고, 단순히 여러 기법을 하나로 합친 것이 아니라 gating mechanism을 통해 각 모듈의 반영 비율을 학습을 통해 도출했다는 점 역시 신선한 접근이라 생각했습니다. 또한, 발표자분께서 세미나 말미 던져주신 질문을 통해 저도 finetuning에 대해서 다시금 생각해 볼 수 있어 좋았습니다.
마지막으로 장표 디자인과 관련하여 한마디 드리자면, 굉장히 익숙한 템플릿을 사용하신 덕에 뿌듯하면서도 시각적으로 편안하게 시청할 수 있었습니다. 다만, 다음 세미나에서는 디자인 측면에서 발표자분 만의 디자인적 창의력을 조금 더 발휘하시면 좋지 않을까 생각합니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에선 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning 라는 연구에 대해 소개되었습니다. 논문에선 parameter-efficient learning 의 이전 연구들인 Adapter, LoRA, Prefix-tuning 등을 하나로 통합한 프레임워크를 제안하며 그 구조를 UNIPELT로 명명합니다. 제안된 모델은 attention module 에서 prefix-tuning, LoRA를 적용하고, feed forward network에선 Adapter를 적용합니다. 그리고 이렇게 조합된 모듈들이 얼마나 반영될지를 결정하는 gating mechanism을 구성하고 각 모듈의 weight가 학습될 수 있도록 합니다. 이전 연구들을 적절히 조합한 부분도 인상적이지만, 발표자분께서 summary 에 언급해주신 것처럼 각 방법론 마다 우수한 성능을 나타내는 task가 다른데 gating mechanism이 task에 맞게 각 모듈별 적절한 가중치를 학습할 수 있도록 하였기에 이전 연구대비 우수한 성능을 보일 수 있었을 것이라 생각되었습니다. 좋은 발표 감사합니다.

이번 세미나는 ACL 2022년에 억셉된 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning 논문으로 진행되었습니다. Adapter, LoRA, Prefix-tuning과 같은 대표적인 Parameter-efficient language model tuning(PELT) 방법론들과 마지막으로 이를 모두 통합하는 방식을 제안한 UNIPELT를 소개해주셨는데, NLP 도메인뿐만 아니라 여러 도메인에 적용 가능한 방법론이라는 점에서 매우 흥미롭게 발표를 들었던 것 같습니다. 추가적인 학습 layer를 직렬로 연결한 Adapter, 병렬로 연결된 LoRA, virtual token의 형태로 새롭게 삽입된 Prefix에 대해서만 학습을 진행하는 Prefix-tuning, 이를 종합해 Attention module에는 Prefix-tuning과 LoRA를, FFN에는 Adapter를 적용하고, Gating 메커니즘을 활용해 각 PELT 모듈의 영향을 조절하는 UNIPELT에 대해 순차적으로 발표가 진행됐으며, 방법론 설계부터 실험 결과까지 이해가 직관적으로 되는 논문이었지만 실험 장표에서 Adapter, Prefix-tuning, LoRA로 가능한 다양한 조합중 왜 AP에 대한 성능만 기록했는지는 궁금함이 남아있는 것 같습니다. NLP 스터디부터 시작해서 이번 세미나까지 다양한 Parameter-efficient language model tuning(PELT) 방법론들을 상세히 소개해주셔서 항상 도움이 많이 되는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 A Unified Framework for Parameter-Efficient Language Model Tuning으로 최근 활발히 연구되고 있는 Parameter Efficient Tuning 연구들을 통합하고자 하는 논문이었습니다. 특히, Adapter, LoRA, Prefix-Tuning을 결합하고, 이를 gate mechanism을 통해 각 모듈의 활성화 정도를 조절하는 모습이 인상적이었습니다. 사실 최근 다양한 PET 관련 연구들이 나오고 있지만, 실제로 어떠한 방법론이 가장 효과적이면서, 범용적인지 확신할 수 없기 때문에 많이 회의적인 입장이었습니다. 하지만 본 논문에서는 각 방법론이 트랜스포머 모델의 다른 모듈에 효과적으로 동작하는 점을 밝히고, 이를 별도의 조정 없이 학습되도록 하는 프레임워크를 제시하고 있습니다. 데이터가 부족한 상황에서 Few-shot learnign이나 Semi Supervised Learning이냐 PET냐 하는 부분이 조금씩 다르겠지만, 결국 좀 더 현실적인 상황에 LLM을 적용하고자 하는 노력들이 보이는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning라는 논문에 대해 발표해주셨습니다. 이미지 classification을 제외한 자연어처리나 시계열 쪽 모델의 경우에 parameter에 따른 성능이 크게 달라진다고 알고 있었습니다. 따라서 범용적으로 잘 작동하는 모델을 학습하는게 어려운데 그와 관련해서 해당 논문은 모델의 파라미터를 튜닝하는 방법론인 PET를 다루었습니다. 본 논문에서는 Adaper, LoRA, Prefix-Tuning를 1개의 모듈로 통합한 UNIPELT이라는 방법론을 제안하였습니다. 이전 연구들을 조합하는 과정에서 어떤 논리로 어떤 부분을 차용했는지에 대한 것을 집중적으로 보았는데, 기존의 연구들을 하나의 방법론으로 통합한다는 관점에서 배울 것이 많았습니다. 특히 gating 메커니즘을 통해 각 모듈의 parameter를 조율하는 부분이 인상 깊었습니다. 또한 말씀해주신 것 처럼 여러 도메인에 적용이 가능한 방법론이고, 방법론이 제안된 배경을 모방한다면 더욱더 확장성이 높을 것이라 판단하였습니다. 좋은 발표 감사드립니다.

금일 세미나는 parameter efficient learning의 한 갈래인 UNIPET에 대해 소개해주셨습니다. 연구실 내부 스터디를 통해 꾸준히 관련 내용을 공유해주셔서 재미있게 듣고 있었는데, 세미나에서 최신 논문을 소개해주셔서 좋았습니다. 지난해부터는 모델사이즈를 더욱 키우지 않고 효과적으로 tuning하는 방법들이 많이 제안되고 있습니다. adapter와 같은 방법만 알고있었지만 이후에도 lowrank를 활용한 LoRA, prefix만을 추가하여 finetuning 성능을 높인 Prefix-tuning이 흥미로웠습니다. unipet은 세가니 방법론을 모두 적용하여 모델을 제안했습니다. Appendix에서 prefix tuning과 prompting을 비교해주셔서 헷갈리는 부분을 정리할 수 있어 좋았습니다. 감사합니다.