이번 세미나는 기존 대부분의 Continual Learning 분야에서 다루는 Catastrophic Forgetting 문제를 해결하는 것에 더불어 이상적인 CL 방법론을 구축하기 위한 3가지 특성(Rehearsal-Free, Inference Efficiency, End-to-End Optimization)을 모두 만족시키는 SD-LoRA라는 방법론을 제안한 “SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning”라는 논문에 대한 발표를 중심으로 진행되었습니다. 최근 CL 분야에서 Task마다의 Knowledge를 저장하기 위해 LoRA와 같은 PEFT 방법론들이 많이 활용되고 있는데, SD-LoRA에서는 LoRA 가중치의 Magnitude와 Direction을 분리한 뒤에 각각을 업데이트하는 방법을 활용합니다. 이 부분에서 기존 LoRA를 활용하는 다른 연구들과는 다르게 가중치 내 크기와 방향이라는 특성을 독립적으로 구성한다는 점이 인상깊었습니다. 또한 제안하는 방법론의 CL에서의 효과를 검증하기 위한 여러 Analysis 과정이 해당 연구의 당위성을 잘 증명한다는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 Foundation Model 기반 Continual Learning의 한계를 극복하기 위한 방법론을 제시한 ‘SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning’ 논문에 대해 발표해 주셨습니다. 해당 방법론은 기존 LoRA 기반 방법이 태스크가 늘어날수록 파라미터 수가 증가하고, 프롬프트 선택이나 샘플 저장 등의 오버헤드가 발생하는 문제를 지적하고, 이를 해결하기 위해 ‘magnitude’와 ‘direction’을 분리 학습하는 SD-LoRA를 제안하였습니다. 이 방법은 rehearsal-free, inference-efficient, end-to-end optimizable이라는 이상적인 연속 학습의 3대 조건을 모두 만족하면서, task 수가 증가해도 inference 시 계산 비용을 증가시키지 않습니다. 특히, 방향은 고정하고 크기만 조정하는 방식으로 각 태스크 간 parameter 간섭을 최소화하고, 결과적으로 모든 태스크에 대해 중첩되는 낮은 손실 영역으로 수렴하는 low-loss path를 따라가는 경향을 보이며 stability-plasticity 트레이드오프를 효과적으로 해결한 점이 매우 인상깊었습니다. 단순히 기존의 PEFT 기법을 재활용하는 수준을 넘어서, LoRA를 continual learning에 구조적으로 적합하도록 재해석하고 최적화한 사례로서 향후 발전 가능성이 높은 연구라고 생각합니다. 흥미로운 주제로 좋은 발표해 주셔서 감사합니다.

이번 세미나에서는 “SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning” 논문을 중심으로 Foundation Model 기반 Continual Learning의 한계를 극복하기 위한 새로운 방법론인 SD-LoRA를 소개해주셨습니다. 해당 방법은 LoRA 가중치를 magnitude와 direction으로 분리해 독립적으로 학습함으로써, 기존 CL의 문제점인 파라미터 증가, 오버헤드, 간섭 등을 효과적으로 해결하고 "rehearsal-free, inference-efficient, end-to-end optimization"이라는 이상적인 조건을 모두 만족합니다.
특히 direction을 고정하고 magnitude만 조정하는 방식으로 태스크 간 간섭을 줄이고, 모든 태스크에 대해 안정적인 성능을 유지하는 점이 인상 깊었습니다. 기존 PEFT 기법을 넘어 CL에 구조적으로 적합한 방식으로 LoRA를 재해석한 흥미로운 연구였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning" 논문을 통해 Foundation Model 기반 Continual Learning에서 발생하는 파라미터 증가와 태스크 간 간섭 문제를 해결하기 위한 새로운 접근법을 접할 수 있어 유익했습니다. SD-LoRA는 기존 LoRA와 달리 가중치의 magnitude와 direction을 분리하여 각각을 독립적으로 최적화함으로써, rehearsal-free, inference-efficient, end-to-end optimization이라는 연속 학습의 이상적인 세 가지 조건을 모두 달성한 점이 인상적이었습니다. 특히 direction을 고정하고 magnitude만 학습하는 방식이 태스크 간의 파라미터 간섭을 효과적으로 완화하고, inference 단계에서도 추가 오버헤드 없이 효율적인 추론이 가능한 구조라는 점에서 실용적 가치가 높다고 생각합니다. 기존 PEFT 기법의 한계를 극복하고 CL 문제에 특화된 방식으로 LoRA를 재구성한 점이 매우 흥미로웠습니다. 발표해 주셔서 감사합니다.

이번 세미나에서는 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning" 논문을 통해 Foundation Model 기반의 Continual Learning에서 발생하는 확장성 및 태스크 간 간섭 문제를 해결하기 위한 내용을 소개해주셨습니다.
SD-LoRA는 기존의 LoRA 기반 방법들이 가지는 한계를 극복하기 위해 제안된 방식으로, 가중치의 magnitude와 direction을 분리하여 독립적으로 학습하는 구조가 인상적이었습니다. 이를 통해 rehearsal 없이도 추론 효율을 유지하면서 전체 파라미터를 end-to-end로 최적화할 수 있다는 점이 Continual Learning의 이상적인 조건을 충족시키는 실용적인 설계라고 느꼈습니다.
기존 프롬프트 기반 또는 LoRA 기반 PEFT 기법들이 가진 구조적 한계를 극복하고, CL 환경에 특화된 방식으로 LoRA를 재설계했다는 점에서 이 논문은 Foundation Model 기반 연속 학습 연구에 있어 의미 있는 진전을 보여주는 사례라고 생각합니다. 좋은 발표 감사드립니다.

이번 세미나는 ‘SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning’ 논문을 중심으로, Foundation Model 기반의 연속 학습에서 발생하는 한계를 구조적으로 극복하려는 시도를 다루었습니다. 기존 LoRA 기반 방법들이 직면한 파라미터 증가, 계산 비용 확대, 샘플 저장 등의 문제를 해소하고자, SD-LoRA는 가중치의 magnitude와 direction을 분리하여 학습함으로써 Rehearsal-Free, Inference Efficiency, End-to-End Optimization이라는 연속 학습의 핵심 요건들을 모두 충족시켰다는 점이 인상적이었습니다. 특히 direction을 고정하고 magnitude만을 업데이트함으로써 태스크 간 간섭을 줄이고, low-loss path로 수렴하는 특성은 stability-plasticity trade-off를 효과적으로 해결하려는 세심한 설계로 느껴졌습니다. 단순한 PEFT 기법의 응용을 넘어, LoRA 구조 자체를 연속 학습 맥락에 맞게 재정립하고 최적화한 점에서 이 연구의 기여도가 높다고 생각되며, 발표를 통해 해당 방법론의 설계 의도와 실험적 정당성을 명확히 이해할 수 있어 매우 유익한 시간이었습니다.

Catastrophic forgetting은 많은 데이터를 학습하는 거의 모든 딥러닝 모델이 갖는 고질적인 숙제라 생각됩니다. SD-LoRA는 기존의 LoRA의 구조는 유지하면서, 학습되는 matrix를 크기와 방향 벡터로 분해하고, 이전 작업에서 학습된 방향을 고정한 채 새로운 작업에 대해 새로운 방향 및 모든 방향에 대한 크기를 학습함으로써 이를 해결하려고 노력했습니다. 소개해주신 논문의 내용 덕분에 학습된 matrix의 방향이 task의 정보를 어느 정도 내포할 수 있음을 알게 되었고, 따라서 단순히 learning rate를 조절하는 것과 SD-LoRA가 본질적으로 어떤 차이를 갖는지 이해하게 되어 유익했습니다. 3가지의 empirical analysis를 통해 이전 task의 정보를 잘 보존하고 low-loss path를 효과적으로 찾아냄을 보여, catastrophic forgetting을 어느 정도 극복했다는 것을 직관적이면서 효과적으로 보여주는 좋은 실험이었다고 생각했습니다.

이번 세미나에서는 Continual Learning에서 LoRA 기반 적응 방식을 개선한 SD-LoRA: Scalable and Decoupled Low-Rank Adaptation 방법론을 중심으로 진행되었습니다. 기존 LoRA가 task 간 간섭 문제와 학습 효율성 한계를 가지는 반면, SD-LoRA는 task별 LoRA 모듈의 크기와 방향을 분리 학습함으로써 이전 task의 방향은 고정하고 새로운 task만을 효율적으로 학습합니다. Rehearsal 없이도 성능 저하를 막을 수 있으며, end-to-end 학습 구조로 inference 단계에서 별도 task 인식 없이도 동작 가능하다는 점이 큰 강점입니다. 실험 결과, 다양한 continual learning benchmark에서 성능 향상 및 안정적인 학습 패턴을 보였습니다.

이번 세미나에서는 기존 LoRA의 구조적 한계를 극복하고, Continual Learning에 최적화된 방식으로 LoRA를 재구성한 SD-LoRA 방법론을 다룬 “SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning” 논문을 소개해 주셨습니다. 발표를 통해 magnitude와 direction을 분리 학습하는 구조가 어떻게 task 간 간섭을 줄이고, rehearsal 없이도 안정적인 성능을 달성할 수 있는지를 잘 이해할 수 있었습니다. 특히 inference 효율성과 end-to-end 최적화를 동시에 달성한 점은 실제 적용 가능성 측면에서도 큰 의미가 있다고 느꼈습니다. 기존 PEFT 방식의 단순 적용을 넘어서, CL 특화 구조로 LoRA를 확장한 설계가 인상 깊었습니다. 발표 잘 들었습니다!

이번 세미나는 continual learning을 주제로 진행되었습니다. Continual learning 방법론 중 rehearsal 방식의 추가적인 샘플이 필요 없고, task 인식을 위해 별도의 장치가 필요 없으며 E2E 최적화, 즉 모든 구성 요소를 한 번에 학습할 수 있는 방법론을 제안한 연구였습니다. 제안하는 SD-LoRA라는 방식은 Scaled Decoupled의 약자를 활용한 것으로 Task 마다 LoRA 가중치를 부여해서 학습을 했던 기존 방법론에서 이를 분리해서 LoRA의 파라미터 업데이트를 크기와 방향을 분리해서 진행하고 있습니다. 나아가, 이전 task 에서 학습된 가중치는 고정한 채, 가중치의 계수만 학습되도록 하여 더 효율적으로 이끌었습니다. 결과적으로 이러한 방식이 모든 task를 잘 학습할 수 있는 최적의 행렬로 이끔 또한 수식을 통해 증명된 점이 인상적이었습니다. Continual learning이 비단 이미지 분류 과업에서 진행되는 것이 아니라, 추천시스템에서도, 즉 새로운 사용자와 아이템이 들어오는 경우를 위해 사용될 수 있지 않을까 생각됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning 논문을 소개해주셨습니다. 이 연구는 기존 LoRA 기반의 Continual Learning 접근법이 태스크 수가 증가할수록 파라미터 개수의 증가와 추론 시 오버헤드 문제를 야기한다는 점을 지적하며, 이를 극복하기 위해 가중치를 magnitude와 direction으로 분리하여 독립적으로 학습하는 SD-LoRA 방법을 제안했습니다. 특히 SD-LoRA는 rehearsal-free, inference-efficient, end-to-end 최적화가 가능하다는 이상적인 Continual Learning의 조건을 모두 충족하면서, 태스크 간 파라미터의 간섭을 최소화하고 stability와 plasticity 간의 균형을 효과적으로 유지합니다. 이는 기존 Prompt 기반이나 LoRA 기반 PEFT 기법들의 구조적 한계를 뛰어넘어 Foundation Model 기반 연속 학습의 확장성을 크게 높였다는 점에서 중요한 의미를 지닌다고 생각합니다. 좋은 발표 감사합니다.

이번 세미나에서는 Foundation Model 기반 Continual Learning의 한계를 해결하기 위해 제안된 “SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning” 논문을 중심으로 발표가 진행되었습니다. 기존 LoRA 기반 방법들은 task가 늘어날수록 파라미터 수가 증가하고, 프롬프트 선택이나 샘플 저장 등 여러 오버헤드가 발생하는 문제가 있었습니다. 이에 대해 SD-LoRA는 가중치의 magnitude와 direction을 분리 학습하는 구조를 도입함으로써, rehearsal-free, inference-efficient, end-to-end 학습 가능이라는 이상적인 연속 학습 조건을 모두 만족시킵니다. 특히 direction은 고정하고 magnitude만 조정함으로써 task 간 간섭을 줄이고, 모든 태스크에서 low-loss path를 따라 수렴하는 특성을 보여 stability-plasticity trade-off를 효과적으로 완화한 점이 인상 깊었습니다. LoRA를 단순히 활용한 것이 아니라, continual learning 환경에 구조적으로 적합하게 재설계한 점에서 의미 있는 기여를 한 연구로 느껴졌으며, 실제 응용 가능성과 확장성 측면에서도 기대가 큰 접근법이라고 생각됩니다. 좋은 발표 감사합니다!

금일 세미나는 Continual Learning을 위한 LoRA 활용 방법론을 제시한 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning"을 중심으로 진행되었습니다. LoRA는 기존에도 많은 연구들에서 catastrophic forgetting을 방지하면서 새 태스크를 학습할 수 있는 이점이 존재하는 것으로 알려져 있어 continual learning 환경에서 활용도가 매우 높습니다. 해당 논문은 특히나 continual learning 상황에서도 변화하는 태스크 간의 공통된 정보들을 공유하며 학습할 수 있는 방법론을 제시합니다. 구체적으로 DoRA에서 아이디어를 얻어와 LoRA를 magnitude와 direction으로 구분하여 학습을 진행하고 새로운 태스크에 대해서는 이전 태스크 lora 중 magnitude만 학습을 진행합니다. 이를 통해 각 태스크의 중요 정보를 LoRA weight로 저장하고 새로운 태스크 학습 시 이전 태스크에서 학습된 정보들을 Magnitude로 활용하도록 유도합니다. 전반적인 아이디어와 가설들이 잘 전개되는 논문이라 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Continual Learning 분야에서의 확장성 문제를 실질적인 시각에서 다루고자 하는 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning"을 중심으로 진행 되었습니다. 기존 LoRA 기반 방식들이 태스크 수 증가에 따라 LoRA 파라미터 풀을 계속 확장하거나, 과거 데이터를 저장해야 하는 구조적인 한계를 갖고 있었던 반면, SD-LoRA는 이 문제를 '방향과 크기의 분리 학습'이라는 새로운 관점으로 풀어낸 것이 참신했습니다. 특히 rehearsal-free이면서도 모든 파라미터가 end-to-end로 최적화되고, 추론 시 추가 계산 부담이 없다는 점은 실제 응용 가능성을 크게 높이는 요소라고 생각됩니다. 실험 결과에서 SD-LoRA가 태스크 간의 공통된 저손실 경로로 수렴하며, 안정성-가소성 균형을 성공적으로 달성한 부분도 인상적이었습니다. 향후 다양한 도메인에 적용 가능한 범용 CL 기법으로 발전할 가능성을 보인 논문이라는 생각이 듭니다. 좋은 발표 감사합니다.

이번 세미나는 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning" 논문에 대해서 소개해주셨습니다. 해당 논문은 continual learning을 위해 기존 reference free 방식으로 L2P와 같은 task prompt를 탐색한 후 모델에 적용하는 방법과 달리 task별 LoRA의 가중치를 조절하여 학습하는 SD-LoRA를 제안하였습니다. SD-LoRA는 LoRA를 방향과 크기로 분해하여 task마다 크기의 영향을 조절하는 방식을 제안합니다. 또한 knowledge distillation 을 활용하여 확장 가능한 방법을 함꼐 고려하였습니다. Continual learning 연구에 있어서 기존 방법의 inference 문제와 확장성에 대한 문제를 함께 개선하고자 하였다는 점에서 인상깊게 본 연구였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning" 논문에 대해 소개해주셨습니다. SD-LoRA가 catastrophic forgetting 문제를 효과적으로 해결하면서도 rehearsal-free, inference-efficient, end-to-end optimization이라는 이상적인 CL 조건을 모두 만족한다는 점이 인상 깊었습니다. 특히 기존 LoRA 방식의 한계였던 방향과 크기의 통합 학습을 분리하여 해결하였으며, 실험적으로도 다양한 벤치마크에서 우수한 성능을 보여주었습니다. 이론적 분석을 포함하여 실제 활용 가능성까지 염두에 둔 설계라는 점에서 의미 있는 연구라고 느꼈습니다. 좋은 발표 감사합니다!

금일 세미나는 “SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning” 논문을 바탕으로 진행되었습니다. 제안 연구는 Continual learning task에서, 학습이 진행됨에 따라 발생하는 catastorophic forgetting을 완화하는 것을 기본적인 목적으로 하고 있으며, 시간에 따라 변화하는 상황 속에서 모델을 어떻게 학습시킬 것인지가 중요한 과업이라고 볼 수 있습니다. 제안하는 방법론에서는 추가적인 샘플을 저장하지 않는 Rehearsal-free, Inference efficiency, end-to-end optimization을 만족하기 위하여 Scalable and Decoupled LoRA (SD-LoRA)를 제안하여, 각 task 별 LoRA를 학습함으로써 구성하고 있습니다. 이에 기존 LoRa가 크기와 방향을 정밀하게 조절하는 데 유연성이 부족하다는 한계점과 Fine-tuning 시에는 크기보다 방향이 더 중요하다라는 연구를 기반으로 각 Task마다 LoRa를 추가하지만, LoRA weight의 magnitude와 direction을 분리한 뒤 각각 update하는 방법론을 제안하고 있습니다. 이를 바탕으로 경험적, 이론적 분석을 통해 해당 방법론이 모든 Task에서 최적의 low-loss landscape로 수렴함을 보여주는 방식으로 연구를 수행합니다. Continual learning에서의 LoRA에서 발생할 수 있는 문제점을 잘 파악하여 필요한 부분을 적절히 해결한 좋은 연구라는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning" 논문에 대한 소개를 중심으로 진행되었습니다. 이 연구의 가장 큰 강점은, Foundation Model 기반의 연속 학습(continual learning) 분야에서 기존 LoRA나 프롬프트 기반 방법들이 갖는 확장성의 한계를 명확하게 짚어내고, 이를 구조적으로 극복할 수 있는 새로운 방법론인 SD-LoRA를 제안했다는 점입니다. 기존 방식들은 태스크가 많아질수록 파라미터 수가 기하급수적으로 늘어나거나, 샘플 리허설 등 추가적인 자원이 필요해 실제 대규모 환경에 적용하기에는 여러 실용적 제약이 있었습니다. SD-LoRA는 이러한 문제를 근본적으로 분석하고, LoRA 파라미터를 magnitude(크기)와 direction(방향)으로 분리해 학습하는 새로운 접근법을 도입함으로써, 태스크가 추가되어도 추론 시 계산량이 늘지 않고, 샘플 저장 없이도 안정적인 학습이 가능하도록 설계했습니다. 이번 세미나를 통해 SD-LoRA의 핵심 아이디어와 실용적 잠재력을 잘 이해할 수 있었습니다. 좋은 발표 준비해주셔서 감사합니다.