이번 세미나는 기존의 Prompt-based Continual Learning 방식이 Prompt 선택을 위한 Prompt Query를 생성하고, 선택된 Prompt를 이용한 추론을 수행하기 위해 2번의 ViT Inference를 요구한다는 한계점을 해결하기 위해 이를 한 번으로 감소시킨 “One-stage Prompt-based Continual Learning”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 해당 방법론은 중간 레이어에서 추출한 Token Embedding을 Prompt Query로 사용하는 OS(One-Stage)-Prompt 프레임워크와 Prompt Pool의 표현력을 향상시켜 성능을 보완하기 위한 QR 손실을 제안합니다. OS-Prompt에서 초기 Layer(1,3,5)에서 추출한 Token Embedding이 향후 Task를 수행하는 과정에서 Representation의 변화량이 가장 적고, 이 점을 통해 Prompt Query로 사용한다는 논리가 합리적이었습니다. 그러나 물론 추론 과정에서는 그렇지 않지만, 학습 과정에서는 결국 QR Loss를 통해 학습하기 위해 Reference ViT까지 총 2번의 Inference가 적용된다는 점에서 기존 방법론들이 2번의 Inference를 수행해야한다는 한계점을 지적한 것에 비해 조금 아쉬운 점이 있다는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 기존의 Prompt Continual Learning 기법의 한계를 극복하고자 하는 새로운 접근법을 제안한 “One-stage Prompt-based Continual Learning” 논문에 대해서 발표해 주셨습니다. 해당 연구에서는 Vision Transformer를 사용할 때 발생하는 Prompt Query와 Feature Extraction 두 번의 연산 과정을 단일 추론 과정으로 통합하는 방법론을 소개하고, 이를 통해 계산 비용을 현저히 절감하는 방안을 제시하였습니다. ViT 중간 레이어의 Token Embedding을 직접 프롬프트 쿼리로 사용함으로써, 추가적인 ViT 추론 단계 없이도 일관된 표현을 추출할 수 있음을 입증하였습니다. 이 연구는 Continual Learning이 요구되는 다양한 실용적 응용에서도 효과적인 적용이 가능함을 시사하며, 향후 다양한 아키텍처와의 통합을 통해 더욱 발전될 수 있는 기반을 마련한 점이 매우 흥미로웠습니다. 이는 계산 효율성을 크게 향상시키는 것뿐만 아니라, 모델의 일반화 능력을 제고시키는데도 기여한다고 생각하였습니다. 또한 기존 연구들에서 미처 다루지 못한 Continual Learning의 효율성과 효과성을 동시에 증진시킬 수 있는 구조적 개선점을 제시함으로써, AI 기술의 발전에 있어 중요한 기여를 하였다고 생각합니다. 좋은 발표해 주셔서 감사합니다.

금일 세미나는 learnable prompt 기반의 continual learning 방법론을 제안한 “One-stage Prompt-based Continual Learning”을 중심으로 진행되었습니다. 해당 연구는 특히 기존의 연구들이 prompt query, feature extraction의 두 단계로 추론하여 발생하는 높은 비용과 시간 소모를 단축하고자 연산 과정에서 발생하는 embedding을 직접 quey로 활용합니다. image 분야에서 learnable prompt에 대해 많은 연구들이 진행된 것으로 알고 있는데, continual learning이라는 상황에서 특히나 데이터 보호 및 연산량 문제를 해결하기 위한 설득력을 갖추고자 다양한 인사이트와 실험을 진행한 것이 인상적이었습니다. 성능 측면의 개선만큼이나 시간 소요 및 연산량 측면의 개선이 특히 눈에 띄었는데, 하이퍼파라미터에 민감하지 않은 점 역시 큰 장점이라 생각합니다. 좋은 발표 감사드립니다.

이번 세미나에서는 “One-stage Prompt-based Continual Learning” 논문이 소개되었습니다. 이 연구는 기존 Prompt Continual Learning 방식의 한계인 높은 계산 비용을 해결하기 위해, Vision Transformer(ViT) 기반의 Prompt Query 생성과 Feature Extraction 과정을 단일 추론으로 통합하는 새로운 방법론을 제안합니다. ViT의 중간 레이어에서 생성된 토큰 임베딩을 Prompt Query로 직접 활용함으로써, 추가적인 ViT 추론 단계를 제거하여 계산 효율성을 크게 향상시켰습니다. 또한, Query-Pool Regularization Loss를 도입해 중간 레이어 임베딩의 표현력을 유지하며 기존 방식과 유사한 성능을 달성하였습니다. 실험 결과, 이 접근법은 Continual Learning이 요구되는 다양한 시나리오에서 효율성과 효과성을 동시에 증진시켰으며, 계산 비용을 절감하면서도 일관된 표현 학습을 가능하게 했습니다. 이 논문은 Continual Learning과 ViT 아키텍처 통합의 새로운 가능성을 제시하며, 향후 다양한 응용 분야에서 실질적인 기여를 할 것으로 기대됩니다. 좋은 발표 감사합니다!

본 세미나는 image를 다루는 task에서, 기존 prompt continual learning 방식의 문제점을 지적하고 있습니다. 해당 문제점은 prompt query와 feature extraction이라는 두 번의 ViT 연산으로 많은 계산 비용이 발생한다는 점입니다. 이를 해결하고자, ViT의 중간 레이어의 토큰 임베딩을 프롬프트 쿼리로 직접 사용하는 One-Stage prompt-based continual learning 방법론을 제안하였습니다. 특히 ViT 중간레이어의 임베딩을 Prompt query로 충분히 사용할 수 있다는 점을 실험적으로 증명한 것이 인상 깊었습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 금일 세미나는 "One-stage Prompt-based Continual Learning" 연구를 바탕으로 진행되었습니다. Continual Learning이란, 모델이 새로운 데이터나 Task를 학습하면서도 이전에 학습한 지식을 잃어버리지 않고 유지하며 추가적인 지식을 습득하게 하는 학습 방식입니다. 이때, 해당 방식은 점진적으로 무엇을 학습하냐에 따라 다양한 범주로 나뉘고 있습니다. 이러한 Continual Learning은 다양한 방식으로 수행되는데, 제안 연구에서는 Prompt-based continual learning을 진행합니다. 이는 모델의 Parameter를 직접 학습하는 대신, Learnable parameter를 바탕으로 새로운 Task를 학습하는 방식입니다. 제안 연구에서는 실험을 통해 얻은 관찰을 바탕으로 초기 계층의 토큰 임베딩을 프롬프트 쿼리로 사용하는 OS-prompt 프레임워크를 제안하고 있습니다. 이를 사용하면 추가적인 ViT 추론 없이도 Prompt Query가 가능하지만, 기존에 사용하던 Query feature 대비 표현력이 감소하는 문제가 발생하기에 Query-Pool Regularization loss를 통하여 이를 상쇄시켜주고 있습니다. 상세하게 설명해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "One-stage Prompt-based Continual Learning"에 대해 소개해주셨습니다. 논문에서는 Continual Learning 분야에서 기존의 복잡한 다단계 학습 절차를 간소화하면서도 성능을 유지하거나 향상시킬 수 있는 새로운 프롬프트 기반 접근법을 제안합니다. 기존 방법론은 잦은 재학습과 메모리 제약, 데이터 분포의 변화에 따른 성능 저하 문제를 겪는 경우가 많았고, 논문에서 제안하는 One-stage Prompt-based Continual Learning은 모델이 하나의 학습 단계에서 효율적으로 새로운 작업을 학습하면서 기존 지식을 유지할 수 있다는 장점을 갖습니다. 해당 방법론은 특히 프롬프트를 생성하고 학습하는 과정을 단일 단계로 통합하여 연속 학습 과정의 복잡성을 크게 줄였으며, 이에 따라 높은 효율성과 확장 가능성을 보입니다. 이런 프롬프트 활용 방식은 각 작업의 학습 특성을 반영하여 학습된 지식을 잃지 않도록 보장하는 역할을 할 수 있으며, 실험을 통해 이를 입증하였다는 점이 인상 깊었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "One-stage Prompt-based Continual Learning" 논문이 소개되었습니다. 기존 Prompt Continual Learning에서는 Prompt Query 생성과 특징 추출을 위해 두 번의 ViT 연산이 필요했으며, 이는 계산 비용 증가의 원인으로 지적되었습니다. 이 논문은 이러한 문제를 해결하기 위해 One-stage Prompt-based Continual Learning 방법론을 제안합니다. 구체적으로, ViT의 중간 레이어에서 생성된 토큰 임베딩을 Prompt Query로 활용하여, 추가적인 ViT 추론 단계를 생략합니다. 이를 통해 Prompt Query와 특징 추출을 한 번의 추론으로 모두 가능하게 하였습니다. 실험 결과, ViT 중간 레이어의 임베딩도 Prompt Query로서 충분히 일관된 표현을 제공하며, 계산 효율성을 크게 개선할 수 있음을 보여주었습니다. 발표를 통해 계산 비용 문제를 해결하는 새로운 접근법을 배울 수 있었습니다. 감사합니다!

이번 세미나에서는 "One-stage Prompt-based Continual Learning" 논문에 대해 다뤄주셨습니다. 이 논문은 기존 Prompt-based Continual Learning 방법론의 한계, 즉 Prompt Query 생성과 Feature Extraction을 위해 두 번의 ViT 연산이 필요한 계산 비용 문제를 해결하고자 새로운 접근법을 제안합니다. 제안된 방법론은 ViT의 중간 레이어에서 생성된 Token Embedding을 Prompt Query로 직접 활용하여, 추가적인 ViT 추론 과정을 제거하고도 일관된 표현을 유지할 수 있음을 실험적으로 입증하였습니다. 또한, QR Loss(Query-Pool Regularization Loss)를 도입하여 Prompt Pool의 표현력을 향상시키고, 계산 효율성과 성능 간의 균형을 맞춘 점이 인상 깊었습니다. Continual Learning에서 모델의 효율성과 확장 가능성을 동시에 고려한 연구로, 향후 다양한 아키텍처에 적용 가능성이 높다고 생각됩니다. 좋은 발표 준비해주셔서 감사합니다!

금일 세미나에서는 "One-stage Prompt-based Continual Learning" 논문에 대해 다뤄주셨습니다. 이 연구는 기존 Prompt-based Continual Learning 방식이 Prompt Query 생성과 Feature Extraction을 위해 두 번의 Vision Transformer(ViT) 연산을 요구함으로써 발생하는 계산 비용과 시간 소모 문제를 해결하기 위해, 단일 추론 과정으로 이를 통합하는 방법론을 제시하며 특히, ViT의 중간 레이어에서 추출한 Token Embedding을 Prompt Query로 직접 활용함으로써 추가적인 ViT 추론 단계를 제거하고도 일관된 표현을 유지할 수 있음을 실험적으로 증명하였다는 점이 매우 인상 깊었습니다. 또한 QR Loss(Query-Pool Regularization Loss)를 도입하여 Prompt Pool의 표현력을 보완하였고, 제안된 방법론이 Continual Learning의 효율성을 크게 향상시키면서도 새로운 Task와 기존 지식 간의 균형을 잘 유지할 수 있다는 점에서 매우 설득력 있는 해결책이라고 생각이 들었습니다. 발표 준비와 명확한 설명 덕분에 많은 인사이트를 얻을 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 "One-stage Prompt-based Continual Learning"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 본 논문에서는 기존의 두 단계에 걸쳐 진행되는 Prompt-based Continual Learning에서 발생하는 연산 비용 문제를 해결하기 위해, One-Step으로 프롬프트 쿼리와 특징 추출을 동시에 처리할 수 있는 방법론을 제안합니다. 이 연구에서 제시된 One-stage Prompt-based Continual Learning 방법론은 Vision Transformer (ViT)를 활용하여, 중간 레이어의 토큰 임베딩을 직접 프롬프트 쿼리로 활용함으로써 추가적인 ViT 추론 단계 없이도 효과적으로 Continual Learning을 수행할 수 있습니다. 이 접근 방식은 기존에 여러 단계를 거쳐야 하는 불편함과 계산 비용을 크게 줄이면서도, 모델이 새로운 데이터에 대해 빠르고 효율적으로 적응할 수 있도록 돕습니다. 또한, Query-Pool Regularization Loss를 활용하여 ViT의 중간 레이어에서 추출한 임베딩이 기존 쿼리 특징 대비 표현력이 감소하는 문제를 해결합니다. 본 연구에서는 추가 추론 과정이 비효율적임을 언급하며, 이를 One-Stage로 해결하고, 이를 통해 발생할 수 있는 문제에 대해 Loss를 새롭게 추가하여 문제를 해결하였습니다. 모델 구조는 복잡하였지만, 해결하려는 문제와 그 제안 방법론의 목적이 연결되어 흥미로운 연구였습니다. 이해하기 쉽도록 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 "One-stage Prompt-based Continual Learning" 논문을 소개해주셨습니다. 기존 Prompt-based Continual Learning 방식이 Prompt Query 생성과 추론을 위해 두 번의 ViT Inference가 필요했던 한계를 해결하고자, 중간 레이어의 Token Embedding을 Prompt Query로 활용하는 OS-Prompt 프레임워크를 제안했습니다. 특히 초기 Layer(1,3,5)에서 추출한 Token Embedding이 Task 수행 과정에서 Representation 변화량이 가장 적다는 점을 활용한 접근이 인상적이었고, Prompt Pool의 표현력 향상을 위한 QR 손실 도입도 주목할 만했습니다. 이러한 방법론은 Continual Learning이 요구되는 실용적 응용에서 효과적으로 적용될 수 있으며, 계산 효율성 향상과 모델의 일반화 능력 제고에도 기여할 것으로 보입니다. 다만 학습 과정에서 QR Loss 계산을 위해 Reference ViT까지 총 2번의 Inference가 필요하다는 점은 기존 방법론의 한계점을 지적한 것과 비교했을 때 아쉬움이 남습니다. 좋은 발표 감사합니다.

이번 세미나는 continual learning을 주제로 진행되었습니다. Continual learning의 핵심은 새로운 데이터를 받아들이되, 이전에 학습한 지식은 잊지 않도록 함에 있습니다. 그 중 rehearsal-free 기반 방식은 과거 데이터를 재 학습하는 것이 아니라, 모델의 매개변수, 내부구조 등을 변경하거나 prompt 등을 이용하여 새로운 데이터를 학습합니다. 소개해주신 연구는 기존의 prompt 기반의 방법론들이 가지는 한계인 ViT 모델로 하여금 두 번의 추론을 해야 하는 점을 보완하고자 one-stage로 진행할 수 있는 프레임워크를 제안하였습니다. 비록 방법론에서 언급하는 prompt pool이라는 것에 대해서는 아직 완벽히 이해 되지는 않지만 Query, Key, Value의 개념을 완벽히 활용한 점이 매우 인상적이었습니다. 흥미로운 연구 소개해주셔서 감사합니다.