이번 세미나에서는 Online Class-Incremental Learning 분야에서 발생하는 망각 문제를 해결하고 새로운 개념 학습을 향상시키기 위해 EMI(Enhanced Mutual Information) 프레임워크를 제안한 ‘Constructing Enhanced Mutual Information for Online Class-Incremental Learning’ 논문에 대해 발표해 주셨습니다. 해당 논문은 기존 Mutual Information 기반 방법들이 단순한 MI 연결 방식으로 인해 Knowledge Confusion 문제를 해결하지 못한다는 점을 지적하고, Task knowledge를 다양성(Diversity), 대표성(Representativeness), 분리성(Separability) 세 가지로 나누어 Mutual Information을 활용하여 강화하는 접근 방식을 사용하였습니다. 특히, 이를 위해 세 가지 MI 기반 손실 함수인 DMI, RMI, SMI를 제안하여 Intra-Class Feature의 다양성을 높이고, 각 Class의 대표 Feature를 강화하며, Class 간 Separability를 향상시키는 점이 인상깊었습니다. 또한, Task-general한 Feature와 Class-specialized Feature를 분리하여 학습할 수 있도록 DualNet 구조를 차용해 기존의 OCM 등의 방법과 비교하여 성능 면에서 향상된 결과를 보인 점이 흥미로웠습니다. 논문의 기여도 측면에서는 기존 방법론들의 조합이라는 인상이 강해, 혁신적인 요소가 부족하다는 점이 다소 아쉬웠지만 DualNet과 Mutual Information을 OCIL에 적용한 사례를 하나의 논문에서 모두 확인할 수 있었다는 점에서 의미있는 연구라고 생각합니다. 향후 OCIL에서 MI를 효과적으로 활용할 수 있는 가능성을 볼 수 있었습니다. 흥미로운 주제로 좋은 발표해 주셔서 감사합니다.

이번 세미나는 incremental learning을 주제로 진행되었습니다. 구체적으로는 계속해서 데이터가 스트리밍되는 online incremental learning의 상황에서 본 목적에 맞게 기학습된 데이터의 정보와 새로 들어온 데이터간의 mutual information을 높이는 것에 집중하는 Enhanced Mutual Information(EMI) 방법론이 소개되었습니다. 클래스 관점에서, 동일 클래스 내에서는 다양성을 보존하고(Diversified MI), 동일 클래스의 대표값은 더욱 대표적으로 만들며(Representative MI), 클래스 간의 구분은 확실하게(Separability MI) 설정할 수 있도록 mutual information을 응용하여 학습합니다. 새로운 클래스가 입력되었을 때는 버퍼(buffer)안에 있는 샘플 중 유사도가 높은 것들을 활용하도록 되어 있습니다. Incremental learning을 이미지 분류 과업 뿐만 아니라 다른 과업에서도 효과적인지 궁금합니다. 추천시스템의 경우 매일 새로운 아이템과 사용자가 추가되기 때문에 이와 같은 컨셉이 충분히 적용될 수 있을 것이라 예상됩니다. 발표 감사합니다.

이번 세미나는 Online Class-Incremental Learning에서의 망각을 줄이고, Feature Representation을 학습하는 과정에서 Mutual Information(MI)라는 개념을 도입해 대표성, 분리성, 다양성이라는 3가지 특성을 학습하게끔 하는 방법론인 EMI 프레임워크를 제안한 “Constructing Enhanced Mutual Information for Online Class-Incremental Learning”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 기존 OCI 방법론들에선 과거 Task와 현재 Task 간의 관계는 고려하지 않고, 단순하게 MI를 적용하였습니다. 이로 인해 과거 Task의 정보가 쉽게 망각되거나, Feature가 섞이는 등 Knowledge Confusion 문제가 발생하였습니다. EMI에서는 이를 개선하기 위해 다양성, 대표성, 분리성 3가지의 Knowledge를 분리시켜 이들 간의 MI를 최대화하는 방식으로 클래스 간 간섭을 최소화하였습니다. 데이터가 한 번만 주어지고, 과거 데이터를 볼 수 없다는 OCI가 가정하는 학습 환경이 효과적인 학습을 수행하는데 매우 어려운 세팅이라는 생각이 드는데 이를 해결하기 위해 MI의 개념과 Buffer를 활용하는 것이 흥미로웠습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 Online Class-Incremental Learning(OCIL)에서 발생하는 망각 문제를 해결하고 성능을 향상시키기 위한 EMI(Enhanced Mutual Information) 방법론을 소개한 논문이 발표되었습니다. EMI는 Mutual Information(MI)을 활용하여 클래스 내 다양성, 대표성, 클래스 간 분리성을 강화하는 손실 함수(DMI, RMI, SMI)를 제시하며, DualNet 구조를 채택해 Task-general Feature와 Class-specialized Feature를 분리하여 학습합니다. 이 접근은 기존 방법들과 비교하여 성능 향상 결과를 보였으며, OCIL에서 MI를 효과적으로 활용할 가능성을 보여주었지만, 기존 기법들의 조합이라는 점에서 혁신적인 요소는 부족한 점이 아쉬웠습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 Online Class-Incremental Learning에서의 망각 문제를 해결하기 위해 EMI(Enhanced Mutual Information) 프레임워크를 소개한 논문이 발표되었습니다. EMI는 기존 MI 기반 접근 방식의 한계를 보완하기 위해 클래스 내 다양성(Diversity), 대표성(Representativeness), 클래스 간 분리성(Separability)을 각각 강화하는 DMI, RMI, SMI 손실 함수를 도입하였으며, DualNet 구조를 활용해 Task-general Feature와 Class-specialized Feature를 효과적으로 분리하여 학습하는 점이 인상적이었습니다. 이를 통해 과거와 현재 Task 간의 불필요한 간섭을 최소화하고, 새로운 클래스에 대한 학습 성능을 높일 수 있었던 점이 특히 흥미로웠습니다. 기존 기법들의 조합이라는 아쉬움에도 불구하고, OCIL 환경에서 MI의 응용 가능성을 보여준 점이 의미 있는 연구라고 생각됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 Constructing Enhanced Mutual Information for Online Class-Incremental Learning 논문에 대해서 소개해주셨습니다. online class incremental learning 에서 catastrophic forgetting 문제를 해결하기 위해 mutual information을 활용한 세 가지 loss function을 적용한 연구였습니다. 클래스 내 다양성과 대표성 그리고 클래스 간 분리성을 위해 서로 다른 positive와 negative 를 구성하여 적용하였습니다. 본 연구를 통해 여전히 memory buffer를 활용하는 연구들이 지속되고 있구나라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Constructing Enhanced Mutual Information for Online Class-Incremental Learning(EMI)과 관련된 방법론을 제시한 논문을 중심으로 진행되었습니다. Online Class-Incremental Learning(OCIL)은 지속적으로 입력되는 데이터 스트림을 활용해 학습하면서도 기존 정보를 잊지 않도록 하는 것이 핵심 과제이며, 본 논문에서는 Mutual Information(MI)을 활용하여 이러한 문제를 해결하고자 합니다. EMI 프레임워크는 기존 OCIL 기법들이 단순한 MI 연결을 통해 과거 지식과 새로운 지식을 결합하려다 발생하는 Knowledge Confusion 문제를 해결하기 위해 제안되었습니다. 이를 위해 EMI는 Diversified Mutual Information(DMI), Representativeness Mutual Information(RMI), Separability Mutual Information(SMI)의 세 가지 요소를 활용하여 학습된 특징의 다양성, 대표성, 분리성을 강화하는 방법론을 도입하였습니다. 특히 DualNet 아키텍처를 활용하여 General Knowledge를 학습하는 Slow Learner와 Class-Specific Feature를 학습하는 Fast Learner를 분리함으로써 망각을 완화하고, Memory Buffer를 활용해 학습 안정성을 높였습니다. 실험 결과 CIFAR-10, CIFAR-100, Tiny-ImageNet 데이터셋에서 평균 정확도 및 망각률 측면에서 기존 SOTA 기법보다 우수한 성능을 보였으며, Feature Visualization을 통해 EMI가 Class 간 경계를 더 명확하게 형성하는 것을 확인할 수 있었습니다. 다만, 논문 내에서 과도하게 복잡한 방법론 구성과 직관적이지 않은 Figure 및 Writing 문제가 지적될 수 있으며, 기존 연구의 아이디어들을 다수 차용하여 독창성이 다소 부족하다는 점이 한계로 분석되었습니다. 발표를 통해 Mutual Information을 활용한 OCIL에서의 지식 정렬과 망각 완화 기법에 대해 깊이 있는 논의를 나눌 수 있는 유익한 시간이었습니다.

금일 세미나는 지속적으로 학습 데이터가 축적되는 상황에서의 continual learning 학습 방법론을 제시한 "Constructing Enhanced Mutual Information for Online Class-Incremental Learning"을 중심으로 진행되었습니다. 대부분의 ml/dl 방법론은 고정된 학습 데이터를 가정하지만 실 서비스 상황에서는 지속적으로 학습 데이터가 입력되며, class의 수나 종류가 변화하는 등의 특성을 가지고 있습니다. 이러한 상황에서 해당 논문은 기존의 continual learning 연구들을 이용하여 slow/fast net의 이용 및 rehearsal buffer 등의 사용을 통해 극복하고자 합니다. 특히, 기존 일부 데이터와 비교하여 representation 상의 다양성을 극대화하거나, 기학습된 데이터의 분포를 유지하고, 분류 성능을 극대화하는 3가지 loss를 이용하게 됩니다. 실제 실험 환경에서 기존 방법론과 비교하여 높은 성능을 보이면서 그 효과성을 입증하는 모습이 인상적입니다. 다만 가정하고 있는 학습 환경과 달리 buffer를 이용하거나, task의 수가 막대하게 늘어나지 않는 경우에는 성능이 오히려 저하되는 등 아직 극복해야 할 지점들이 존재하는 점 역시 확인할 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 “Constructing Enhanced Mutual Information for Online Class-Incremental Learning” 논문이 발표되었습니다. EMI 프레임워크는 Mutual Information(MI)을 활용하여 Online Class-Incremental Learning(OCIL)에서 발생하는 망각 문제를 해결하고자 제안되었습니다. 기존 MI 기반 방법들이 Knowledge Confusion 문제를 유발한다는 점을 보완하기 위해, EMI는 Diversified MI(DMI), Representativeness MI(RMI), Separability MI(SMI) 세 가지 요소를 도입하여 클래스 간 다양성, 대표성, 분리성을 강화하였습니다. 또한, Task-general Feature와 Class-specific Feature를 분리하여 학습하는 DualNet 아키텍처를 적용해 기존 방법들 대비 향상된 성능을 보였습니다. 실험 결과, CIFAR-10, CIFAR-100, Tiny-ImageNet 데이터셋에서 높은 평균 정확도를 기록하며 SOTA 대비 우수한 성능을 입증하였습니다. 다만, 기존 연구의 개념들을 조합한 방식이어서 독창성이 다소 부족하다는 점과 논문 내 Figure 및 설명이 직관적이지 않다는 점은 아쉬운 부분으로 지적될 수 있습니다. 그럼에도 OCIL에서 Mutual Information을 활용한 지식 정렬과 망각 완화라는 측면에서 의미 있는 연구라고 생각됩니다. 좋은 발표 감사합니다!

금일 세미나는 "Constructing Enhanced Mutual Information for Online Class-Incremental Learning" 논문을 바탕으로 진행되었습니다. 해당 연구는 새로운 데이터나 작업을 순차적으로 학습하면서도, 이전에 배운 지식을 유지하는 학습 기법을 연구하는 Continual learning에 관한 연구로, 그 중에서도 입력된 데이터가 오직 한 번만 학습에 사용될 수 있다는 Online Class Incremental Learning을 가정하는 연구였습니다. 이러한 Online Class Incremental Learning의 목표를 한 문장으로 표현한다면 지속적인 데이터 학습으로 인한 Catastrophic Forgetting을 최소화하며, 새롭게 들어오는 개념들을 잘 학습하는 것이 목표인 연구 분야라고 할 수 있습니다. 이때, 제안 연구에서는 Enhanced Mutual Information(EMI)이라는 개념을 바탕으로 다양성, 대표성, 분리성 측면을 강화시키고자 하고 있습니다. 이를 위하여 Mutual Information을 활용한 3개의 Loss를 제안해주고 있고, Loss들은 각각 Intra-class feature의 다양성 강화, 각 class의 Representative feature 강화, Class 별 Separability 강화를 목적으로 사용되고 있었습니다. 또한, Task general 한 Feature와 Class 특화 Feature를 나누어 학습하기 위해 DualNet 구조를 차용하며, Memory buffer를 사용하고 있습니다. 생소한 Task였지만 발표자분이 상세하게 설명해주셔서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "Constructing Enhanced Mutual Information for Online Class-Incremental Learning" 논문이 발표되었습니다. EMI 프레임워크는 Mutual Information(MI)을 활용해 망각 문제를 해결하며, DMI, RMI, SMI 세 가지 손실 함수를 도입하여 클래스 내 다양성, 대표성, 분리성을 강화하는 방식을 제안합니다. 또한, DualNet 구조를 활용해 Task-general Feature와 Class-specialized Feature를 효과적으로 분리하여 학습 성능을 향상시켰습니다. 실험 결과, 기존 방법 대비 우수한 성능을 보였으나, 기존 기법들을 조합한 방식이어서 혁신성이 부족한 점은 아쉬웠습니다. 그럼에도 OCIL에서 MI 활용 가능성을 보여준 점에서 의미 있는 연구라고 생각됩니다. 좋은 발표 감사합니다!