금일 세미나는 "Crest: A class-rebalancing self-training framework for imbalanced semi-supervised learning" 논문에 대하여 설명해주셨습니다. 해당 논문에서는 데이터 불균형에 대한 문제를 해결하기 위한 Class-Rebalancing Self-Training(CReST)와 progressive distribution alignment을 함께 고려한 CReST+ 방법을 제안합니다. 그동안 데이터 불균형에 관련된 논문들을 세미나 시간에 소개해주셨는데, 오늘은 그동안 연구실에서 다뤄진 semi-supervised learning 방법들과 DARP를 통해 distribution alignment라는 개념에 대하여 설명을 들을 수 있어서 좋았습니다. 처음엔 개념이 어려웠으나 친절한 notation 설명과 process에 대한 설명이 이해하기 좋았습니다. 논문 소개를 들으며 한 가지 아쉬운 점은 세미나 때 질문으로 나온 내용과 동일하게 성능 지표에 대한 부분입니다. 이전 DARP와 다르게 CReST에서는 precision에 대한 motivation을 가지고 있는데 전반적으로 성능에 대한 표기를 accuracy 만으로 나타내어 의문점이 들었습니다. Motivation과 논문에서 제안하는 process는 인상깊었으나 실험에 대한 장표가 motivation에 대한 결과로 보여지기에 부족함이 있다는 생각이 들었습니다. 그래도 CReST 자체는 data imbalance 상황에 적용해봐도 괜찮겠다라는 생각이 들었던 방법이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 데이터의 클래스가 불균형을 이룰 시 준지도학습 및 자기지도학습(self-training)을 실시 할 수 있는 framework에 대해서 다루어졌습니다. 기존의 많은 준지도학습 방법론들은 데이터의 클래스 불균형 상황을 고려하지 않고 있기에 해당 연구 주제는 충분히 현실적이고 실용적일 것이라 생각됩니다. 소개해주신 CReST라는 이름의 framework의 핵심은 바로 Class-Rebalancing Sampling입니다. 기본적으로 불균형 데이터에서 클래스의 수가 적은 Minority Class에 대한 precision 값은 매우 높습니다. 이러한 현상에 기반하여 Class-Rebalancing Sampling이란 precision이 높은 범주가 더 많이 샘플링 될 수 있도록하는 가중치 수식을 이용하여 pseudo label이 부착된 데이터를 샘플링하는 것입니다. 나아가 CReST+라는 이름하에 학습이 진행됨에 따라 강도가 변하는 Temperature sclaing을 도입하여 조금 더 나은 성능을 보이는 방법을 제시하였습니다. 개인적으로 해당 논문의 아쉬운 점도 존재하였습니다. 분류 과업에서 평가 지표를 다양하게 활용하여 결과를 확인하는 편인데, 특히 불균형 데이터에 대한 성능 평가의 경우 이에 대한 필요성이 더욱 높아집니다. 하지만 본 논문에서는 모든 평가 지표를 정확도 하나만을 활용하여 성능 평가에 대한 fluency를 보여주지 못했습니다. 흥미로운 연구주제 소개해주신 발표자분께 감사드립니다.

이번 세미나에서는 semi superivsed learning 방법론 동시에 Imbalanced class 문제를 해결하고자 하는 “ CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning” 논문에 대해 다뤄 주셨습니다. Background에서는 semi-supervised learning 방법론이 나타나게 된 배경, 기본적인 가정들, 이전 방법론들에 대해 각 contribution에 대한 포인트를 찝어주시며 설명해주셨기에 더 잘 이해가 될 수 있었습니다. 본 방법론인 CReST는 Minority Class의 Recall은 낮은 반면 Precision이 높다라는 것 그리고 Minority class에 샘플을 추가하면 critical 하다는 점에서 Motivation을 얻습니다. 기본적인 학습 형태는 self-training 형태를 띄고 있으며 SSL 알고리즘을 활용하여 unlabeled set과 함께 사용하여 Teacher모델을 생성합니다. 인상깊었던 부분은 여기서 한번 더 나아가 Pseudo-label의 품질을 높이기 위한 CReST +라는 방법을 제안하고 있다는 것입니다. 불균형 데이터를 조절하기 위해 Temperature Scaling을 도입하고 있으며, 세대를 거칠수록 Psudo-label의 품질에 영향을 끼친다는 점을 해결하고자 Temperature t를 Generation에 따라 감소시키는 방법을 이용하고 있습니다. 준지도 문제와 클래스 불균형 문제를 동시에 해결하려고 했다는 점이 인상깊었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning이라는 논문에 대해 다루었습니다. 본 논문의 방법론은 불균형 데이터 분포의 상황에서 효과적으로 모델을 학습시키기 위한 방법론을 제시합니다. CReST는 minority class는 recall이 낮고 precision이 높아 성능이 좋지 않고, minority class에 샘플을 추가하면 critical하다는 것을 motivation으로 하고 있습니다. 이를 해결하기 위해 특정 class의 빈도가 적을수록 더 많이 샘플링이 되는 것을 목적으로 하여 precision이 낮은 class에 대해서는 샘플링이 적게 되도록 하고, precision이 높은 class에 대해서는 샘플링이 많이 되도록 sampling rate를 설계합니다. 또한 이러한 CReST는 pseudo label의 변동 폭이 크다는 단점이 있어 temperature scaling을 추가한 CReST+라는 모델을 추가적으로 제안합니다. 본 논문에서 지적하는 기존 방법론들의 문제점과 방식에 대해서는 합리적이라는 생각이 들었지만 이를 증명하기 위한 실험 설계는 부족한 점이 느껴져서 아쉬웠습니다. background에서 여러가지 ssl 방법론들에 대해 다루고 현업 데이터의 상황에 대해서도 말씀해주셔서 유익한 세미나였던 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 imbalance data에 대한 semi-supervised learning 방법론을 개선하기위한 CReST/ CReST+를 주제로 진행되었습니다. CReST는 minority class의 sample을 증강하며 class-reblancing을 위한 self training strategy를 제안합니다. CReST+는 Distribution Alignment를 통해 Pseudo-label의 품질의 향상하는 기법이며 이때 temperature scaling을 활용합니다. Target disbribution을 그대로 사용하여 sampling할 prediction을 정하는 것이 아니라 temperature scaled distribution을 통해 Prediction을 생성하게 됩니다. 또한 이 과정에서 사용하는 class rebalancing strength를 progressive하게 증가했습니다. 제안 방법론의 성능이 baseline에 비해 비약적으로 상승하고 있으나 방법론이 다소 복잡해서 직관적으로 이해가 어려웠습니다. 여러운 내용을 최대한 잘 요약해서 전달해주셨습니다. 감사합니다

본 세미나에서는 Crest: A class-rebalancing self-training framework for imbalanced semi-supervised learning 라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문은 이전에 세미나로 진행해주셨던 DDHS와는 달리 준지도 학습 시나리오에서 불균형 데이터의 해결 방법을 제안한 연구입니다. Label data가 부족한 현업의 상황과 잘 어울리는 실용적인 연구라는 생각이 들었습니다. CReST는 Minority Class의 Recall은 낮고, Precision이 높다는 부분과 Minority class에 샘플을 추가하면 critical 하다는 점에서 아이디어가 시작되었습니다. 각 세대마다 self-training을 진행하여 labeled data로 teacher model을 만들고, 이를 통해 unlabeled data의 Pseudo-label을 생성합니다. 그 후 class-rebalancing rule을 통해 sampling rate를 산출하고 이를 통해 sampling을 진행하는 구조였습니다. 이에 추가로 세대수가 증가할수록 pseudo-label의 품질이 떨어지는 문제를 방지하기 위해 progressive DA를 적용하였고 해당 모델을 CReST+로 명명하였습니다. 사실 대부분의 현업 데이터가 불균형 데이터이고 대부분의 경우 Minority Class에 대한 정확도가 더 중요한 부분 일 것 입니다. 본 연구와 같은 방법론이 현업 측면에서 굉장히 유용하게 쓰일 수 있을 것이라고 판단됩니다. 좋은 발표 감사합니다!

이번 세미나에서는 Crest: A class-rebalancing self-training framework for imbalanced semi-supervised learning라는 논문에 대해 다루어 주셨습니다. 해당 논문은 class imbalance dataset을 대상으로 semi-supervised learning 방법론을 제안하였습니다. Imbalance dataset의 경우 결국 minority class에 대해 얼만큼 잘 학습하느냐가 관건이라고 볼 수 있습니다. Minority class의 경우 recall이 낮은 경향성이 존재하는데, 본 논문에서는 이를 완화하기 위해 labeled data로 학습된 teacher 모델로부터 pseudo-label 데이터를 샘플링하여 minority class에 대한 학습이 잘 이루어지도록 하였습니다. 이 때, 각 세대별로 학습된 teacher model로부터 pseudo-labeled 데이터를 생성할 때 결국 어떤 class를 보강할지 sampling rate를 산출하는 부분이 관건인데 이 때, target에 대한 temperature scaled distribution을 활용한 부분이 인상 깊었습니다. Class imbalance dataset의 경우 현업 관점에서 매우 빈번하게 발생할 수 있는데 이에 대한 문제를 다루었다는 점에서 매우 실용적인 논문이라는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나는 데이터 불균형이 존재하는 상황에서 Self-supervised training을 위한 방법론을 제시하는 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning 논문을 바탕으로 진행되었습니다. 기존에 나온 대부분의 Self-supervised learning 연구들은 대부분 균형되어 있는 데이터를 기반으로 진행되고 있었지만, 해당 논문에서 제시하는 CReST에서는 통념적으로 Minority class들이 Recall 성능이 좋지 않은 반면 Precision이 높기에, Minority class에 샘플을 추가하면 더욱 Critical 하다는 Motivation을 바탕으로 하여 Minority class에 속해 있는 Sample의 증강을 제안하여 Class-Rebalancing을 제안하고 있었습니다. 전체적인 방법론으로는 먼저 Labeled data와 Unlabeled data를 같이 사용하여 학습한 Teacher Model을 통하여 class의 빈도를 고려하여 Pseudo-labeling 데이터를 Sampling하고 있었습니다. 이러한 데이터 Imbalance 상황은 현실 세계에서 실제로 가장 많이 겪을 수 있는 문제이기에 유익하게 들을 수 있었던 세미나였습니다. 생소할 수 있는 방법론들이지만 이전에 제시된 방법론들을 기초적인 Background부터 자세히 설명해주셨기 때문에 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 ‘Crest: A class-rebalancing self-training framework for imbalanced semi-supervised learning’ 이었습니다. 해당 논문은 데이터 불균형 상황을 기존의 Semi-Supervised Learning 방법론들은 고려하지 않았음을 지적하고, 이를 해결할 수 있는 Pseudo Labeling 방법론을 제안하고 있습니다. 이때 Class Rebalance rule을 이용하여 더 작은 class의 unlabeled sample이 pseudo label 될 수 있도록 하고 있습니다. 이와 더불어 Distribution Alignment에 있어서도 데이터 불균형을 고려하는 CReST+까지 제안하고 있습니다. 세미나 초반의 내용만 고려하면 학습 과정 내에서 Pseudo Labeling 시 데이터 불균형을 고려하는 것으로 보였으나, Teacher-Student 구조로 이루어져있기 때문에, 다소 비교 방법론이 잘못 설정되어 있다는 생각이 들었습니다. 특히 데이터 불균형을 해결하기 위해 적은 클래스에 대해 더 많은 Pseudo Label을 생성하는 방법론이 샘플링 weight를 직접 조정하기 보다는 Calibration을 이용하면 좋았을 것 같습니다. 대표적인 SSL 방법론들이 균형 데이터셋 상황을 가정하고 실험하고 있어, 실제 데이터와 괴리가 존재한다고 생각했는데, 이를 직접 해결하려고 노력한 논문을 소개해 주셔서 감사합니다.

이번 세미나에서는 Crest: A class-rebalancing self-training framework for imbalanced semi-supervised learning 논문을 다루어 주셨습니다. 해당 논문에서는 불균형 문제가 존재하는 데이터셋에서 class-rebalancing을 해주는 준지도 학습 방법론인 Class Rebalancing Self-Training(CReST)를 소개하고 있습니다. 모델 구조에서는 Teacher-Student network를 이용하고 있는데 Teacher model을 생성할 시에는 라벨이 있는 데이터와 라벨이 없는 데이터를 모두 이용하고 있습니다. 각각의 generation에서 self-training을 이용하는데 teacher model에서는 label된 set으로 학습하여 Teacher Model을 생성하여, unlabel된 데이터에 대해서는 pseudo label을 생성하고 있습니다. CReST+에서는 기존 모델인 CReST에 class-rebalancing 강도를 progressive하게 증가시키는 Progressive DA를 적용하여 pseudo-label의 품질을 향상시키고 있으며, temparature scaling을 통해 불균형 데이터를 조절하고 있습니다. 실험 장표에서 majority class에서는 성능 하락이 크지 않지만 minority class에서는 training sample의 부족으로 성능 하락을 보이고 있습니다. Background를 상세하게 다루어 주셔서 논문에 대한 전반적인 이해를 하는데 많은 도움이 될 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning이라는 연구를 소개해 주셨습니다. Background에서는 MixMatch, ReMixMatch 등 다양한 방법론 별로 Motivation과 핵심적인 내용을 소개해주셔서 어떠한 점을 개선하기 위해 Semi-supervised 관련 연구가 진행되어 왔는지 흐름을 파악하기 좋았습니다. 해당 연구에서 제안한 방법론은 Data Imbalance가 존재하는 상황에서 일반적으로 Minority Class의 Precision이 높다는 것을 Motivation으로 하고 있습니다. 소개해주신 연구에서는 CReST와 CReST+ 라는 두 가지 방법론을 함께 제안했습니다. 두 방법론 중 기본이 되는 방법론인 CReST는 Precision이 높을수록 (특정 Class의 빈도가 적을수록) 더 많은 Unlabeled Sample을 추가하고, Precision이 낮을수록 (특정 Class의 빈도가 높을수록) 적게 Sampling하는 방법을 활용해 Class-Rebalancing을 합니다. 그런데 이 CReST의 경우, Minority Class가 데이터에 거의 없는 경우 Overbalanced Problem을 야기해 더 많은 Sample이 Minority Class로 오분류된다는 문제가 있습니다. 이에 따라 연구진들은 Progressive DA를 추가적으로 적용하여 Pseudo-label의 품질을 향상시킨 방법론인 CReST+를 함께 제안했습니다. 기존에 Semi-Supervised Learning 관련 연구들이 대다수 균형 데이터를 기반으로 진행되고 있다는 점은 인식하지 못하고 있었는데, 이번 세미나를 통해 새로운 사실을 또 하나 알아갈 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 semi-supervised learning에서 불균형 데이터를 처리하는 방법론 CreST에 대해 소개해 주셨습니다. 본 방법론은 CVPR 2021에 개재된 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning 논문에서 제안된 것으로 소수 calss의 경우 pseudo label이 labeled set에 포함되기 쉬우므로 precision이 높고, sample을 추가할 경우 불균형 문제와 bias가 감소할 수 있다는 insight로부터 아이디어를 전개합니다. CreST는 기본적으로 세대를 반복하며 불균형을 해소하는 구조이며, labeled data를 통해 teacher 모델을 학습하고 unlabeled data에 대한 Pseudo label을 생성하는 것을 반복합니다. 여기서 핵심은 Teacher Model 생성시 SSL 알고리즘 활용하여 Labeled set과 Unlabeled set 함께 사용한 것입니다. CReST+는 여기에 Progressive DA를 적용하여 Pseudo-label 품질을 향상 시키고, 불균형 데이터를 조절하기 위해 Temperature Scaling을 도입했다는 차이가 있습니다. 이번 세미나 논문을 포함하여 데이터 수준을 다루는 다양한 연구들을 보면 SSL 방법론을 활용하는게 매우 효과적이라는 생각이 들었습니다. 또, 발표자께서 지속적으로 데이터 불균형을 해결하기 위한 방법론 들을 소개해 주시고 계신데, 처음에는 어색하고 이해가 어려운 부분이 있었지만, 매번 정확한 notation과 장표로 설명해 주신 덕분에 분야에 대한 감을 잡아가고 있는 것 같습니다. 특히 항상 현업의 관점에서 필요성과 적용 가능성에 이야기 해주셔서 많이 배우고 있습니다. 좋은 발표 감사합니다.

이번 세미나에선 Crest: A class-rebalancing self-training framework for imbalanced semi-supervised learning 라는 연구에 대해 소개되었습니다. 논문에선 데이터 불균형 상황에서 Class-rebalancing Self-training 방식을 적용하여 소수 class에 대한 성능을 향상시킨 CReST라는 방법론과 여기에 Progressive Distribution Alignment를 추가하여 발전시킨 CReST+를 제안하고 있습니다. Class imbalance관련 연구를 여러 차례 다뤄주셨지만 이번 세미나에선 semi-supervised learning 이전 연구로 mismatch, fix match, DARP 등이 소개되어 많은 내용을 새롭게 접할 수 있었습니다. 특히, DARP는 이전 연구의 제안 방법과 notataion을 통해 semi-supervised learning의 핵심이라 생각되는 distribution alignment를 발표자분의 설명을 통해 다시 한 번 정리할 수 있어 유익했던 것 같습니다. Semi-supervised learning과 Self-supervised learning은 풀고자 하는 문제 세팅은 조금 차이가 있지만 접근 방식 자체가 유사한 부분이 많다고 생각하고 있었는데, CReST+에서 temperature scaling을 사용하여 성능을 개선한 부분에서 이러한 점이 드러났다 생각합니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 imbalanced data 상황에서 class rebalancing self-training 프레임워크를 제안한 논문 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning을 주제로 진행되었습니다. 본 논문은 대표적인 SSL 기법 FixMatch의 저자이신 손기혁님이 2저자로 참여하신 논문이기도 합니다. 현재 저는 prompt 기반의 self-training 연구를 수행하고 있는 만큼, real world에서 SSL을 활용할 때 중요한 이슈가 되는 imbalanced data 문제를 다루고 있는 본 논문의 내용을 흥미롭게 들을 수 있었습니다. 본 논문은 데이터 불균형 상황에서 일반적으로 minority class의 recall이 낮은 반면 precision이 높다는 사실에 기반하여 class의 빈도가 적을 수록 더 많은 unlabeled sample을 학습에 활용할 수 있도록 class rebalancing 기법 CReST를 제안합니다. 또한 progressive distribution alignment를 적용하여 pseudo label의 품질을 향상시킨 CReST+를 함께 제안하였습니다. minority class의 경우 precision이 높기 때문에 대부분의 minority class로 예측된 pseudo label은 신뢰할 수 있어 위험 부담이 적기에 더 많은 양으로 샘플링될 수 있도록 아이디어를 전개한 측면이 인상 깊었습니다. 데이터 불균형 상황은 현업 관점에서도 매우 중요한 연구 주제이기에 지속적으로 팔로업해야 할 필요성에 대해 충분히 공감할 수 있는 세미나였습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나는 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning을 주제로 진행되었습니다. 해당 논문은 semi supervised learning을 통해 데이터 불균형을 해결하고자 합니다. 본 논문에서 제안하고 있는 CReST는 Class-rebalancing을 위한 Self-training Strategy를 사용하였습니다. Teachder 모델을 생성할 때 labeld 뿐 아니라 unlabeled set을 함께 사용하고 빈도가 적은 minority class에 해당하는 unlabeled sample을 더 많이 추가하는 방법을 사용하였습니다. CReST+는 progressive DA를 CReST에 적용하여 pseudo label의 품질을 향상하였습니다. Progressive DA는 overbalanced problem을 해결하기 위해 class-rebalancing strength를 progressive하게 증가시키는 방법입니다. 발표자분께서 매번 data imbalanced를 해결하는 방법에 대해 소개해주셔서 항상 도움이 많이 되고 있습니다. 좋은 발표 감사합니다.

이번 세미나는 CVPR 2022에 게재된 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning 논문으로 진행되었습니다. 해당 논문은 minority class에서 recall 성능은 낮은 반면 precision은 높고, minority class에 샘플을 추가할수록 클래스 불균형을 해소할 수 있고, majority class에 대한 biasing을 감소시킬 수 있다는 점을 motivation으로 class rebalancing 기법을 제안했습니다. 논문에서 메인으로 제시한 CReST(Class Rebalancing Self-Training) 방법론은 labeled 데이터와 unlabeled 데이터를 함께 사용하여 teacher a모델을 학습하고, class-rebalancing rule을 이용해 pseudo-labeled minority sample을 생성하는 방식으로 진행됩니다. 추가적으로 Progressive Distribution Alignment를 적용하여 pseudo-label 데이터에 대한 품질을 향상시킬 수 있는 CReST+ 방법론도 함께 제안하였고, 결과적으로 majority class 데이터에 대한 성능이 일부 감소하긴 하지만 minority class 데이터에 대해 성능 향상을 보이는 결과를 얻을 수 있었다고 합니다. AI 분야에서 데이터 불균형 문제가 정말 해결이 어려운 문제인 만큼 흥미롭게 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning 논문으로 진행 되었습니다. Minority Class 의 Recall 이 낮고, Precision 이 높음을 Motivation 으로 방법론 제안 하였고, Labeled + Unlabeled Set 함께 사용하여 Teacher Model Train 하는 방식을 사용합니다. Class-rebalancing Rule 을 통해 Pseudo-labeled Minority Sample을 생성 하는 CReST 방법론을 소개해주었고, 이전에 Semi-Supervised learning 과 관련된 다양한 기초 배경의 논문들을 리마인드 할 수 있었습니다. 발표자 분께서 매번 data imbalanced 주제와 SSL 과 관련한 논문들을 소개해주고 있고, 현업에 적용관점에서 논문의 핵심을 찾아내어 소개해주는 것이 유익했습니다, 감사합니다.