이번 세미나는 semisupervised learning에 관련된 논문인 ReMixMatch와 FixMatch에 대해 다루었습니다. 지난 세미나의에서 'Mixmatch'에 대해 알게되었는데 이에대한 연장선으로 후속연구를 따라갈 수 있어 많은 도움이 되었습니다. label 데이터가 부족한 상황에서 성능을 높이기위한 semi supervised learning은 모든 분야에서 꼭 필요한 분야이고, 실제 프로젝트를 진행할때도 직면하는 문제이며 더 많이 공부해야겠다는 생각을 하게되었습니다.

Consistency regularization과 Entropy Minimization에서 궁금한점들이 있었는데 발표를 통해 리마인드 할 수 있어 유익했고, 결국 이 방법론들은 검증된 data augmentation method를 쓰는게 중요하다는 생각을 했습니다. 예전에 컨퍼런스에서 Cutmix 저자의 발표를 듣게되었는데 CutOut 연구에서 잘려나가는 이미지들이 아까워서 재 사용해보자는 생각으로 augmentation을 진행하셨다고 합니다. 다음과 같은 아이디어로 좋은 성능을 기록한것을 보면 image domain은 비교적 NLP보다 augmentation이 직관적이기때문에 semisupervised learning에서 좋은 성능을 내지않나 추측해봅니다.

NLP에서 SSL를 적용한 개인연구를 하고계시는데 발표를 듣는 내내 아이디어가 재미있게 느껴졌고, 실험결과도 나쁘지않아 곧 더 좋은 결과가 나올것같다는 생각을 했습니다. 배울점이 많은 세미나였습니다!

먼저 세미나에 발표된 용어정리를 개인적인 생각으로 적어보려고 합니다. Distribution Alignment은 unlabel의 분포와 label의 분포가 안정적으로 유지하면서 classification을 할 수 있도록 하는 robust한 구조를 가지고 있는 것 같습니다. 그리고 Augmentation Anchoring은 데이터의 입력의 diversity를 확장하는데 그 것이 과하면 데이터의 손상이 많이 가니 weak, strong 두가지로 강약을 조절하는 것 같습니다. 연구동향에 대해서 살펴보자면, Mixup은 데이터들을 선형결합으로 섞으며, Cutout은 데이터의 부분을 자르며, Cutmix는 그 잘린 부분을 다른 데이터로 채워주는 방식의 연구가 진행되고 있었습니다. 본세미나의 Remix match는 정보이론의 mutual information을 활용하여 label과 unlabel간의 상호연관성을 측정하는 kl divergence를 distribution align에 적용하였습니다. 그리고 데이터를 회전, cropping을 통한 weak augmentation, strong augmentation을 randaugmentation으로 발전시킨 것 같습니다. 여기서 주의깊게 바야할 부분은 loss function인것 같습니다. supervised loss+cross-entropy+rotation+strong augmentation에서 모델이 학습하기 어려운 부분을 따로 component를 구분해서 추가적으로 더 주의 깊게 학습되도록 구성한것이 굉장히 좋은 트릭이라고 생각됩니다. 마지막 fixmatch label softmax가 일정값이상인 것만 unlabeled data를 사용한다는 점에 매우 확실한 좋은 컨셉이라고 생각됩니다.

Semi-supervised learning 방법론인 ReMixMatch와 FixMatch에 대한 발표였습니다. 이전에 개인연구를 진행하면서 data augmentation이 성능향상에 매우 큰 역할을 한다는 것을 느낄 수 있었는데, 당시 사용했었던 rotation이나 crop과 같은 간단한 방법론들 외에도 창의적이고 효과적인 기법들이 많이 제안되었다는 것을 알 수 있었습니다. 특히 ReMixMatch에서 제안한 CTAugment의 경우 label 정보를 유지하면서 경제적으로 augmentation policy를 수립할 수 있는 방법론이라는 생각이 들었습니다. 추가적으로 개인연구 발표에서 언급되었던 것처럼 텍스트 분야에서도 다양한 augmentation 방법론이 등장하고 있는데, 오늘 소개한 연구에서와 같이 weak augmentation과 strong augmentation을 텍스트에 적용하는 것 또한 좋은 연구 주제가 될 수 있겠다는 생각이 들었습니다.

오늘 발표주신 논문은 지난번 MixMatch 논문에 이어 Semi-supervised Leaning 관련 논문인 FixMatch와 ReMixMatch 논문입니다.
Data Augmentation를 Vision 분야에서 적용한 다양한 방법에 대해 요점을 명확하게 설명해 주셔서 얻어가는것이 많은 세미나였습니다.
개인적으로 NLP에 관심이 있었던 터라 이번 세미나를 들으면서 Data Augmentation을 어떻게 NLP에 적용시킬 수 있을까 함께 고민해 봣습니다.
RemixMatch에서 제안한 Distribution Alingment, Augmentation Anchroing은 노이즈를 통해 Data를 Agument하는 좋은 아이디어지만 이정훈님의 말씀처럼 NLP에서는 단순한 노이즈로는 데이터의 Label을 보존할 수 없으므로 바로 적용은 어려운것 같습니다.
NLP에서 Data Augmentation에 다양한 방법이 존재하겠지만 구어체를 문어체로 변형하는 식의 모델을 Data Augmentation에 적용하면 Week Augmentation 중 하나로 사용할 수 있지 않을까 라고 개인적으로 생각해 보았습니다. 발표 감사합니다.

이번 세미나를 통해 다시 한 번 semi-supervised learning 연구에 대한 맥락과 흐름을 파악할 수 있었습니다. 발표해주신 논문인 MixMatch 논문들의 흐름을 살펴보니 어떻게 문제를 정의하고 그 문제를 해결하는지에 대한 flow가 담겨있어 배울점이 많았던 것 같습니다. 두 논문에서 제시한 방법론 모두 사소한 것 같으면서도 모델을 학습하는데 있어 꽤 큰 영향을 끼치는 것을 보니 앞으로 어떤 방법론을 생각할 때 보다 열린 사고를 가져야겠다는 생각을 하게 되었습니다.

이번 세미나에서는 Semi-Supervised Learning(SSL)에 대해 소개하며, 이에 관련된 방법론으로 ReMixMatch와 FixMatch를 소개합니다. 딥 러닝 계열의 모델들이 최근 높은 성능을 내고 있으나, 다수의 Labeled Data를 필요로 하며 이는 높은 비용을 초래합니다. Labeled Data가 많지 않은 상황에서 Unlabeled Data를 이용하여 학습을 진행하는 방식이 Semi-Supervised Learning입니다. 본 세미나에서는 다양한 SSL 방법 중 학습된 모델로 Unlabeled Data를 Predict하는 Self-training 방식과 모델을 이용해 Unlabeled Data의 분포를 예측하고 Unlabeled Data에 Noise를 추가한 뒤 예측한 분포를 정답 Label로 사용해 모델을 학습하는 Consistency Regularization 방식을 소개했습니다.
이어 소개된 ReMixMatch 논문은 Consistency Regularization 방식에서 Labeled Data를 통해 산출된 True Label과 Unlabeled Data를 이용해 산출된 Guessed Label을 혼합하여 Label을 산출하고 Loss를 계산하는 MixMatch 논문의 후속 논문으로, 기존 MixMatch의 Unlabeled Data의 예측 분포를 실제 분포에 맞춰 조정하는 Distribution Alignment와 Strong Augmentation을 수행하고, Label은 Weak Augmentation을 이용하여 산출하는 Augmentation Anchoring 두 가지 개선 사항을 추가하였습니다.
마지막으로 FixMatch 논문은 Strong Augmentation을 수행할 때 Weak Augmentation 분포의 Threshold보다 높지 않다면 Unlabeled Loss를 0으로 조정해 Supervised Loss만을 계산하고, Threshold를 넘을 경우 Weak Augmentation의 Pseudo-label을 이용하는 방식으로 학습을 진행합니다.
적은 Labeled Data를 이용하여 높은 성능을 기록한 점이 매우 인상깊었으며, 발표자께서 상세히 설명해 주시어 이해에 큰 도움이 되었습니다. 감사합니다.

금일 발표는 "ReMixMatch & FixMatch : Consistency-based Semi-supervised Learning Methods"라는 주제로 진행되었습니다. 본 발표에서는 semi-supervised learning에서 data에 noise를 추가하여 noise가 있는 데이터와 없는 데이터를 동일한 label 분포로 예측하도록 학습하는 consistency regularization 방법에 대해 소개하였습니다. 지난 이정훈 박사과정이 세미나에서 소개한 MixMatch를 기반으로 발전된 ReMixMatch와 FixMatch가 소개되었고, 이 과정에서 준지도 학습에 대한 흐름을 시각적인 자료를 통해 소개해주어 발표를 듣는데 많은 도움이 되었습니다. 해당 방법론에서 사용된 weak augmentation 방법들이 간단한 아이디어를 통해 구현되었는데, 간단한 방법만으로 효과적인 성능 향상이 나타났다는 점이 인상 깊었습니다. 더불어 요즘 논문을 읽을 때 실험 부분에 집중하여 본인이 제안한 방법론의 효과를 입증하는 효과적인 방법들에 대하여 많은 관심을 가지고 있는데, 오늘 발표된 논문들이 이를 배울 수 있는 논문들 중 하나였다고 생각합니다. 좋은 논문을 소개하여 준 이정훈 박사과정에게 감사드립니다.

금일 세미나 시간에는 최근 semi-supervised Learning에서 널리 사용되는 MixMatch에 이어 후속적으로 이어진 "FIxMatch"와 ReMixmatch"에 대해서 이정훈 석박통합과정이 세미나를 이끌어주었습니다. 본 세미나에서는 최근 SSL에서의 Self-Training과 Consistenct Regularization 접근법에 대해서 세미나 서두에 설명을 하였으며, 이를 함께 활용한 MixMatch에 대해서 다시한번 정리하여, 해당 연구분야에 대한 흐름을 따라가는데 있어 매우 수월하였습니다. 여기서 Self-training은 소수의 Labeled 데이터를 활용하여 Unlabeled 데이터에 대하여 prediction을 수행하고, 그 가운데 Confident한 데이터를 주기적으로 Lebeled 데이터에 Psedo label을 추가하여 데이터의 label영역을 확장해 가는 방식으로 이해하였습니다. 반면에 Consistency Regularization은 모델을 통해 Unlabeled 데이터의 분포를 예측하고, Noise 추가와 같은 Data Augmentation을 적용, 해당 Augmented Data의 정답 Label로 예측한 분포를 학습하는 방식으로 이해하였습니다. 추가적으로 이미지분야에서 활용되는 Mixup을 활용하여 MixMatch논문에서는 앞서의 Consistency 학습을 도모하여 SSL에서 좋은 성능을 거두었습니다. "ReMixMatch"에서는 이러한 MixMatch에서 Distribution Alignment와 Augmentation Anchoring을 적용하여 좀더 개선된 방법론을 소개하였습니다. Distribution Alignment의 목적은 Unlabeled 데이터;input(x)와 그예측값;prediction(y) 사이의 의존성(mutual Information척도측면에서 커지도록)을 강조하며, Unlabeled data에 대한 예측분포를 실제 분포에 따라가도록 보정하는 작업을 수행하였습니다. Augmentation Anchoring은 기존 MixMatch에서 사용된 Weak Augmentation만이 아닌 비록 Label 정보가 많이 훼손되지만, Weak Augmentation의 Guessed label을 활용하여 Strong Augmentation을 활용하였습니다.
해당 연구에 대해서 많은 접점이 없었지만(과거 세미나를 참석하지 못함), 발표자가 준비한 세미나 자료에 좋은 예시와 친절한 시각화자료를 통해서 수월하게 이해할 수 있었습니다. SSL연구 분야에서 재미있는 논문들이 생각하여, 개인적으로 주말에 다시한번 읽어보고자 합니다. 프로젝트 수행과 더불어 바쁜와중에도 좋은 세미나시간을 채워준 발표자에게 감사의 말씀 전합니다. 좋은 자극을 받았습니다. 감사합니다.

이정훈 석박통합과정의 세미나 발표를 들었습니다. 이번에 발표해주신 논문은 지난번 발표 해주신 MixMatch 논문에 이어 Google Research에서 발표한 Semi-Supervised Learning(SSL)과 관련된 연구인 ReMixMatch, FixMatch 논문이었습니다. 먼저 발표 초반부에 SSL의 기본 컨셉과, 접근 방법, 최신 동향 등을 잘 설명해주셔서 발표를 들을 때 이해가 수월 했습니다. 처음으로 발표해주신 RemixMatch 모델 같은 경우 기존 MixMatch 알고리즘에 Distribution Alignment 와 Augumentation Anchoring 두 가지 Improvement를 제안한 방법입니다. 시각적으로 쉽게 이해할 수 있도록 그림을 잘 그려주셔서 각각의 개념을 이해하는데 많은 도움이 됐습니다. 특히, Augumentation 시 비교적 강한 noise를 주는 Strong Augumentation으로 인해 label 정보가 많이 훼손되는 문제를 해결하는 과정하기 위해 제안한 Augumentation Anchoring&CTAugument 방법은 개인적으로 매우 흥미롭게 느껴졌습니다. 다음으로 발표해주신 FixMatch 논문은 Labeled Data 에 Weak Augumentation 을 사용한 Supervised Loss 와 Unlabeled Data 에 대해서 Strong Augumentation 을 사용했을 때 모델 예측 값이 Threshold 를 넘으면 Pseudo Label 을 사용하고 넘지 않을 시 loss 계산을 하지 않는 Unsupervised Loss 를 모두 사용해서 학습을 진행하는 모델로 비교적 간단한 아이디어지만 좋은 성능을 보이는 것을 확인할 수 있었습니다. 마지막으로 NLP 문제를 위한 Augumentation 적용에 대한 개인연구에 대해서 말씀해주셨는데 잘 마무리 하셔서 좋은 연구 결과물 얻으시면 좋겠습니다. 발표 잘 들었습니다. 감사합니다.

금요일 세미나 시간에는 저번의 발표였던 MixMatch에 이어서 ReMixMatch와 FixMatch에 대한 발표를 들었습니다. 이정훈 석박통합과정의 발표를 통해서만 들었던 분야여서 어떤 내용이었는지 흐릿하게 기억하고 있었는데, 준지도 학습에 대한 기본적인 모델들과 함께 저번 내용을 리마인드 해주어서 이해하는데 도움이 되었습니다. ReMixMatch에서의 contribution 이었던 augmentation anchoring에 대해 설명해줄때, strong augmentation과 weak augmentation의 차이를 그림으로 보여주면서 기존의 문제점에 대해 어떤 부분을 개선하고자 하였는지 파악할 수 있었습니다. 저번 발표부터 언급된 개념인 consistency regularization에 대해서도 다시 짚어주어서 좋았고, 어떤 식으로 loss를 설정해서 원하는 분포로 학습을 하는지 다시 되짚어볼 수 있었습니다. 준지도학습이라고 하면 흔히들 알고 있는 머신 러닝 기반의 방법론이 아닌, 최신의 연구에 대해서 소개해주어서 감사합니다.

이번 세미나는 이정훈 석박통합의 발표였습니다. 이번에 발표한 논문은 Semi-Supervised Learning(SSL)의 Consistency regularization인 ReMixMatch와 FixMatch 논문이었습니다.

기존의 MixMatch는 Unlabeld data에 대해 여러번 augmentation한 뒤 예측 분포의 평균을 guessed label을 만든 후 labeled data와 Mix한 뒤 학습하는 방법입니다. ReMixMatch에서는 Distribution Alignment와 Augmentation Anchoring을 통해 성능을 개선시킨 논문입니다.

이번 세미나를 통해서 SSL 방법들 (regularization, entropy minimization, MixUp)을 전반적으로 리마인드 하게 되었고, 논문에서 제시한 방법론들을 그림으로 쉽게 설명해주어 이해가 더욱 잘되었던 세미나 였습니다.

이번세미나는 ReMixMatch와 FixMatch에 관한 세미나였습니다. 우선 세미나 초반에 준지도학습에서 loss를 계산하는 법과 MixMatch에 대한 설명을 자세하게 해주어서 ReMixMatch에 대한 이해가 더 쉬웠습니다. ReMixMatch에서의 핵심은 RandAugment입니다. 이것은 augmentation strategy(brightness, rotate, contrast...)와 그 정도를 설정해주어 proxy task없이 학습 과정에 바로 적용할 수 있는 augmentation 방법론입니다.
또한 FixMatch에서의 핵심은 training의 iteration이 늘어가며 unlabeled과 labeled데이터의 비중을 다르게 해주며 loss를 계산하는 것입니다. 이를 개인 연구에서 text에 적용하는 법에 대해 고찰하는 것이 좋은 적용인것 같고 낯선 분야도 각각의 section 끝에 간단하게 요약을 해주어 이해가 잘되는 발표였습니다. 감사합니다.

본 세미나에서는 ReMixMatch와 FixMatch에 대해 다루었습니다. 우선 semi-supervised learning에 대한 개념을 다시 잡아주어 발표를 이해하기 좋았습니다. ReMixMatch에 대한 설명을 step by step 시각적으로 나태내주어 어렵지 않게 흐름을 따라갈 수 있었습니다. ReMixMatch에서는 기존에 사용이 어려웠던 strong augmentation을 weak augmentation과 함께 사용합니다. 이러한 아이디어는 나오고 나면 누구나 생각할법하지만 막상 그 생각을 떠올리고 실체화하기까지 매우 많은 노력이 드는 것 같습니다. 최근 개인적으로 연구를 진행하면서도 data augmentation이 흥미로운 분야라는 생각을 하고 있었는데 그래서 더욱 재밌게 들었습니다.

개인적으로 unlabeled data는 현실적으로 많기 때문에 이와 관련된 파생연구인 few-shot에 대해 관심이 많은데, 같은 문제에 대해 다르게 문제를 해결하는 분야라 더 관심있게 들었습니다. Semi-supervised 방법은 unlabeled data를 대처하기 위해 많이 사용되는 방법으로 개인적은 생각으로 labeled data가 얼마나 좋은지에 따라 영향을 크게 받는다고 생각합니다. 특히 label이 있는 데이터가 적을수록 해당 label이 불분명한 smooth 분포의 label이 아닌 명확한 데이터일수록 성능이 좋을 것이기에 이러한 데이터가 없다면 SSL의 한계는 있을거라 생각합니다.
세미나 발표 중에 언급한 내용을 살펴보면, MixMatch 방법론에서 "Labeled data" & "Unlabeled data에서 모델을 통해 label을 부여한 것"를 Mixup 기반으로 다시 모델을 학습시킵니다. 이 때, 얼만큼의 비율로 Mixup 하는지 명확하게 나와있지 않은데 이에 따라 실험결과도 달라질 것 같습니다. ReMixMatch 논문에서는 Mutual information을 통한 KL-Divergence를 이용하여, Unlabeled data의 Input(x)과 모델을 통해 나온 값(y)는 dependent 해야하는 점에 착안해 확률분포의 차이를 최대화하는 전략을 취하는 트릭을 사용합니다. 이 기법은 92년도에 나왔지만 해당 발표를 통해 좋은 아이디어를 배울 수 있어서 좋았습니다. 방법론에서는 다양한 data augmentation를 이용하여 기존 Mixmatch의 성능을 극대화 한 점에서 상당한 많은 실험을 진행했을 저자가 대단하다 생각합니다. SSL 중에 Data augmentation 분야로 많은 연구가 진행되고 있고 발표자 또한 NLP를 통해 개인연구를 활발히 진행하고 있는데 누구보다 열심히 하고 명석한 이정훈 학우의 좋은 결실이 곧 나타나길 바랍니다.