금일 세미나는 이미지 분야에서 모델의 성능뿐만아니라 Robustness 를 향상시킬 수 있는 효과적인 방법론인 AugMix 논문에 대해 발표해 주셨습니다. 해당 방법론은 기존 Augmentation 기법을 랜덤하게 효과적으로 조합하는 알고리즘을 제시함으로써 기존 방법론 보다 연산량이 매우 적으며, 육안 상으로 원본데이터와 크게 달라지지 않는 데이터를 생성할 수 있습니다. 기존 Augmentation 방법론들이 모델의 성능향상과 Robutness 사이의 Trade-off가 존재했지만 해당 방법론은 모든 면에서 성능이 향상시킬 수 있었습니다. 기존 방법론과는 다르게 Trade-off 가 없다는 점이 매우 흥미로우며, 매우 실용적일 것 같은 연구입니다. 발표 감사합니다.

이번 세미나에서 데이터 augmentation을 위한 방법을 설명해주셨습니다. 인상깊었던 점은 augmentation operator를 chain형태로 best 조합을 찾아내는 과정이었고, 그 조합의 linear combination의 weight를 probability axiom을 만족하는 k차원의 벡터를 샘플링하는 dirichlet 분포를 가정하는 부분과 beta분포를 활용한 label mixup이 인상 깊었습니다. 해당 방법론의 아쉬운점은 mixup에 대한 방법론이 너무 vision에만 발달된다는점이 아쉽습니다. framework는 어디든 적용가능하지만 augmentation에 대한 operator를 이미지일 경우에만 효과가 극대화 되는 것 같습니다. 오디오나 텍스트쪽으로 발전하거나 일반화된 augmentation이 나온다면 좀더 활용성이 높을 것 같습니다.

해당 세미나에서는 비교적 최신 논문에 해당하는 ICLR 2020 에서 소개되었던 를 주제로 다루어 보았습니다. 발표의 서두에 언급한 Data shifit 에 대한 부분은 실제로 다양한 프로젝트 혹은 현실 문제를 풀고자 할 때 직면할 수 있는 중요한 이슈라고 생각됩니다. 해당 논문에서는 Expected Calibration Error 를 통해 예측의 불확실성을 말을 하고 있으며, 이를 해결하고자 AugMix 방법론을 통해 모델의 Robustness를 향상시켰습니다. 간단하게 설명하면 기존 다양한 이미지 Augumentation기법을 분포에 기반한 샘플링을 랜덤하게 조합하여 수행하게 되며 이때 학습의 손실함수로는 기존 Supervised Loss와 Jensen-Shannon Divergence를 consisitency Loss로 활용하여 두 Loss를 결합하여 학습을 수행하게 됩니다. 여기서 기존 KL-Divergence loss보다 upper bound로 인해 안적정인 학습을 도와줄 수 있다고 합니다. 좋은 학회에서 발표된 논문인 만큼 많은 실험에서 결과물을 통해 저자들이 제안하는 AugMix 방법론의 효과를 확인 할 수 있었고, AugMix를 통해서 Robustness와 uncertainty를 확보하였음을 보여주었습니다. 데이터 augumentation이 대부분 이미지 혹은 텍스트에서 연구가 활발히 진행되고 있는데, 다른 domain에서도 어떻게 적용할 수 있을지 계속 생각하게 하는 발표였습니다. 좋은 발표 감사드립니다.

실제로 data augmentation은 매우 중요한 기법입니다. 기존의 filp과 rotation을 진행하던 방식에서 벗어나 cutout을 시작으로 매우 다양하고 의미있는 data augmentation이 진행되고 있습니다. Augmix는 간단하지만 간단하지 않은 방식으로 augmentation을 진행합니다. 바로 augmentation operator를 두고 최적의 조합을 찾는 방식인데 이 과정에서 사용 되는 여러가지 아이디어와 수리적 접근들에서 cutout 혹은 cutmix와는 다른 재미있는 요소들을 볼 수 있었습니다. 아마 비전 분야에서 지속적으로 augmentation에 대한 연구가 진행될텐데 앞으로는 어떤 아이디어들이 제안 될지 무척 기대가 됩니다.

이번 세미나에서는 Augmix라는 augmentation 방법론에 대해 설명을 해주셨습니다. 기존의 augmentation 방법론은 어느 정도 robustness를 개선할 수 있으나, data shift에 취약하다거나 노이즈 자체를 모델이 학습하는 경우가 있습니다. Augmix는 쉽게 말해 augmentation의 chain을 생성한 뒤 각각에 대한 가중치를 이용, mixup 하여 최종적인 augmented output을 도출합니다. 흥미로운 점은 Augmix를 거친 결과물이 원본 데이터와 육안 상 큰 차이가 없다는 점이고 특히 calibration 관점에서 뛰어난 성능을 보였다는 점입니다. 지난 번 텍스트 데이터에 augmentation을 임의로 살짝 넣었더니 accuracy가 약 3% 상승한 경험이 있어서 augmentation이 중요하구나 라고만 생각해 왔는데 이정훈 박사과정의 발표를 통해 augmentation 또한 모델 구축과 같이 굉장히 정밀하고 세심한 과정을 거쳐서 좋은 최종 결과물을 생성하는 데에 중요한 역할을 한다는 것을 깨닫고 있습니다. 앞으로도 좋은 발표 및 연구 기대하겠습니다. 감사합니다.

ML / DL 분야의 성능 평가는 관례적으로 같은 데이터셋을 분할하여 Train / Validate / Test를 하고 있었습니다. Test가 Train과 다른 데이터라고 치부할 수 있기에, Test Data에 대한 훈련된 모델의 성능이 좋으면 일반화 성능이 좋다고 말할 수 있었지만, 이번 세미나를 통해 실제로 모델을 Production에 사용할 경우 좋았던 모델의 성능이 그대로 재현되지 않을 수 있으며 이는 Data Shift로 인한 것임을 제대로 느꼈습니다. 따라서 AugMix는 이미지 분야에서 Generalization을 위한 Data Augmentation을 단순히 전처리의 수단 정도로 생각하는 것이 아니라 분포를 통해 Augmentation의 조합을 Sampling하여 육안으로는 원본과 큰 차이가 없지만 Model Robustness를 보장할 수 있는 방법을 제안했습니다. 해당 논문은 이미지에서만 실험을 진행했지만 Data Shift가 다른 종류의 데이터 (ex. 자연어)에서도 발생할 수 있는 보편적인 문제이므로, 모든 데이터 종류에도 적용될 수 있는 AugMix가 있을 지 궁금합니다. 좋은 발표 감사드립니다.

오늘 세미나는 Augmix를 주제로 진행하였습니다. Augmentation 개인연구를 진행하시면서 관련 논문들을 세미나를 통해 정리해주셔서 재미있게 듣고있습니다. 특히 compact하게 중요한 정보를 적절히 담아 자료를 구성하시는것은 본받아야겠다고 생각했습니다. 연구실 세미나에서 Augmentation과 Adversarial example에대해 다양한 의견을 나눈 이후로 Augmentation이 모델의 Robustness에 큰 기여를 한다는 것을 명확하게 이해할 수 있었습니다. 그 연장선으로 Augmix방법론을 통해 image domain에서 원본과 유사한 데이터를 만들었고, 실제로 좋은 성능을 달성하는것을 보며 Augmentation의 중요성을 느낄 수 있었습니다. 또한 JS divergence를 사용하면 KL divergence보다 이점이 있다는 것(symmetric하기 때문)은 알고있었는데 Upper bound로인해 학습이 안정화 될 수 있다는것을 알게되었습니다. 좋은발표 감사합니다.

금일 발표는 실제 데이터가 학습데이터와 다른 양상을 보이는 data shift 문제를 해결하기 위한 augmentation 방법에 대한 소개로 진행되었습니다. 소개해주시는 방법론은 AugMix 로서, augmentation 방법론들 중 k 개를 샘플링하여 augmentation chain 을 만드는 방법입니다. 또한, augmix 는 supervised loss 와 JS divergence consistency loss 를 활용합니다. 기존 augmentation 방법론이 갖는 한계점을 언급해주셔서 Augmix 가 갖는 의의를 쉽게 파악할 수 있었고, 쉬운 예시로 설명해주셔서 이해하기 좋았습니다. 좋은 발표 감사합니다.

최근에는 모델의 예측값 뿐 아니라 예측에 대해 얼마나 (불)확실하게 예측했는지를 파악하는 것도 굉장히 중요한 이슈입니다. 소개해주신 논문에서는 등장하고 있는 모델들이 overconfident함을 지적하며 confidence와 accuracy의 차이인 calibration error를 통해 이를 정량적으로 판단합니다. 그리고 Overconfident한 모델이 validation set에서 높은 성능을 보여도 실제 상황에서 보지 못했던 노이즈가 발생할 경우 낮은 성능을 보일 수 있기 때문에 이를 극복하기 위한 augmix 방법론을 제안합니다. Augmix는 여러 개의 augmentation를 조합하여 operation을 구축하고, 그 중 하나를 샘플링하는 chain을 만듭니다. 같은 방식으로 만들어진 몇 개의 chain은 미리 샘플링된 가중치에 의해 mixup이 적용됩니다. 전체적인 학습 프로세스에서는 augmix가 consistency loss를 구성하는 데 사용됩니다. JS divergence가 KL divergence와 달리 loss의 upper bound가 존재한다는 언급을 해 주셨는데, 제가 연구하고 있는 distillation 분야 중 deep mutual learning(CVPR2018) 논문에서는 경험적으로 두 loss의 차이가 없었다는 내용이 있습니다. 그래서 발표 내용을 듣고 단순히 차이가 없다고 넘어가기보다는 JS divergence가 보장하는 loss의 upper bound에 대해 조금 더 알아봐야겠다는 생각이 들었습니다. 늘 최신의 흥미로운 논문을 소개해주셔서 감사합니다.

이번 세미나는 모델의 정확성만큼 중요한 모델의 robustness, uncertainty를 다룰 수 있는 방법론인 AugMix에 대한 내용으로 진행되었습니다. 학습에 사용된 데이터와 실제 데이터가 다른 양상을 보이는 data shift가 발생하면 일반화 성능이 떨어지는데, 이때 모델이 스스로의 실수를 알아채거나 예측의 uncertainty를 정량적으로 보여준다면 이러한 취약점을 보완할 수 있습니다. 하지만 이 과정에서 overconfident하게 되는 것을 막아야 하므로, calibration error를 정의하여 uncertainty를 보여주는 overconfidence를 막을 수 있게 하였습니다. calibration error는 confidence와 accuracy의 차의 절댓값으로 정의할 수 있습니다. 또한 robustness 관점에서 학습과정에서 corruption을 이용해 모델이 corruption을 외워버려 테스트 과정에서 새로운 유형의 noise에 취약하게 되는 문제를 다양한 augmentation을 사용하여 대처하게 되면, 높은 계산 비용이 들고, data shift가 일어났을 때는 robust하지 않게 되므로, AugMix를 제안하여 이를 해결하고자 했습니다. 이 방법은 다양한 augmentation 방법들을 효과적으로 조합하는 data processing 방법으로, chain을 생성한 뒤, convex combination을 통해 연속으로 augmetation했을 때, 원본과 매우 다른 이미지를 생성하게 되는 문제를 극복했습니다. 목적 함수를 통해 consistency-loss를 사용해 원본 데이터와, 원본이 augmentation된 데이터가 같은 결과를 내도록 합니다. AugMix는 다양한 augmentation 방법을 사용했음에도, 원본 데이터에서 크게 벗어나지 않는 적절한 이미지를 생성했으며, 연산량이 매우 적고 기존의 다른 방법과 함께 사용할 수 있는 등의 여러 장점이 있습니다. 좋은 발표 해주셔서 감사합니다.

금일 발표는 "AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty"라는 주제로 진행되었습니다. 본 발표에서는 모델의 robustness와 uncertainty를 향상시키는 학습 방법 AugMix가 소개되었습니다. 발표를 들으면서 모델의 robustness가 중요한 continual learning에 해당 방법을 적용하면 보다 더 general한 통합 모델을 도출할 수 있지 않을까하는 생각이 들었습니다. 최근 consistency loss를 사용하는 모델들이 증가하고 있는데, 제가 연구하는 분야에서는 이런 적용이 없어 해당 내용들을 followup할 기회가 없었는데 세미나를 통해 접할 수 있어 유익했습니다. 좋은 발표 감사합니다.

ㅤ이번 세미나에서 발표해주신 논문은 "데이터의 변화(data shift)에 대한 모델의 취약성에 대해서 어떻게 처리를 하여 성능을 향상시킬까"에 관련된 논문입니다. 이때 데이터의 변화란 학습한 모델을 사용할 때 test(또는 현실) 데이터가 모델이 학습하는 데 사용된 데이터와 다른 양상을 보이는 경우를 말하게 됩니다. 모델의 취약성을 극복하기 위해서는 모델이 스스로의 실수를 알아차리거나 예측의 불확실성을 학습을 해야되는 데 본 논문은 후자의 경우인 불확실성을 학습하고자 합니다. 그러기 위해 사용된 것이 calibration error(aka mis-calibration)이라고 하는데 이는 |confidence - accuracy|라고 생각할 수 있습니다. 저자는 AugMx(Augmentation+Mix) 방법을 제안함으로서 여러개의 augmentation들의 chain을 생성하고, 이를 random하게 선택하고 convex combination해주게 됩니다. 이때 UDA와 비슷하게 supervised loss와 jenson-shannon divergence를 이용한 consistency loss를 함께 사용하게됩니다. 다양한 augmentation을 섞어음에도 불구하고 원본 데이터와 육안 상 크게 달라지지 않으며, 연산량이 적고 다른 방법들과 함께 사용될 수 있다는 점에서 추후에 연구에 지표로서 적용해보면 좋겠다는 생각이 들었습니다. 좋은 발표 들려주셔서 감사합니다!

이번 세미나는 이미지 데이터를 augmentation하는 방법에 대한 세미나였습니다. Augmentation도입 전에는 corruption을 외워버리는 문제, 새로운 유형의 noise를 갖는 test data에는 취약하다는 단점들이 있었고, 그 후 augmentation을 도입한다고 하여도 높은 계산비용이 들거나 data shift에서는 robust하지 않다는 점, robustness가 높아지면 반대로 uncertainty estimation은 잘 하지 못한다는 단점이 있었습니다. 따라서 AugMix를 제안하여 계산이 간단하며 clean accuracy가 높으며 robustness와 uncertainty를 모두 향상시키는 방법을 주장하였습니다. AugMix 에서는 augmented된 여러 이미지 chain을 생성한 뒤 convex combination 함으로써 기존의 augmentation의 단점을 극복하였습니다.
이미지에 대한 새로운 augmentation방법에 대해 알 수 있었고 알고리즘 별로 자세하게 설명해주셔서 이해하기가 쉬웠습니다. 감사합니다.

학습한 모델을 사용할 때, 사용되는 데이터가 학습에 사용된 데이터와 다른 양상을 보이는 경우를 Data Shift라고 하며, Data Shift가 발생할 경우 Validation, Test Set에서 높은 성능을 보였더라도, 현실에서 일반화 성능이 떨어지게 됩니다. 이번 세미나에서 소개해 주신 논문에서는 이러한 문제점을 극복하기 위해 다양한 Augmentation 기법들을 효과적으로 조합하는 AugMix를 제안합니다.
AugMix에서는 Dirichlet 분포로부터 Weight를 샘플링하고, Augmentation Operation을 Sampling합니다. 이후, Augmentation Operation을 이어 붙인 Operation을 정의한 뒤, 다시 Sampling을 수행하여 Chain을 구성합니다. 이러한 과정을 반복하여 다수의 Chain을 생성하고, 초기에 Sampling한 Weight를 이용하여 MixUp을 수행하는 방식으로 방법을 구성합니다.
해당 방법은 연산량이 적고 다른 방법과 함께 사용할 수 있다는 장점이 있으며, 높은 성능을 보였습니다. 좋은 논문을 소개해 주셔서 감사합니다.

금일 세미나는 ICLR 2020 에서 발표된 AUGMIX 논문 입니다. 해당 논문의 주제는 제목에서도 알 수 있듯이 간단한 방식으로 Robustness 를 향상 시키는 augmentation 방식을 소개합니다. 방법론 자체는 기존의 mix 방식과 유사하지만, 다양한 augmentation 방법들을 조합하는 방법을 제시한 것이 차이 같습니다. 기존 mix up 방식은 이미지 자체가 변질이 많이 된 것같은 느낌을 보이는데, 해당 방식은 기존에 아는 augmentation 과 동질적인 느낌을 받았습니다. 그럼에도 신기하게도 clean data 뿐만아니라 noise 데이터에 대해서도 성능이 좋은것을 증명한게 매우 신기했습니다. 개인적으로 관련 프로젝트를 진행하면서 augmentation 이 주는 성능기여가 모델에 큰 영향을 미친다고 생각 하게 되는데, 이미지 분야에서 augmentation 은 계속해서 발전하지 않을까 생각이 듭니다.