금일 세미나는 "Adversarial Examples Improve Image Recognition"라는 주제로 진행되었습니다. 본 발표에서는 vision domain에서 adversarial example과 clean image의 분포의 차이로 인해 adversarial example을 학습에 사용하면 성능이 하락하는 현상을 완화하기 위해 Batch Normalization을 적용한 방법론이 소개되었습니다. 세부적으로 본 방법론에서는 서로 다른 adversarial example과 clean image의 분포를 제어하기 위해 보조적인 batch normalization을 도입하여 학습을 진행하였습니다. 개인적으로 batch normalization을 접목하여 input간 분포 차이를 해결한 점이 참신하다고 느껴졌고, 이를 통해 굉장히 기초적이고 기본적인 방법을 통해서도 간단한 아이디어로 문제를 해결할 수 있다는 점을 다시 한 번 깨달았습니다. 좋은 발표 감사합니다.

금일 세미나는 adversarial training을 통해서 정상 데이터에서 대한 분류정확도도 향샹시킬수 있는 것을 제안한 방식입니다. 이는 연구실에서 이전부터 많은 토론이 있었던 주제입니다. 아마 저자들도 이런 부분에서 이슈를 좀 더 명확한 결론을 내기위한 연구로 진행하지 않았나 생각합니다. 이를 증명하기 위해서 normal example 과 adversarial example 의 분포가 다를 것이라는 가정을 세우고 진행합니다. batch norm 에서 서로다른 값을 통해 진행합니다. AT 가 일반화 성능에 기여한다라는 논문도 몇가지 보긴했지만, 결국은 더 많은 데이터를 넣어서 모델이 더많은 데이터에 잘 적응되도록 학습시키는거 아닌가 생각합니다. 그래서 항상 제가 생각하던 논점(일반화 성능에 정말 도움이 되는가?) 에대한 의문이 여전하지만, 이런 시도를 계속하려는 연구가 있다는것 자체가 이런 논의가 무의미한게 아니다 라고 생각합니다.

이번 세미나는 adversarial example을 augmentation 기법 관점에서 해석한 논문을 다루었습니다. 본 논문에서는 adversarial example을 통해 augmentation 효과를 보기 위해 batch normalization 기법을 수정했습니다. normal example과 adversarial example의 분포가 다름으로 인해 augmentation 효과가 나지 않는다는 이유에서 였습니다. 실제로 실험 결과 해당 방법론을 적용했을 때 augmentation 효과가 있는 것으로 보였습니다. 이와는 별개로 adversarial training 근본적인 목적과는 다른 별개의 활용 방식이라는 생각이 들었지만 논문의 전개 과정이 논리적이고 매우 흥미로웠습니다. 좋은 발표 감사드립니다.

이번 세미나는 Adversarial Examples Improve Image Recognition라는 주제로 발표를 진행해 주셨습니다. 골자는 adversarial data를 이용하여 분류 모델의 분류 성능을 높이고자 하는 것인데, 우선적으로는 normal data와 adversarial data 간 분포가 다르다는 데에서부터 출발합니다. 두 데이터의 분포가 다르다는 것을 실험적으로 보여주고, 각 데이터에 대해 다른 batch normalization 기법을 사용하여 모델의 성능을 높였는데 굉장히 쉽게 생각할 수 있는 방법론임에도 효과가 좋았다는 것이 흥미를 느낄 수 있는 대목이었습니다. Adversarial example을 augmentation의 관점으로 바라봤을 때 학습의 효과를 높일 수 있지 않을까 생각은 했지만, 보다 실험적으로 그리고 실제 그러한 방식을 모델에 대입하는 방법론을 생각해 냈다는 점에서 재밌는 논문이라고 생각합니다. 좋은 발표 감사합니다.

이번 세미나는 Adversarial Examples Improve Image Recognition에 대한 세미나였습니다. 본 연구는 DNN을 adversarial example들로 학습을 했을 때, clean example의 일반화 성능을 하락시킬 수 있는 단점을 해결하고자 하였습니다. 우선 clean example과 adversarial example을 각각 분리하여 normalizing 할 경우 모델의 성능이 향상이 되었고, 따라서 efficientNet-B8을 제안하여 높은 성능을 달성하며 기존의 단점을 해결할 수 있었습니다. 해당 모델은 adversarial example과 clean example이 다른 분포로 부터 생성이 되었다는 가정하에 성립된 연구로서, 이처럼 서로 다른 분포를 갖는 input에 대해 성능을 높일 수 있는 효용성 높은 모델이 될 수 있을 것입니다. 처음에 adversarial example의 degrading performance에 대해 납득이 가지 않았는데, 다양한 실험 결과로 이를 보여주어서 좋았습니다. 유익한 발표 감사합니다.

이번 세미나는 2020년 CVPR에서 소개한 Adversarial Examples Improve Image Recognition 논문에 대한 내용이었습니다. 기존 adversarial training은 computer vision 모델에 적용 시 robustness를 높이는 대신 clean 이미지에서의 성능보다 성능이 하락한다는 단점이 있었습니다. 이번 논문에서는 이러한 이유에 대해서 알아보고 이를 보완할 수 있는 방법에 대해 소개합니다. 논문에서는 adversarial training의 성능이 하락하는 이유로 clean image와 adversarial example 간의 분포가 서로 다르고, 따라서 함께 batch normalization을 진행할 시 문제가 있기 때문에 성능 하락이 발생하는 것이라고 언급합니다. 따라서 이러한 문제를 해결하기 위해 두 데이터를 서로 다른 batch normalization layer를 적용하였습니다. 간단한 방법을 통해 문제를 해결하였지만 아이디어를 내기 위해 데이터 관점에서 문제를 찾아 정의한 것이 인상깊었습니다. 오늘도 좋은 논문 소개해 주셔서 감사합니다. 앞으로도 기대하겠습니다.

사실 adversarial example이 현실세계에는 존재하지 않는 분포이기 때문에 normal example과 분포를 달리 하여야 한다는 생각을 해 볼 법 한데, 소개해주신 본 논문에서 이를 잘 캐치하여 실험적으로 증명한 것 같습니다. 구체적으로는 두 데이터에 적용하는 batch normalization을 분리하는 방법을 사용합니다. 다만 가설을 제시하고 이를 검증할 때 실제 분포 차이를 시각화하여 비교하는 과정이 포함되었으면 더 설득력이 있었을 것 같습니다. 또한 개인적으로는 방어성능을 밝히지 않은 부분이 의문입니다. Adversarial 방법을 적용함에도 일반화성능이 떨어지지 않음을 보여주는 것이 초점을 맞춘다 하더라도 본 목적인 방어성능에 대해 언급하지 않은 것은 설득력이 있어 보이지는 않았습니다. Distillation과 마찬가지로 adversarial 도메인 역시 경험적으로 밝혀나가야 할 부분이 많음을 깨닫게 된 발표였습니다. 감사합니다.

금일 세미나는 Adversarial Examples Improve Image Recognition 연구에 대해 진행되었습니다. 본 연구의 motivation은 Adversarial attack이 주어졌을 때, 모델의 성능이 낮아지는 점에서 시작합니다. 발표자 분께서 해당 논지(image 도메인에서 adversarial attack시 모델의 성능 약화)에 대한 근기로 삼을 수 있는 선행 연구들을 정리해주셔서, 더욱 이해를 높이고 잘 받아들일 수 있었습니다. 더욱이 개별 선행 연구들의 실험 결과들을 보여주신 점도 성능 악화 정도에 대한 이해에 많은 도움이 되었습니다. 본 연구는 adversarial example을 모델의 성능 악화가 아닌, 향상에 활용할 수 있는 방안을 고민합니다. 개인적으로 batch normalization 개념에 대해 알고 있다고 생각했지만, 이러한 adversarial example을 활용하는 방안에 활용되었다는 것이 참신했습니다. 결국, normalization은 입력 데이터의 분포를 변화시켜주는 역할을 하기 때문에, 본 연구처럼 adversarial example의 활용 등 다양한 방면으로 사용될 수 있었던 것 같습니다. 결국, batch normalization을 통해, clean 데이터와 adversarial 데이터의 분포 간 mis-match 문제를 해결해, adversarial sample augmentation을 이뤄 냅니다. 결국 이를 통해 모델의 성능 향상을 이루어 냅니다. 사실 생각해보면, batch normalization을 적용해주었을 뿐인 데, 이렇게 효과를 얻을 수 있다는 점이 참 신기했습니다. 좋은 인사이트를 주신 발표에 감사드립니다. 감사합니다.

금일 소개해주신 Adversarial Examples Improve Image Recognition은 adversarial training을 사용하여 정상 데이터에 대한 분류 정확도를 높이는 방식을 제안하는 연구입니다. 본 논문에서 저자들은 normal example과 adversarial example의 분포가 다를 것이라는 가정을 세우고 이를 auxiliary batch norm layer를 통해 증명합니다. 두 example set의 분포가 다른 것은 별다른 증명 없이도 쉽게 납득할 수 있는 부분입니다. 그리고 이러한 문제점을 완화하기 위해 auxiliary batch norm layer를 사용하여 normal example batch와 adversarial example batch에 다른 batch norm을 적용하는 것은 매우 재미있는 아이디어라고 생각합니다. 하지만 adversarial training의 목적은 모델의 generalization performance를 향상 시키는데 있지 않습니다. AT는 adversarial robustness를 위해 진행 되기에, 공격에 잘 대응하기 위해 필수적으로 큰 epsilon 값을 사용해야 합니다. 당연히 이 과정에서 분류 경계면을 넘은 example을 다시 정상 class로 분류 하기 위해 CNN의 feature extractor와 classifier의 파라미터는 일반화 성능을 잃게 될 것입니다. 이러한 관점으로 볼때 소개해주신 논문은 작은 값의 epsilon을 사용하였기 때문에 당연히 adversarial defense 성능은 낮을 수 밖에 없으며, 논문의 contribution 또한 '방어'가 아닌 '일반화'이기 때문에 defense 성능을 보이지 않은 것은 옳다고 생각합니다. 하지만 제안하는 방식의 성능과 defense를 위해 일반화 성능을 다소 포기한 기존의 AT의 성능을 비교한 것은 공정하지 않은 비교가 아닌가라는 생각이 들었습니다.

오늘 세미나 주제는 Adversarial Examples Improve Image Recognition입니다. Adversarial attack은 기존 모델을 건드리지 않고 input의 perturbation을 가하여 misclassification을 유도하는 것이고, perturbation이 적용된 input인 Adversarial example을 방어하기 위해 학습을 진행하는 것이 adversarial training입니다. 본 논문의 저자는 adversarial training 후 clean example의 test에 대해서 performance degradation을 지적하며 performance를 improve 할 수 있도록 adversarial example을 올바르게 활용하는 방안을 연구해보고자 했습니다. 그 중에서도, performance degradation은 distribution mismatch 때문이라고 말하며 adversarial과 clean image를 함께 사용하여 모델 parameter를 최적화하는 목적식을 제안합니다. 그리고 adversarial과 clean 데이터의 distribution을 고려한 disentangled learning을 제안하였는데, adversarial example에 대해서는 auxiliary batch normalization을 사용하고 clean example에 대해서는 기본 batch normalization을 사용했습니다. 서로 다르게 batch normalization을 적용해서 원본의 분포를 살려 성능 향상을 이끌어 낸 그 아이디어가 신선했습니다. 좋은 발표 감사합니다.

일반적으로 Vision Domain에서 Adversarial Example을 학습에 사용할 경우 일반적으로 성능이 하락하는 경향이 있습니다. 금일 세미나에서 소개해주신 논문은 "Adversarial Examples Improve Image Recognition"으로, 컴퓨터 비전 분야에서 Adversarial Training을 수행했을 때 Generalization Performance가 향상시킬 수 있는 방법을 제안하는 논문입니다. 해당 논문에서 저자들은 Adversarial Example과 Clean Image의 분포가 다름을 주장하고, 이러한 distribution mismatch가 모델의 성능을 하락시키는데 큰 영향을 미친다고 하였습니다. 저자들은 각각의 분포가 다른 Adversarial Example과 Clean Image를 함께 학습하게 될 경우, Batch Normalization 과정에서 서로 다른 두개의 분포로부터 추출된 Data를 이용하여 Normalization을 수행하게 되면 Model의 성능을 해칠 수 있음을 언급합니다. 그리고 이러한 문제를 해결하기 위해 Adversarial Example을 위한 Auxiliary Batch Normalization 구조를 제안하여 서로 다른 분포를 제어할 수 있도록 하였고, 긍정적인 효과가 있다는 것을 실험적으로 설명하였습니다. CNN Model을 학습하는 과정에서 Clean Image와 Adversarial Example을 분리하여 Normalize하자는 간단한 Idea를 통해 모델 성능을 향상시킬 수 있는 것을 보고, Model의 Input을 효율적으로 제어함으로써 얻을 수 있는 이점들이 많이 존재할 수 있겠다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번세미나에서는 adversarial example을 이용한 image recognition에 대해서 발표해주셨습니다. 데이터 augmentation을 분류를 잘 하지 못하도록 perturbation된 adversarial example에 대해서 fine-tuning해서 모델의 성능을 향상시키는 목적을 가지고 있습니다. 제안된 논문은 구조적 batch normalization을 사용하였는데 normal examples, adversarial example에 대해 서로 다른 normalization을 한다는 특징이었습니다. 전반적인 발표내용에서 자연어 처리 모델에서 adversarial example를 만드는 내용도 알수 있어서 연구 관점을 더 넓힐 수 있는 계기가 되었습니다. 그리고 저희 연구실에서 많이 발표되는 vision transformer를 backbone으로 아이디어를 결합하면 흥미로울 것 같습니다. 좋은 발표감사합니다.

금일 세미나에서는 Adversarial Example을 학습에 사용할 경우 분류정확도를 하락하는 문제를 해결하기 위한 "Adversarial Examples Improve Image Recognition" 논문을 설명해 주셨습니다. 일반적으로 Adversarial Traning을 수행할 경우 Generalization Performance가 감소하는 경향이 존재합니다. 이러한 현상을 본 논문에서는 Clean 이미지와 Adversarial Example이 서로 다룬 분포로부터 생성되었기 때문이라고 주장합니다. 즉 생성된 분포가 다른 데이터를 분리하여 학습에 활용하여야 정확도를 상승시킬 수 있다는 Insight를 기반으로 본 논문에서는 두 데이터를 분리하여 각각 Normalizing 하는 auxiliary batch norm layer을 제안합니다. 이 방법을 적용한 결과 ImageNet 데이터에서 해당 방법론은 Clean 데이터로 학습한 모델과 Adversarial Training을 적용한 방법론들보다 더 좋은 성능을 이룩하였습니다. 아주 간단하지만 효과적이고, 도메인과 상관 없이 다양한 분야에 활용될 수 있다는 것이 해당 논문의 가장 큰 장점이라고 생각합니다. Adversarial training의 목표가 adversarial defense, 즉 adversarial robustness를 갖추기 위해 개발되었기 때문에 이전 논문들이 generalization performance에 크게 집중하지 않았지만 해당 논문에서 generalization performance을 오히려 향상시키는 방법론을 제시하였으므로, 앞으로 Adversarial Training에서는 generalization performance도 함께 증가시키는 논문들이 나오지 않을까 기대해 봅니다. 좋은 발표 감사합니다.

본 세미나는 Adversarial Training의 본 목적인 Adversarial Example을 정확한 Label로 예측하도록 하는 모델을 구성하는 것 대신, 해당 Example들을 Augmentation의 대상으로 간주하여 분류 모델의 성능을 향상 시키는 방식에 대해서 안내하였습니다. 일반적인 훈련 방식인 정상 데이터와 Adversarial Example이 혼재되어 있는 학습을 진행하게 되면 일반화 성능이 감소하는데 이는 당연하게도 두 이미지의 분포가 다르게 구성되어 있기 때문입니다. 따라서 두 분포가 다르다라는 명확한 가정 아래, 데이터셋을 분리하여 각기 Batch Norm을 적용하게 된다면 모델의 성능이 좋아진다 라는 매우 간단한 알고리즘, AdvProp을 소개하고 있습니다. 이전 세미나에서 Adversarial Example이 Augmentation의 효과를 보지 못한다는 잠정적 결론을 봤었지만, 본 논문이 제시하는 바와 같이 '제대로' 활용한다면 Augmentation으로서 활용하여 성능 향상을 도모할 수 있음을 알게 되었습니다. 간략한 의문으로는 Adv Example을 사용하였기에 Adv Training과의 성능 비교를 하는 것은 다행이지만, 다른 Augmentation 기법들과의 비교가 없는 것 같아 의아하였습니다.

이번 세미나는 Adversarial Examples Improve Image Recognition을 주제로 진행되었습니다. 본 논문은 clean image와 adversarial image를 서로 다른 분포에서 생성되었다고 가정하고였습니다. 따라서 기존에는 convolution layer 다음에 둘의 구분 없이 normalization하였었지만 본 논문에서는 clean image와 adversarial image를 분류하여 따로 normalization을 진행하였습니다. clean image에 대해서는 batch normalization을 adversarial image에 대해서는 auxiliary batch normalization을 사용하였습니다. image에 따라 normalization을 따로 적용할 수 있다는 생각을 해보지 못했었는데 고정관념을 깬 아이디어였던 것 같습니다. 또한 발표자께서 처음에 adversarial에 대한 개념을 정리해주셔서 다시 한번 adversarial에 대해 리마인드하게된 발표였던 것 같습니다. 좋은 발표 감사합니다.