이번 세미나는 "Adversarial Defense via learning to Generate Diverse Attack"을 주제로 두가지 논문에 대해 진행되었습니다. Adversarial example이란 DNN의 취약점을 드러내는 예제 중 하나인데, 기존 이미지에 특정한 노이즈를 입혀 DNN가 잘못된 결과를 도출하도록 조작한 것입니다. 다음과 같은 DNN의 취약점을 보완하기 위해 1) classifier가 쉽게 잘못된 결과를 낼 수 있도록 만드는 "Adversarial Attack" 2) Adversarial Attack에 대응 하기위한 " Adversarial Defense" 에 대한 연구가 활발하게 이루어지고 있습니다. 저는 세미나를 통해 해당 분야에 대해 처음 알게되었는데, DNN 자체의 취약점을 보완하기위해 의도적으로 misclassification할 확률이 높은 데이터를 생성한후 noise에 robust한 모델을 생성하는 분야가 있다는것이 매우 흥미로웠습니다.

Adversarial Attack과 Defense를 이해하기위해 필요한 개념부터 시작하여 2가지 논문, 개인연구까지 놓치지 않고 따라갈 수 있는 훌륭한 발표였습니다. 개인적으로 발표시 저 스스로에게 가장 부족하다 느끼는 부분중 하나가 '내가 알고있는 것을 상대방도 알고 있을것'이라는 생각하고 발표의 흐름을 구성하는것입니다. 하지만 이번주 세미나를 통해 앞으로 제가 알고있는 지식을 어떠한 방식으로 전달해야할지에 깊이 고찰 할 수 있는 좋은 기회였습니다.

금일 발표는 Adversarial Attack과 관련된 세미나였습니다. ML을 서비스에 적용하는 분야가 늘어나며 점점 이 분야에 대한 중요성이 증대되고 있기 때문에 인상깊게 들었습니다. 발표한 논문과 그 기저가 된 논문에 대하여 알기 쉽게 시각적으로 표현해주셔서 이해가 잘 되었습니다. 뿐만 아니라 논문의 결과를 그대로 받아들이지 않고 하나하나 주의깊게 살펴보고 그것에 대한 본인의 생각을 논리적으로 풀어낸 부분이 굉장히 와닿았습니다. 이는 발표자의 이전 발표부터 항상 본받아야겠다고 생각했던 점입니다. 개인연구에서 제안한 방식에 대한 논리가 타당하다고 느껴졌습니다. 앞으로의 결과가 기대되는 연구였습니다.

금일 발표는 "Adversarial Defense via Learning to Generate Diverse Attack"이라는 주제로 진행되었으며, adversarial defense에 관한 두 논문에 대한 리뷰가 주를 이루었습니다. 발표자는 지속적으로 해당 주제에 관한 발표를 진행해왔지만, 해당 분야를 연구하고 있지 않은 청자들을 위해 다시 한 번 기초적인 용어 및 개념 정리를 해주어 발표 청취에 도움을 주었습니다. 더불어 금일 발표된 2개의 defense 모델은 굉장히 유사하지만 다른 conference에 accept된 점이 흥미로워 발표에 더 주의를 기울일 수 있었습니다. 두 모델 모두 normal example과 adversarial example에 robust한 모델을 구축하는 방향으로 defense를 진행하였으며, 그 과정에서 gradient를 기반으로 한 perturbation을 사용하였습니다. 해당 분야에서는 defense 및 attack을 위해 gradient를 사용하는 방법을 기반으로 지속적으로 다양한 모델들이 제안되는 점이 흥미로웠고, 발표자가 두 논문의 결과를 보며 제시한 합리적 의심들 또한 인상 깊었습니다. 해당 분야는 청취를 할 때마다 어렵다고 느껴지는 분야인데, 어려운 분야의 논문에 대한 이해를 돕기위해 보다 친숙한 예시들을 기반으로 설명하려고 노력한 발표 자료 또한 인상 깊었습니다.

[이정호]
Adversarial learning 은 이미지 뿐만아니라 모든 영역에서 상당히 좋은 성능을 구사하며 사용되고 있는것 같습니다. 발표자께서 오늘 언급한 2014년도 Ian 의 논문을 정독해 좀 더 내용을 깊게 이해해야 겠다는 생각을 가지게 되었습니다. 아직 Defense 부분에서 어떻게 방어하는것의 성능이 올라가는지에 대한 정성적인 의미를 파악하진 못했으나, Defense 분야의 성능을 올린다면 robust 한 분류경계면을 생성 하는 것 같습니다. 사실상 나온지는 꽤 되었는 개념인데, 적용되는 것은 최근들어 많이 각광 받는것을 보아 관련 연구를 꾸준히 하는것은 매우 novelty가 있을 것 같습니다.

이번 세미나는 서승완 박사과정의 Adversarial Attack과 관련된 주제였습니다. Adversarial Attack은 어떠한 이미지에 사람이 감지하지 못하는 노이즈를 추가했을 때 머신 즉, 모델이 오분류 하게끔 유도하는 공격을 말합니다.
일반적으로 Adversarial Attack을 방어하기 위한 방법으로는 학습 단계에서 부터 Attack의 종류를 추가하여 학습시키는 방법이 있습니다. 이번에 발표한 모델인 'Learning-to-Learn(L2L)'은 Attack GAN을 이용하여 원본 이미지에 대해 노이즈를 만들어 주고 원본 이미지와 노이즈를 합한 Adversarial 이미지를 분류하는 학습을 진행하게 됩니다.
입학 후 연구실 세미나를 진행하면서 알게된 새로운 분야이지만, 서승완 박사과정이 꾸준히 개인연구를 공유해준 덕분에 Adversarial Attack이라는 분야에 대해 개략적이나마 알게되어서 좋았습니다.

궁극적으로 딥러닝 모델의 robust한 성능을 위해서 공격의 object function을 정의하고 adversarial example를 data augmentation의 효과로 defense를 하는 연구목적을 가지고 있는 것 같습니다. 발표된 연구에서 모델의 architecture의 핵심 trick은 예측된 클래스에 대한 classifier의 gradient와 원본이미지의 concat한 이미지를 다시 attack network를 통한 adversarial example를 만들어내고 이 데이터를 같이 학습하는 것으로 이해하였습니다. 유연하게 생각해보면 현재 진행중인 세미나의 발표가 되고 있는 대부분의 논문이 data augmentation으로 연결된다는 점이 인상깊은 것 같습니니다.

금일 시간에는 서승완 학생이 계속해서 연구를 매진하고 있는 Adversarial Attack(Defense)와 관련하여 19-20년에 발표된 "Adversarial Defense Via Learning to Generate Diverse Attack"이라는 논문을 주제로 세미나를 진행해주었습니다.
우선 세미나 서두에서는 Adversarial Attack에 대해서 그 주제에 대해서 간략하게 설명을 진행해 주었는데, 계속해서 진행해온 만큼 깔끔한 시각자료를 통해서 듣는이로 하여금 Adversarial Attack이라는 분야에 생소한 사람도 쉽게 이해가 갈수 있도록 한점이 인상적이였습니다.
Adversarial Attack에는 크게 해당 모델의 파라미터를 안다고 가정하는 White-Box Attack 이와 달리 해당 모델의 파라미터 조차 모른다고 가정하는 Black-Box Attack으로 나누어 진다고 합니다. 실제 상황에서는 후자의 경우가 좀더 현실적인 시나리오이지 않을까 생각하지만, 그만큼 어려운 문제라고 판단됩니다.
해당 발표를 이끌면서 Adversarial Attack분야에서 Milestone같은 논문들 3개를 소개해주었는데, 그중에서도 'Fast Gradient Sign Method'와 'Deep Fool'과 같은 논문은 추후에 한번쯤 읽어보고자 합니다.
본격적으로 금일 세미나에서 다루고자 하는 "Adversarial Defense Via Learning to Generate Diverse Attack" 논문을 한마디로 표현하자면 "Adversarial training 과정을 통해서 Adversarial Attack을 막아보자!"가 되겠습니다. 이를 위해 발표자료에는 [INPUT]->[CONV]->([BackpropLoss],[Input])->[GAN]->[[Pertubation]+[Input]와 같은 일년의 프로세스를 시각화하여 명시적으로 이해를 쉽게 할 수 있었습니다.
또한 논문의 결과를 공유하는 자리에서는 논문의 결과를 맹신하지 않고 실제로 해당 논문을 직접 수행해봄으로 critic을 공유해 주었는데 매우 인상적이였습니다. 저 역시도 논문을 읽으면서 간혹 논문에 매몰되어 해당 결과를 맹신하는 경향이 있는데 이러한점에서 본받고 싶은 스탠스였습니다.
재미있는 주제로 세미나를 공유해준 서승완학생에게 감사의 인사를 전하며 후기를 마치겠습니다. 감사합니다.

L2L-DA 논문의 내용을 청중들이 이해하기 쉽게 하나의 그림으로 나타냈습니다. 해당 원본 이미지와 gradient로 나온 값을 합친 이미지로 다시 GAN을 통해 adversarial example을 만들었는데, 이 과정에서 Gradient 비중을 조절하지 않았기 때문에 원래 이미지와 너무 달라졌다고 보았습니다. 이로 인해 distribution이 망가져서 기존 데이터에 대해 성능이 낮아지고, 다른 attack에 대해서는 defense를 잘하는 trade off가 생겼다고 생각합니다. 개인연구를 크게 3가지 방향으로 진행하였는데 개인적으로는 논리적 플로우가 매우 좋다고 보았습니다. 꾸준히 해당 분야를 공부하고 아이디어 구축 및 실험을 진행하고 있는데, 좋은 결과가 나오길 희망합니다.

Adversarial example에 대한 기본 개념부터 용어 정리, 모델에 대한 상세한 설명을 들을 수 있어 유익한 세미나였습니다. 예전부터 attack을 연구자가 직접 설계하는 것이 아니라 Attack 자체를 자동화하는 연구가 있지 않을까 하는 생각을 가지고 있었는데 오늘 소개된 L2L과 L2L-DA에서 Attack GAN을 사용하는 것을 보니 해당 분야 또한 많은 발전이 이루어진 분야라는 생각이 들었습니다. 오늘 발표에서 인상깊었던 것은 발표자의 발표 논문에 대한 크리틱이었는데, 저 또한 논문을 능동적으로 읽고 저자의 의도를 파악하는 과정을 거쳐야겠다는 다짐을 하게 되었습니다. 마지막으로 adversarial example 분야 또한 연구의 발전 정도가 빨라 논문을 쓰기가 쉽지 않아진 듯한 느낌을 받았는데, 단순히 전반적인 상황에서의 attack과 defense뿐 아니라 특정 상황(자율 주행, 대화 모델 등)에서 발생할 수 있는 attack과 defense에 대해 고민해보고 연구해보는 것 또한 재밌는 주제가 될 것 같다는 생각이 들었습니다.

서승완 석박통합과정의 Adversarial Attack 분야와 관련된 2개의 논문에 대한 세미나 발표를 들었습니다. 이전부터 이 분야에 대해서 세미나 때마다 관련 논문들을 소개해주셨는데, 개인적으로 이전까지는 많이 어렵게 느껴졌던 개념들이 이번 발표를 들으면서 많이 정리가 된 것 같습니다. 그림과 예시를 많이 보여주시면서 설명을 해주셔서 이해하는데 많은 도움이 되었습니다. 그리고 이전 발표 때 Advesarial Attack 관련 동영상을 보여주셨었는데 자율 주행 등 인공지능 모델이 실제 서비스가 되는 상황이 오면 Adversarial Attack 문제에 대한 고려와 해결책이 꼭 필요할 것이라는 생각이 들었습니다. 계속해서 이쪽 분야로 좋은 연구 진행 해주시면 좋겠습니다.

Adversarial Attack과 관련된 기본 개념들을 먼저 설명해주어서 놓쳤던 부분에 대해 다시 쉽게 이해할 수 있었습니다. 또한 오늘 발표해주신 L2L 구조를 그림 예시와 함께 설명해주어서 매우 재미있게 들었습니다. 또한 저번 스터디에서도 의문이 들었던 것인데, Adversarial example이 기존 분류기의 성능을 robust하게 해줄 수 있지 않을까라는 생각이 잘못된 것이란걸 생각해볼 수 있었습니다. L2L DA라는 논문을 비판적으로 바라보고 새로운 개선점을 중심으로 설명을 풀어나간 점이 연구자로서 배워야할 점이라고 생각했습니다. 다만 adversarial attack example들을 만드는 방법들이 매우 많은데, 이들을 앙상블까진 아니더라도 구조적인 측면에서 융합해서 새로운 것을 만들어보면 어떨까 가볍게 생각해보았고, 특정 도메인에서 이 adversarial example로 만들어지는 요인을 찾아주는, Xai와 유사한 메커니즘으로 설명해줄 수 있다면 활용할 수 있는점이 있지 않을까도 생각해보았습니다.