| 번호 | 제목 | 작성자 | 작성일 | 추천 | 조회 |
| 공지사항 |
Paper Reviews 2019 Q3
관리자
|
2020.03.12
|
추천 0
|
조회 15575
|
관리자 | 2020.03.12 | 0 | 15575 |
| 공지사항 |
Paper Reviews 2019 Q2
관리자
|
2020.03.12
|
추천 0
|
조회 14306
|
관리자 | 2020.03.12 | 0 | 14306 |
| 공지사항 |
Paper Reviews 2019 Q1
관리자
|
2020.03.12
|
추천 0
|
조회 15289
|
관리자 | 2020.03.12 | 0 | 15289 |
| 553 |
[Paper Review] Why CLIP fails at Dense Prediction Task? (3)
Jinwoo Jang
|
2026.04.06
|
추천 0
|
조회 108
|
Jinwoo Jang | 2026.04.06 | 0 | 108 |
| 552 |
[Paper Review] Dynamic Large Concept Models (8)
Jaeyong Ko
|
2026.03.30
|
추천 0
|
조회 158
|
Jaeyong Ko | 2026.03.30 | 0 | 158 |
| 551 |
[Paper Review] Programming Refusal with Conditional Activation Steering (15)
Sunmin Kim
|
2026.03.10
|
추천 0
|
조회 434
|
Sunmin Kim | 2026.03.10 | 0 | 434 |
| 550 |
[Paper Review] Towards a General Time Series Anomaly Detector with Adaptive Bottlenecks and Dual Adversarial Decoders (9)
Sunghun Lim
|
2026.03.01
|
추천 0
|
조회 346
|
Sunghun Lim | 2026.03.01 | 0 | 346 |
| 549 |
[Paper Review] Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective (9)
Suyeon Shin
|
2026.02.25
|
추천 0
|
조회 256
|
Suyeon Shin | 2026.02.25 | 0 | 256 |
| 548 |
[Paper Review] Recent Research Trends Foundation Model for Visual Anomaly Detection (10)
Jaehyuk Heo
|
2026.02.12
|
추천 0
|
조회 514
|
Jaehyuk Heo | 2026.02.12 | 0 | 514 |
| 547 |
[Paper Review] Vision-based and Multimodal Approaches for Time Series Analysis (9)
Hyeongwon Kang
|
2026.02.10
|
추천 0
|
조회 513
|
Hyeongwon Kang | 2026.02.10 | 0 | 513 |
| 546 |
[Paper Review] Introduction to Neural Operator (10)
Hankyeol Kim
|
2026.02.03
|
추천 0
|
조회 616
|
Hankyeol Kim | 2026.02.03 | 0 | 616 |
| 545 |
[Paper Review] Enhancing Time Series Forecasting through Selective Representation Spaces: A Patch Perspective (13)
Sieon Park
|
2026.01.29
|
추천 0
|
조회 610
|
Sieon Park | 2026.01.29 | 0 | 610 |
| 544 |
[Paper Review] ELFS: Label-Free Coreset Selection with Proxy Training Dynamics (13)
Subeen Cha
|
2026.01.28
|
추천 0
|
조회 404
|
Subeen Cha | 2026.01.28 | 0 | 404 |
이번 세미나는 attacking adversarial attacks as a defense에 대한 내용으로 진행되었습니다. 해당 논문에서는 adversarial training과 denosing을 통해 adversarial defense를 하는 Hedge degense를 제안합니다. denosing은 adversarial noise를 제거 또는 완화시키는 방법인데, 논문에서는 균등분포와 KL divergence가 큰 noise를 생성하여 input에 더해주는 방식으로 이를 실현하고자 하였습니다. 이는 오히려 attack을 통해 adversarial noise를 완화하고자 하는 것으로 attack을 통해 defense를 시도한 점이 매우 인상 깊었습니다. 좋은 발표 감사합니다.
이번 세미나는 attacking adversarial attacks as a defense라는 주제를 설명하는 세미나였습니다. 우선 Adversarial Training은 학습 과정 중 Adversarial Example을 생성하여 이를 학습에 포함시켜 모델의 robustness를 향상시켜 성능을 높이고자 하는 방법론입니다. 본 논문은 이 방법론을 통해 학습한 모델에 Denoising 기법을 추가로 적용하였습니다. 이는Adversarial Noise가 robust 하지 않음을 지적하며 Hedge Defence라는 Adversarial Attack 를 활용하는 방법론은 주장하였습니다. Denoising을 추가하는 아이디어는 많이 접하지 않았는데, 새로운 시각에서 모델의 robustness를 향샹시키고자하는 논문인 것 같아 배울점이 많았습니다. 감사합니다.
금일 세미나는 Attacking Adversarial Attack as A Defense와 관련한 연구를 바탕으로 진행됐습니다. 본 연구는 adversarial training과 denoising을 함께 수행하는 방법론을 제안했습니다. 이를 위해, 모델에 adversarial attack을 적용한 후 모델에 입력하는 과정을 우선적으로 취하게 됩니다. 기존의 adversarial attack에서의 loss는 Cross Entropy loss 혹은 KL divergence loss를 사용합니다. 하지만, 이 연구에서는 이와 다르게 loss를 설정해 진행하게 됩니다. 이러한 별도의 접근은 adversarial example에만 효과적으로 적용될 수 있는 hedge defence로 이해될 수 있습니다. Hedge defence는 균등 분포와의 KL Divergence가 커지도록 noise를 계산하여 input에 추가하는 방법을 활용합니다. 이러한 Hedge defence는 ground truth 주변의 loss surface가 다른 class에 비해 smoother하기 때문인데, 이 특징이 결국 original image의 output에는 영향을 미치지 않고, adversarial image에만 효과적으로 작동하도록 합니다. 따라서, 이러한 방법이 해당 연구에서 작동을 하게 됩니다.
결국 loss함수는 모델의 학습 방향을 설정하는 목적함수로서 기능을 하게 됩니다. 따라서, loss 함수에 대해 보다 신중히 설정하고 검토 해야한다는 것을 다시 한 번 느낄 수 있었습니다. 이러한 연구 분야에 대해 지속적으로 준비해오신 것으로 알고 있습니다. 그러한 점이 충분히 느껴질 수 있었던 종합적이고 훌륭한 세미나였다고 생각합니다. 덕분에 관련한 많은 내용을 살펴볼 수 있었습니다. 좋은 세미나 감사드립니다.
Gradient obfuscation이 발생하면 PGD attack이 잘 수행되지 않아 마치 모델의 강건성이 높은 것으로 착각을 일으킬 수 있는 이슈에 대해서 발표해 주셨습니다. 기존의 모델의 공격을 위해 cross-entropy를 기반의 방법을 사용하였으며, KL-divergence를 이용해 문제를 해결할수도 있었습니다. 본 논문에서는 Adversarial Example에 효과적으로 적용될 수 있는 Hedge Defense라는 방법론을 제안하였습니다. Hedge Defense는 균등 분포와의 KL Divergence가 커지도록 noise를 계산하여 input에 추가하는 방법하였습니다. noise를 추가하는 adversarial training을 제외하고는 예측분포의 모양을 바꾸는 temperature scaling, label smoothing, triple loss와 유사한 개념인것 같습니다. Hedge Defense가 작동하는 이유는 ground-truth class 주변의 loss surface가 다른 class에 비해 smoother하기 때문에 더 작동하는 것 같습니다. 연구결과에서 landscaping에 대한 시각적으로 표현한게 있다면 더 좋은 논문이 될 것 같습니다. 좋은 발표 감사합니다.
지난 세미나에 이어 금일 세미나에서도 Adversarial Attack 및 Defense와 관련된 방법론이 소개되었습니다. 우선 Adversarial Attack은 이미지에 아주 작은 노이즈를 추가하여 모델의 결과를 훼손 시키는 방법론이고 반대로 Adversarial Defense는 가장 강한 노이즈를 최대한 방어하는 것이 목적입니다. 이를 통해 이루고자하는 궁극적인 목표는 곧 노이즈에 강건한 모델을 개발하는 것일 겁니다. Adversarial Defense의 유일한 방법론으로 Adversarial Training이 존재한다고 합니다. 또한 Adversarial Defense를 두 가지 관점에서 볼 수 있는데 첫 번째는 모델링 관점으로 input loss surface가 평평하도록 하는 모델을 가져야 한다는 것이지만 이는 곧 상수 함수가 되어야 하는동시에 분류문제를 해결하기 위해 일정 수준의 복잡도를 가져야하므로 모순의 상황이 발생하게 됩니다. 두 번째 관점은 denoising으로 노이즈를 다시 없애기 위한 노이즈를 생성하는 방법을 의미합니다. 소개해주신 논문에서는 Adversarial Training과 denoising을 결합한 방법론, 즉 Adversarial attack을 Attacking하는 것이라고도 볼 수 있는 Hedge Defense라는 방법론을 제시하였습니다. Hedge Defense는 모든 class에 대해 adversarial attack을 실시 하지만 adversarial example에만 효과적으로 적용됨을 보여주고 있습니다. 금일 세미나를 통해 다시 한 번 Loss 설정에 대한 중요성을 느꼈습니다. 딥러닝 모델이나 머신러닝 모델들은 모두 수식으로 이루어지고 Loss라고 불리는 것도 결국 모델의 목적식, 함수를 통해 수행하고픈 목표이기 때문에 같은 structure라고 해도 목적식에 따라 모델의 학습방향이 달라질 것이기에 Loss 설정에 큰 고민을 하는 것이 모델 성능의 개선에 큰 효과를 줄 것이라 생각이 듭니다. 언제나 의미있는 세미나 준비해주시는 발표자 분께 감사의 말씀 드립니다.
최근 발표자님의 발표들을 들어보면 obfuscation의 개념이 지속적으로 확장되고 있는 느낌이었습니다. 이러한 논문을 향후 디팬스 논문들에서 기존의 obfuscation 현상처럼 받아들일지 지켜볼 필요가 있을 것 같습니다. 그리고 Adversarial example을 사용하는 연구 분야에 대한 연구가 지속되면서 연구자들의 견해와 입장들도 모두 다르고 계속 바뀌는 것을 보면 재미있고 또 연구가 지속되어 모두가 인정하는 하나의 맥락이 형성되면 좋겠다는 생각이 들었습니다. 본 연구에서는 adversarial training과 denoising을 함께 진행하는 Hedge defense를 제안하여 기존의 위협에 대응하고 있습니다. 사실상 denoising과 ensemble이 기존에는 방어에 효과가 없음이 입증되어 사용되지 않던 방법들인데 다시 사용하여 SOTA가 됨을 보고 신기했습니다. 진행중인 개인연구도 좋은 성과가 있기를 바랍니다.
금일 세미나 주제는 Attacking Adversarial Attacks as A Defense입니다. 본 논문은 이전의 defense 방법론들과 달리 실제로 attack을 defense할 수 있도록 minmax 목적함수 문제를 풀 수 있도록 하는 방법론을 제안하였습니다. 그 아이디어로는 obfuscation을 발생시켜 attack 자체를 defense를 하는 것이 아니라 denoising을 함으로써 adversarial noise를 제거하고자 하였습니다. 특히, Adversarial training에서만 쓸 수 있는 hedge defense 방법론을 제안하였는데, 이 방법론이 adversarial training과 부합하는 이유는 adversarial training을 하면 ground-truth class의 분포가 상대적으로 smooth하기 때문입니다. 따라서 본 논문에서는 이 점을 이용하여 original example은 건드리지 않고, attack된 example, 즉 균등분포와 보다 가까워진 분포를 kl divergence loss를 통해 균등분포와 상이하게 만듦으로써 denoising을 하도록 고안하였습니다. adversarial defense 방법론의 원리에 접근하여 근본적으로 문제를 해결해보고자 한 논문으로 간단하면서도 효과적인 아이디어를 잘 제시한 것 같습니다. 좋은 발표 감사합니다.
금일 세미나는 Adversarial Training 기법과 더불어 사용하는 Denoising 기반의 Adversarial Defense 방법론을 제안하는 “Attacking Adversarial Attack as A Defense”에 대하여 다루어 주셨습니다. 일반적으로 Adversarial Attack은 딥러닝 모델이 작은 noise에도 쉽게 망가질 수 있다는 것을 보여주는 장치로써, noise가 발생할 확률이 높으면서 오작동시 큰 손해를 발생시킬 수 있는 분야에서는 이를 막아내는 연구는 매우 중요한 연구 과제입니다.
현재까지 Adversarial Training은 현재 Adversarial Defense의 유일한 방법론이 되게 되는데, 이는 다른 제안된 방법론들은 Gradient Obfuscation이 발생하여 MINMAX를 문제를 푼 것이 아니게 되기 때문입니다. 일반적으로 모델이 adversarial attack에 영향을 받지 않기 위해서는 복잡성이 낮아야 하는데, Classification 문제를 풀기 위해서는 복잡성이 높아야 하므로 모순이 발생하게 되고, 그러한 이유로 모델링 관점에서 adversarial defense 문제를 해결하는 것은 매우 어렵게 됩니다.
따라서, 본 논문은 이러한 이유로 다른 관점으로 문제를 접근하여 Denoising 기반의 방법론을 제안합니다. 어떻게 공격을 Denoising할까라는 의문점이 들었는데 신기했습니다. 먼저 가벼운 실험을 통해 random noise도 Denoising 효과가 있음을 실험을 통해 보이고, Adversarial Attack 기법을 통해 adversarial noise를 공격하는 Hedge Defense 방법론을 제안하였습니다. 해당 방법론은 adversarial training 방법과 함께 사용해야 하는데, 이는 균등 분포와의 KL Divergence가 커지도록 noise를 계산하여 input에 추가하기 때문에 Attack이 들어간 데이터에만 적용이 되고 정상 데이터에는 적용이 되지 않기 때문입니다. 재미있게 잘 들었습니다. 좋은 발표 감사합니다!
크루즈 기능을 이용하다가 벽에 부딪힐 뻔한 경험을 한 뒤로 adversarial 분야에 대해 관심이 많습니다. 금일 세미나는 "Attacking Adversarial Attacks as a Defense"라는 주제로 진행해주셨습니다. Adeversarial Defense의 어려운 문제 중 하나가 모델링 관점에서의 복잡도 측면인데, adversarial attack에 영향을 받지 않기 위해서는 복잡성이 낮아야 하지만 Classification 문제를 풀기 위해서는 복잡성이 높아야 한다는 모순점이 존재합니다. 이를 해결하고자 하는 방법론 중 하나가 denoising인데, 이는 Adversarial Noise를 제거하거나 그 영향력을 완화시키는 방법론을 의미합니다. 오늘 소개해주신 논문에서 제안하는 Hedge Defense는 균등 분포와의 KL Divergence가 커지도록 noise를 계산하여 input에 추가하는 방식을 사용하는데, Adversarial Training을 사용했을 때 GT class 주변의 loss surface는 adversarial example에 비해 smooth하다는 특성을 활용합니다. Adversarial 분야에 대해 항상 재밌는 세미나 준비해주셔서 감사합니다. 앞으로도 좋은 발표 기대하겠습니다.
금일 세미나는 "Attacking Adversarial Attack as A Defense"라는 주제로 진행되었습니다. 본 발표에서는 Adversarial Training 기법과 Denoising을 활용한 Adversarial Defense 방법론인 Hedge Defense가 소개되었습니다. 해당 방법론은 adversarial noise가 robust하지 않다는 점을 이용하여 adversarial attack 기법을 통해 adversarial defense를 하였습니다. 세부적으로는 학습 과정 중에 adversarial example을 함께 학습하는 adversarial training으로 학습한 모델에 denoising 기법을 적용하였습니다. 개인적으로 발표를 들으면서 문제점을 명확하게 인식하는 것의 중요함과 생각의 전환이 좋은 방법론을 제안하는데 매우 중요하다는 생각이 들었습니다. 제목만으로도 매우 흥미로운 발표였습니다. 좋은 발표 감사합니다.
이번 세미나는 Attacking Adversarial Attack as A Defense 라는 논문에 대한 리뷰로 진행되었습니다. Attacking Adversarial Attack as A Defense 에선 논문의 제목처럼 adversarial noise를 공격하는 것으로 adversarial attack에 대한 defense를 하는 Hedge Defense 방법론을 제안합니다. Hedge Defense는 균등 분포와의 KL Divergence가 커지도록 noise를 계산하여 input에 더해주는 방식입니다. 이 noise를 adversarial noise와 함께 사용하면 adversarial noise를 denoising하는 효과가 있는데, 이유는 loss surface 상에서 gt class 주변이 다른 class에 비해 smooth 하기 때문에 가해진 noise가 adversarial image에만 효과적일 수 있기 때문입니다. 논문 리뷰에 앞서, Adversarial Attack과 Defense의 개념에 대해, Adversarial modeling의 어려움과 Denoising 방법을 사용하는 이유에 대해 설명해주셔서 논문 내용을 이해하는 데 많은 도움이 되었습니다. 좋은 발표 감사합니다.
꾸준히 연구하고 계시는 adversarial defense에 대해 소개해주셨습니다. 공격에 대한 방어를 수행한다는 피상적인 형태 외 강건한 모델을 만들기 위한 연구라는 발표자분의 생각이 인상깊었고, 금일 세미나에서는 그럼에도 AD가 극단적인 가정을 하기 때문에 매우 어려운 분야임을 주장합니다. 고차원 space에서 아주 작은 변형에 대한 논의를 하는 분야라 굉장히 많은 실험을 하면서 검증해야 하고, 그에 반해 개선점을 찾기 매우 어려운 분야라는 생각이 들었습니다. 본 논문에서는 adversarial training 이후 attack을 수행하고, 모델 출력이 균등 분포와 멀어지도록 loss를 계산하는 hedge defense 컨셉을 제안합니다. 고안한 방법이 adversarial example에 대해서만 영향을 미쳐 denoising 효과를 갖는다는 것이 흥미로웠습니다. 감사합니다.
이번 세미나는 Attacking Adversarial Attack as A Defense 논문을 주제로 진행되었습니다. Adversarial Attack은 이미지에 미세한 노이즈를 추가하여 모델의 결과를 훼손시키는 방법론을 말하고 반대로 Adversarial Defense는 노이즈를 최대한 방어하여 강건하고 신뢰성 높은 모델을 구축하는 것을 목적으로 합니다. Adversarial Training은 각 배치마다 adversarial example을 생성하여 이를 학습 데이터에 추가함으로써 adversarial defense를 위한 minmax 솔루션을 찾아나갈 수 있습니다. 이때, 모델링 관점에서의 접근은 복잡성과 관련하여 모순이 발생하기 때문에 Denoising 관련 방법론이 등장하였습니다. 본 논문은 Adversarial noise가 robust하지 않다는 점을 지적하고 random noise도 denoising 효과가 있음을 실험을 통해 증명해보였으며, Adversarial Attack 기법을 통해 Adversarial noise를 공격하는 Hedge Defense 방법론을 제안하였습니다. Hedge Defense는 모든 클래스에 대해 adversarial attack을 실시하여 균등분포와의 KL Divergence가 커지도록 노이즈를 계산하여 인풋에 추가합니다. 해당 방법론이 부합하는 이유는 ground-truth class 주변의 loss surface가 다른 class에 비해 smoother하여 attack을 가했을 때 상대적으로 덜 민감한 ground-truth class가 영향을 가장 적게 받아 adversarial image에만 효과적으로 작동하기 때문입니다. 처음 논문의 제목을 보고 Adversarial Attack을 Attack한다는 것이 어떤 의미일지 궁금하고 흥미롭게 다가왔는데, 발표자분의 친절한 설명 덕에 이해를 도모할 수 있었습니다. 유익한 발표 진행해주셔서 감사합니다.
이번 세미나는 Attacking Adversarial Attacks as Defense를 주제로 진행되었습니다. Defense 방법으로는 modeling과 Denoising 방법이 있습니다. modeling 기반의 방법론은 adversarial attack에 영향을 받지 않기 위해 복잡성이 낮아야 하면서도, classification 문제를 풀기 위해서는 복잡성이 높아야 하는 모순이 있고, Denoising 방법은 앞선 모순에서는 자유롭지만 Adversarial exampledms attack 효과를 지우고 반대로 original image에 대해서는 아무 효과가 없어야 하는 어려운 테스크입니다. 따라서 본 논문에서는 adversarial training과 denoising을 더한 방법론을 제안하였습니다. Adversarial Attack 기법을 통해 adversarial noise를 공격하는 Hedge Defense 방법론을 제안하여 adversarial example에만 영향을 미치는 noise를 생성하고 adversarial attack으로 추가된 noise를 제거 또는 완화하는 방법입니다. 이에는 이, 눈에는 눈이라고 noise에는 반대되는 noise를 사용하여 상쇄시키고자 한 아이디어가 돋보이는 논문인 것 같습니다. 좋은 발표 감사합니다.
금일 세미나는 White Box Attack을 막기 위해 연구가 되고 있는 Adversarial Defense와 관련된 논문인 "Attacking Adversarial Attack as A Defense"을 소개해 주셨습니다. 해당 방법은 Adversarial noise가 강건하지 못하다는 것을 지적하며 Random noise를 추가하여 denosing의효과를 실험을 통해 보인 논문입니다. 또한 Adversarial Attack 기법을 통해 adversarial noise를 공격하는 Hedge Defense 방법론을 제안하였습니다. Hedge Defense는 Adversial 방법 중 하나이며 균등 분포와의 KL Divergence가 커지도록 noise를 계산하여 input에 추가함으로 adversarial example에 영향을 미칠 수 있도록 제안된 방법입니다. Adversarial Defense의 궁극적인 목표가 Noise에 강건한 신뢰성 높은 모델을 개발하는 것이란 걸 생각한다면 해당 논문은 굉장히 실용성 높다고 생각됩니다. 좋은 발표 감사합니다.
본 세미나에선 현재 유일한 Adversarial Defense인 Adversarial Training에 Denoising을 추가하는 방식을 소개하였습니다. 기존의 입력값에 Perturbation을 부여하여 구성한 Adversarial Input에 대하여 모델을 속이지 못하게 하기 위해선 Adversarial Noise를 제거하는 Denoising이 필요한데 이를 Adversarial Attack 기법을 통해 Noise를 공격하는 Hedge Defense를 제안합니다. Adversarial을 소개할 때 항상 등장하는 Loss Surface의 관점으로 봤을 때, 모든 class에 대해 Adversarial Attack을 가하면 Original Image의 결과에는 영향을 미치지 않고 Adversarial Image에서만 Loss Surface가 볼록 튀어 나오게 됩니다. 즉, Ground-truth class에서는 영향을 가장 적게 받게 되며 다양한 실험을 통해 Robust Accuracy가 random noise를 적용했을 때보다, Hedge Defense를 사용했을 때 더 높은 것으로 나타나 Defense효과가 있음이 나타났습니다. 최근에 Adversarial Attention에 대하여 탐색하고 있는데 발표자분께 많은 질문 드리겠습니다. 좋은 발표 감사합니다.
일반적으로 Deep Learning Model의 크기가 클수록 Adversarial Attack에 취약한 경향이 있으나, 일정 성능 이상의 Classification 성능을 확보하기 위해서는 Model의 크기를 줄일 수 없는 경우가 많습니다. 이를 극복하기 위해 Denoising을 활용하여 Adversarial Noise를 제거하거나 완화하는 방법이 제안되었지만, 역시 강력한 제약을 요구한다는 한계가 있습니다. 이번 세미나에서는 Adversarial Training과 Denoising을 함께 이용하여 Adversarial Defense를 수행하는 Hedge Defense를 소개해 주셨습니다. 존재하는 모든 Class에 대해 Adversarial Attack을 가하여 균등 분포와의 KL Divergence가 커지도록 Noise를 Input에 추가합니다. 강건한 분류 성능은 Input이 미세하게 변화하더라도 Output이 변화하지 않음을 의미하기에, Ground-Truth Class 주변의 Loss Surface는 변화에 상대적으로 덜 민감합니다. 결과적으로 Hedge Defense를 수행한 결과는 Adversarial Example에만 영향을 미치게 됩니다. 개인적으로 Denoising이 익숙하지는 않은데, 금일 세미나를 통해 해당 개념을 공부할 수 있어서 유익했습니다. 감사합니다.
이번 세미나의 주제는 Attacking Adversarial Attacks as A Defense 입니다. Adversarial Attack은 이미지에 아주 작은 noise를 추가하여 모델의 결과를 심각하게 훼손시키는 방법론으로 Adversarial defense는 가장 강한 noise를 최대한 방어하는 것이 목적입니다.
현재 Adversarial Defesnse의 유일한 방법론은 Adversarial Training으로 다른 방법론들은 Gradient Obfuscation Problem 이 발생하게 됩니다. Adversarial Defesne를 한다는 것은 minmax를 문제를 푸는 것이고, 이는 Input loss surface를 평평하게 한다는 의미와 같으며, Adversarial Training은 학습 단계에서 각 batch마다 adversarial example을 생성하여 학습 데이터에 추가함으로써 이를 달성하였습니다.
앞서 언급한 Input loss surface를 평평하도록 하는 Model f는 상수 함수인데, Adversarial attack으로 output의 결과가 바뀌지 않고, Classification 성능 또한 극단적으로 제한되기 때문에 Modeling 관점으로 해결하기는 어렵습니다.
따라서 다른 관점으로의 접근 중 가장 이상적인 방법론이 Denosing입니다. 하지만 이 또한 목적에 부합하는 noise를 어떻게 구할 것인지에 대한 논리가 필요한데, 해당 논문에서는 이런 문제를 해결하기 위해 Adversarial Training+Denosing 방법론을 제안합니다.
Adversarial noise가 강건하지 못하다는 것을 지적하며, 실제로 random noise도 denosing 효과가 있음을 실험을 통해 보였으며, Adversarial Attack 기법을 통해 adversarial noise를 공격하는 Hedge Defense 방법론입니다.
기존 Adversarial defense 방법론 각각의 문제점을 해결하고자 두가지 방법을 합쳐 근본적인 시각에서 접근한 논문인 것 같습니다. 언제나 좋은 발표 감사드립니다.
금일 발표에서는 이 때까지 발표자꼐서 꾸준하게 소개해주고 있는 adversarial attack 관련 분야입니다. defense 방법론들이 많이 소개 되어왔었는데, 기존과는 달리 attack 을 defense 하는 training 과 비슷한 방법의 개념을 소개했습니다. 세부적으로는 obfuscation 을 발생시켜서 attack 자체를 방어하는게 아닌 denoising 개념을 적용한 방법론입니다. 이 방법론 또한 사실 생각해볼만한 아이디어였다고 생각하며, 이전 부터 발표자 께서 생각해오신 해당 분야에대한 자신만의 아이디어를 천천히 소개하면서, 본논문과 연결시키며 아이디어를 펼치는 것이 좋았습니다,.
이번 세미나에서는 Attacking Adversarial Attack as A Defense 논문을 소개해 주셨습니다. 개인 연구로 Adversarial Robustness를 주제로 하고 있지만 adversarial robustness를 위해 loss에 대한 surface가 어떻게 구성되어야하는 지, adversarial obfuscation에 대해 배울 수 있는 좋은 시간 이었습니다. 본 논문에서는 효과적인 adversarial training을 위해서 noise를 활용하는 방식을 제안합니다. 제안하는 방법론은 Hedge Defense로 KL Divergence를 사용하여 균등 분포와의 차이가 커지도록 하는 noise를 계산하여 input에 추가하는 방식입니다. 이를 통해 보다 효과적으로 모델을 공격할 수도 있고, adversarial training에 사용할 시 loss의 surface가 보다 smooth해질 수 있도록 돕습니다. 이번 세미나 시간을 통해 단순히 모델의 구조나 gradient 측면이 아닌 다른 방면으로 같은 주제를 생각해보는 것이 중요하다고 배웠습니다. 오늘도 좋은 발표 감사합니다.
금일 세미나는 adversarial defense 분야에서 자주 언급되는 gradient obfuscation 문제와 새로운 Adversarial Defense 기법인 Hedge Defense를 소개해주셨습니다. Gradient obfuscation은 adversarial training을 제외한 다른 defense 방법론에서 빈번하게 발생하며, 이는 기존 attack 기법들이 잘 작동하지 못했을 뿐, 원래 풀고자 한 minmax 문제를 해결한 것이 아님을 지적합니다. Gradient obfuscation 발생을 방지하기 위해 제안한 것은 adversarial training에 denoising 기법을 추가한 hedge defense입니다. 해당 기법을 사용하면 모든 클래스에 대해 adversarial attack을 가하게 되므로, 다른 클래스에 비해 완만한 loss surface를 가진 gt 클래스는 영향을 적게 받게 됩니다. 이에 따라 adversarial image에만 영향을 주도록 하여 adversarial training을 진행하였더니 SOTA성능을 기록하는 것을 실험적으로 확인할 수 있었습니다. 공동연구를 수행하며 gradient obfuscation 문제에 대해 접했었는데, 이 문제에 대한 분석과 해결방법을 소개하는 논문을 발표해주셔서 흥미롭게 들었습니다. 좋은 발표 감사합니다.