금일 발표는 "Improving Adversarial Robustness via Promoting Ensemble Diversity"라는 주제로 진행되었습니다. 본 발표에서는 ensemble diversity의 향상을 통해 Adversarial Defense의 성능을 향상시키는 방법론이 소개되었습니다. 금일 발표에서는 딥러닝 모델의 앙상블이 uncertainty estimation에 사용되었는데 개인적으로는 딥러닝에서 앙상블을 많이 사용하지 않았었기에 이 점이 흥미롭게 느껴졌습니다. 이러한 원리를 기반으로 ensemble diversity를 향상시켜 feature vector를 orthogonal하게 만듦으로써 Adversarial Defense의 성능을 향상시키는 접근도 매우 직관적이고 훌륭하다고 생각했습니다. 더불어 최근 one-class anomaly detection 분야에서 정상 데이터의 센터들을 orthogonal하게 만들어 대표적인 정상 feature를 다양하게 학습하는 접근 방법들이 연구되고 있는데 금일 발표된 ensemble diversity도 해당 부분에 적용될 수 있을 것 같다는 생각이 들었습니다. 좋은 발표 감사합니다.

Improving Adversarial Robustness via Promoting Ensemble Diversity 라는 주제로 우리가 익히 알고있는 ensemble을 통해 diversity를 확보하여 Adversarial Defense를 시도한 논문을 주제로 세미나를 다루어 보았습니다. 특히 non-maximal prediction에 대한 개별 diversity를 강화 시키기 위해서 determinant를 사용한 점은 매우 직관적이여서 이해하기가 매우 수월하였습니다. 계속해서 Adversarial Defense관련 주제로 세미나를 듣다보니 이쪽 분야에 대한 사전지식이 축적되어 이해가 수월하기도 하였고, 발표자료를 친절하게 잘 준비하여 이전 관련 세미나를 들을때 보다 좀더 따라가기 수월하였습니다. 좋은 연구 결과로 이루어 졌으면 좋겠습니다. 감사합니다.

앙상블은 adversarial defense에서 매우 활발하게 사용될 것 같으면서도 그렇지 않은 방법입니다. 물론 앙상블 기법을 사용하는 방어 논문이 많이 있지만 앙상블은 일종의 white box와 black box사이에 있는 grey box가 되며, grey box는 여러 논문들에서 방어가 거의 되지 않는다고 말하고 있습니다. 본 논문에서도 2018년을 기준으로 생각하더라도 썩 높지 못한 방어 성능을 보이고 있습니다. 하지만 매우 좋은 학회에 개재가 되었으며 개인적으로는 방어를 위한 이론적인 전개가 훌륭하기때문 이라고 생각합니다. 최희정 박사과정의 발표에 이어 벡터가 직교하도록 하는 방법론을 접하게 되었는데 다양성을 확보한다는 관점에서 매우 다양하게 사용해볼 수 있을 것 같습니다.

모델의 예측결과에 대한 불안정성(재현성 부족)을 앙상블 구조의 모델로 극복하는 adversarial defense 모델을 보여주는 발표였습니다. 하지만 최근연구에는 앙상블 구조가 완벽한 방어를 하는 대안이 될 수 없는걸로 이해하였는데, 대부분의 uncertainty가 앙상블의 구조를 가지고 있습니다. 예를들어 MC dropout같은 방법은 구조적으로 ensemble 방식을 가지며 여러 결과를 취합하는 부분이기 때문에 이문제를 극복하지 못할것 같습니다. defense 자체가 수리적/물리적으로 해결가능한 부분인지 다시 생각해 보게 되었습니다. 머신러닝개념에서 bias와 variance의 trade off를 가지게 됩니다. 그러면 결국 defense는 variance를 줄이는 방법(앙상블, dropout, additional noise)으로 접근해야 되지 않나 큰 방향으로 생각해 봅니다.

발표자분의 지난 세미나에서, Adversarial Defense는 Robust한 모델을 구축하기 위한 방법으로 사용될 수 있다는 의미를 강조하였습니다. 그리고 이번 세미나에선 그것을 바탕으로 원래 기존에 모델의 Robust함을 쟁취하기 위해 사용되던 Ensemble 기법을 추가하여 Defense를 강화하는 기법을 제시하였습니다. DNN Ensemble을 통해 Uncertainty Estimation과 OOD Detection에 유리해졌지만 특정 상황에서 개별 모델의 성능이 저하될 수 있기에 ADP regularizer를 제안하게 되었습니다. 이는 Ensemble의 Diversity의 최대화를 보장해주어, 일반 DNN은 물론 Adversarial Attack을 받은 모델에 대해서도 Robustness를 유지할 수 있었습니다.
세미나의 내용에 대해서도 많은 것을 배웠지만, 또 다른 교훈은 단순히 논문의 이론과 성과를 취하는 것보다 ‘왜 해당 논문이 다른 논문들에 비해 어떤 부분이 우수하여 Accept’이 되었는지에 대해서도 생각해봐야겠다는 것이었습니다.

오늘 세미나에서는 adversarial robustness 의 방법 중 adaptive diversity promoting 부분이 상당히 인상적이였습니다. 개별모델에 대한 정답 class 예측은 잘해야 하면서, 나머지 class 들에대해서 제약조건을 준 것 같았습니다. non maximal prediction 에 대해서 예측값의 형태가 orthogonal 한 경우 이를 만족하는 것으로 설명했습니다. 이는 매우 합당한 접근이며, 다른 분야에서도 이와 유사한 접근을 하는것으로 알고있습니다. Disentangled representation 에서도 임베딩 자체를 의미들이 독립적인 부분으로 나뉘어 진다면 adversarial robustness 를 증가 시킬수 있다고 설명하고 있는데, 일맥상통하는 것이 아닌가 생각했습니다. 최근 robustness 가 강조되는거는 실제 데이터에 적용할 수 있는 방법으로 실용적인 방법이라고 생각되기 때문입니다. 관련 분야에 연구가 꾸준히 되는 것이 실제 현업에서 중요시 되는만큼 해당분야도 매우 기대가 큽니다.

최근 ensemble을 이용한 논문을 많이 보고 있어 반가웠던 발표였습니다. 소개해주신 논문은 모델의 uncertainty 문제를 ensemble을 통해 보완하던 기존의 방법에 diversity를 확보할 수 있는 Adaptive Diversity Promoting regularizer를 새롭게 제안합니다. ADP regularizer는 feature vector들을 orthogonal하도록 유도함으로써 diversity를 늘립니다. 이를통해 adversarial attack에 대한 robustness를 증가시킵니다. 좋은 방법론을 소개해주셔서 감사합니다.

오늘 세미나는 improving Adversarial Robustness via PED을 주제로 진행되었습니다. 본 논문은 개별 모델의 성능 저하 없이 ensemble diversity(각 개별 모델간의 다양성을 나타내는 말)를 높이는 방법을 제안하였습니다. 개인적으로 Anomaly detection에서 고민하던 부분이 있었는데, 소개해주신 논문에서 Diversity를 높여 더 좋은 답을 설계하고자 한것을 보고 새로운 방향에대해 생각해 볼 수 있었습니다. 특히 모델이 올바른 방향으로 diversity를 높이기위해 determinant를 사용하는데 orthogonal 한 형태로 Ensemble Diversity를 최대화 하는것이 인상깊었습니다.

세미나 내용을 요약하자면 다음과 같습니다. 1)배치를 공유하는것은 동일한 데이터를 동일한 순서로 학습하게되고 , 이렇게 학습하면 다양성이 줄어들수 있는데, 실제로 각 모델이 최적화 되는 방향은 다르기 때문에 개별로 학습을 하는것과 동시에 학습을 는것은 본 논문은 개별 모델의 성능 저하 없이 ensemble diversity를 높이는 방법을 제안함 2) ensemble diversity를 구할 때 non-maximal prediction만 사용하고, 이 벡터의 determinant(부피를 의미함)를 사용함.

수학적으로 각 term들을 해석해주시는것도 재미있었고, 저자가 Non-mazimal prediction에 대해 diversity를 최대화 한 아이디어도 좋았습니다. 매번 재미있는 논문을 소개해주셔서 감사합니다

금일 세미나는 딥러닝 모델에서 ensemble diversity 를 확보하기 위한 방법론인 adaptive diversity promoting(ADP) regularizer 에 대한 소개로 진행되었습니다. ADP는 feature vector 가 orthogonal 할 때 ensemble diversity 가 최대화된다는 사실을 활용한 방법입니다. white box attack 방식으로 모델을 공격하였을 때, ADP regularizer 로 효과적으로 공격을 방어했음을 실험적으로도 확인할 수 있었습니다. 발표 도입부에 모델의 ensemble diversity 를 확보하는 이유가 robust 한 모델을 구축하기 위함임을 명확하게 설명해주셔서 이후 adversarial attack 을 통해 성능 비교 및 전체적인 발표를 이해하는 데에 큰 도움이 되었던 것 같습니다. 좋은 발표 감사합니다.

딥러닝에서는 상대적으로 bagging이나 boosting 류의 앙상블 기법을 사용하는 경우를 많이 보지 못하는데, 그 이유에 대해 짚어주셔서 좋은 인사이트를 얻었습니다. 딥러닝에서의 앙상블은 개별 모델 여러 개를 학습하는 것으로 충분히 다양성이 확보될 수 있지만 이는 예측에 대한 uncertainty를 감소시킬 수 있습니다. 소개해주신 논문에서는 앙상블 기법을 응용하되 특정 상황에서 앙상블 기법이 악영향을 줄 수 있음을 언급하며 안정적인 diversity를 확보할 수 있는 regularization 기법을 제안합니다. 개별 모델의 예측값(maximal prediction)이 다양하게 분포하면 오히려 성능이 나빠지기 때문에 non-maximal prediction의 diversity를 강화하도록 학습을 진행하는데, feature vector 간 diversity를 최대화하기 위해 orthogonality를 활용한 부분이 인상깊었습니다. 저도 최근 regularization과 관련하여 개인연구를 진행하고 있는데 특히 non-maximal diversity에 대해서는 추후에도 참고할 만한 논문인 것 같습니다. 감사합니다.

오늘 세미나는 Adversial Defence와 관련된 앙상블 모델에 대해 설명 주셨습니다. 딥러닝 모델은 예측할 수 없는 상황으로 인한 input variables의 변화에 민간하게 반응하므로 Adversial Defence와 관련된 논문이 지속적으로 발달하고 있습니다. Adversial Defence는 다양한 방법으로 시도될 수 있으며 "Improving Adversarial Robustness via PED" 논문은 그중에서 앙상블 방법은 모델의 구조를 변경하여 만든 구조입니다. 해당 논문은 개별 모델의 성능 저하없이 ensemble diversity를 높일 수 있는 방법론인 Adaptive Diversity Promoting(ADP) regularizer를 제안하였습니다. 해당 방법론은 non-maximal prediction에 대해 개별 모델간의 diversity를 강화함으로써 ensemble diversity를 향상시킵니다. Bagging이나 Boosting 말고도 모델의 Diversity를 향상시킬 수 있는 새로운 방법을 재미있게 설명해주셔서 좋았습니다. 감사합니다.

이번 세미나는 ensemble의 diversity를 향상시켜 더 robust한 adversarial defense를 가능하게 하는 방법론에 대해 진행되었습니다. ensemble diversity를 높여 어떤 한 모델에서 생성된 noise가 다른 모델에는 영향을 덜 끼치도록 하여 adversarial attack을 방어하는 것이 목표로, DNN에 적용하기 적합하지 않은 bagging, boosting 등의 방법 외에 전체 데이터를 활용해 개별 모델 여러 개를 학습하는 정도로 ensemble을 수해하는 방법을 취했습니다. 이때, parameter들이 모델 별로 다르게 학습되기 때문에 어느 정도의 diversity를 확보할 수 있습니다. 하지만 이 논문에서는 ensemble diversity가 높으면, 모델의 성능이 향상될 수 있지만, 잘못된 방법으로 diversity를 높일 경우, 개별 모델의 성능 저하를 불러올 수 있다고 말합니다. 따라서 이러한 문제를 방지하기 위해 개별 모델의 성능 저하 없이 ensemble diversity를 높일 수 있는 Adaptive Diversity Promoting(ADP) regularizer를 제안합니다. 이 방법은 정답 class에 대한 예측 즉, maximal prediction에 대해 diversity를 강화하지 않고, non-maximal prediction에 대해 개별 모델 간의 diversity를 강화함으로써 ensemble diversity의 향상을 도모합니다. ensemble term과 entropy term을 함께 사용함으로써 이를 가능하게 하며 실험 결과, 제안된 H(F)에 의해 feasible space가 확장된 경우 성능이 향상되었음을 확인할 수 있었습니다. 자세히 설명해주셔서 이해에 큰 도움이 되었습니다. 좋은 발표 감사드립니다.

이번 세미나는 Ensemble을 구성하는 각 모델들의 diversity를 확보할 수 있는 새로운 방법론은 제안하는 논문에 대하여 소개를 해주셨습니다. 단순히 ensemble diversity만 높이게 되면 개별 모델의 성능 저하를 불러올 수 있기 때문에 성능저하 없이 ensemble diversity를 높일 수 있는 Adaptive Diversity Promoting (ADP) Regularizer를 제안합니다. DNN Ensemble을 학습하는 2가지 방법이 존재하는데 이는 개별 모델을 독립적으로 학습하는 방법과 batch를 공유하여 개별 모델을 동시에 학습하는 방법이 있는데 해당 논문은 후자를 이용하게 됩니다.
Ensemble의 특징 상 개별 모델은 정답 class에 대한 예측을 잘해야 합니다. 하지만, maximal prediction에 대해서 diversity를 강화하게 되면 개별 모델의 성능들이 낮아질 것이기 때문에 본 논문에서는 maximal prediction이 아닌, non-maximal prediction에 대하여 개별 모델 간의 diversity를 강화함으로써 ensemble diversity를 향상시킵니다. 이렇게 non-maximal prediction에 대하여 diverity를 강화시켜주는 regularizer를 ADP Regularizer이라고 하며, ADPα,ß(x,y) = αH(F) + ßlog(ED)로 정의가 되고 최종적으로 L_ECE - αH(F) - ßlog(ED)로 학습을 진행하게 됩니다. 이때 α,ß를 함께 사용해야 non-maximal prob 최대화 및 ensemble diversity를 확보할 수 있고, 둘 중 하나만 사용하면 성능은 향상이 되지 않는다고 합니다. 좋은 발표 감사합니다!

일반적으로 딥 러닝 모델의 안전성을 위해 Input에 Noise를 부여하거나, Input에 존재하지 않았던 Class의 Data를 입력해도 모델이 강건하게 작동하도록 합니다. 이러한 관점에서 모델의 결과를 망가뜨리는 Adversarial Attack과 이를 방어하는 Adversarial Defense를 활용하기도 합니다.
이번 세미나에서 소개한 논문에서는 Ensemble Diversity를 향상시키는 방법으로 Adversarial Defense의 성능을 향상시키는 방법을 제안하였습니다.
Ensemble에 사용되는 각 Model의 Normalized Feature Vector에 대해 Class를 예측하는 최대 확률값을 제외하고 나머지 Element로 Vector를 구성합니다. 해당 Vector들이 직교할 경우, 각 Model들은 결과 Class는 잘 맞추면서, 동시에 최대의 다양성을 보유하게 됩니다. 해당 논문에서는 이러한 방식으로 Class를 잘 보존하며, 다양성을 최대로 갖도록 학습을 진행하여, 보다 강건한 Model을 만들 수 있도록 합니다.
분야에 대한 직관적인 설명으로 다시 한번 명확하게 해당 분야의 전반적인 목적을 파악할 수 있었으며, 논문에 대한 설명 역시 매우 직관적이었습니다. 좋은 발표 감사합니다.

이번 세미나는 OOD detection에 있어서 앙상블 기법을 활용하여 성능을 높이는 방법을 소개하는 세미나였습니다. ensemble diversity가 높으면 ensemble모델의 성능 향상을 기대할 수 있지만 잘못된 방식으로 ensemble diversity를 높일 경우 개별 모델의 성능 저하를 일으킬 수 있고 고로 개별 모델의 성능 저하 없이 ensemble diversity를 높일 수 있는 방법론인 adaptive diversity promoting regularizer를 제안하고 있습니다. 이 ADP란 maximal prediction 이 아닌 non-maximal prediction에 대해 개별 모델간의 diversity를 강화함으로써 ensemble diversity를 향상시키는 방법입니다.
이번 세미나를 통해 관심분야인 OOD detection에 관련하여 앙상블을 적용하는 방법, 이때 일어날 수 있는 문제점, 그리고 그 문제점을 해결 할 수 있는 해결책(ex. ADP)에 대해 배울 수 있어서 좋았습니다. 깔끔하고 쉬운 설명 감사합니다.

이번 세미나에서는 딥러닝 모델에 대한 앙상블 기법을 활용한 adversarial defense에 대해 소개해주셨습니다. 최근에 논문 구현으로 deep ensemble을 다뤄본 적이 있는데, 딥러닝 모델의 uncertainty를 측정하기 위해 앙상블 모형의 효과성을 보여준 논문이었습니다. Uncertainty가 예측의 관점에서 굉장히 크리티컬한 문제이자 우리가 해결해야 하는 문제로 다루고 있었는데, 여기에 ADP라는 방법론을 적용하여 개별 모델의 성능을 유지하면서 diversity를 높이도록 하였다는 점이 흥미로웠습니다. 앙상블 모형이 적용될 수 있는 분야를 알게 되어 관심이 갔고, 이를 통해 attack에 대한 방어에서도 준수한 성능을 냈다는 점이 신기하였습니다. 관련한 세미나를 계속 들으면서, 성능을 극대화하는 모델 뿐 아니라 robust함을 가져갈 수 있는 모델의 중요성을 이해할 수 있게 되었는데, 앞으로도 관련한 연구에서 좋은 결과 있을 것으로 기대합니다. 좋은 발표 감사합니다.