본 세미나는 ML LOO: Detecting Adversarial Examples with Feature Attribution연구에 대해 진행되었습니다. Feature attribution을 활용해 adversarial example을 찾아낸 다는 것이 굉장히 흥미로웠습니다. 어떻게 생각하면 굉장히 심플한 착안점이라고 생각했습니다. 본 연구는 clean image와 그렇지 않은 적대적 샘플 간의 매우 기본적인 차이를 포착하고, 이를 gaussian process 를 활용해 방법론에 적용해갑니다. Gaussian process에 대한 생각을 가끔 해왔는 데, 이를 본격적으로 활용한 연구를 잘 접하지 못했었습니다. 본 연구에서 이를 확인할 수 있어 많은 도움이 되었습니다. 개인적으로 adversarial attack 분야에 생소했었는 데, 발표자분께서 좋은 연구에 대해 자세하게 설명해주셔서 이해에 큰 도움이 되었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Adversarial Detection 연구 중 하나인 "ML LOO: Detecting Adversarial Examples with Feature Attribution"라는 논문에 대하여 소개해주셨습니다. 해당 논문의 경우 xai 분야에서 활용되는, input이 모델의 결과에 기여한 정도를 나타내는 feature attribution을 활용하여 adversarial detection를 수행하는 방법론을 제안하고 있습니다. 이 때 adversarial example은 일반적인 데이터와 다른 feature attribution 분포를 가질 것이라 가정하게 되고, 그러한 가정을 기반으로 IQR을 활용해 adversarial detection을 수행합니다. Adversarial Attack, defense 등 분야는 딥러닝의 기본적인 이론 및 개념의 집합이라고 생각합니다. 항상 세미나를 통해 많이 배우고 있습니다. 좋은 발표 감사합니다.

이번 세미나는 ML LOO: Detecting Adversarial Examples with Feature Attribution에 대한 내용으로 진행되었습니다. 해당 논문에서는 feature attribution을 활용한 adversarial detection 방법을 제안하는데 이때 feature attribution이란 XAI를 위해 모델의 output에 대한 input의 기여도라고 할 수 있습니다. 제안 방법론은 clean image 보다 adversarial example이 더 넓은 분포의 feature attribution을 가질 것이라는 것을 가정하여 adversarial example을 detect하고자 하였습니다. adversarial example이 original example과 구분되는 특징을 캐치하고 이를 활용하여 새로운 방법론을 제안했다는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

딥러닝 모델의 성능을 망치는 noise에 대한 defense 기법에 대해 소개해주셨습니다. Defense 방법론을 학습하면서 noise 역시 최적화될 수밖에 없음을 한계로 제시한 부분도 인상깊었습니다. 첫 번째 논문에서는 adversarial example이 낮은 density estimation이 낮고 uncertainty가 높은 것을 보였습니다. 따라서 kernel density estimation과 bayesian uncertainty 방법론을 혼합하여 지적하는 문제를 완화합니다. 아마 문제를 정의하는 과정 자체에 novelty가 있지 않을까 생각이 들었습니다. 두 번째 방법론에서는 기존 kde에서는 탐지할 수 없는 sub-manifold 상 adversarial example의 위치를 표현하는 LID 기반 방법론을 제안하여 다양한 공격 기법에 대한 뛰어난 방어 성능을 보여줍니다. 마지막 ML-LOO 방법론에서는 adversarial example이 기존 example과 분포상의 차이를 보이는 것으로부터 research question을 설정합니다. 구조 측면에서는 중간 layer의 neuron의 변화에 따른 feature attribution을 계산하여 detection을 수행합니다. 말씀해주신 것처럼 연산량을 개선하는 것이 하나의 과제가 되겠지만 새로운 문제를 정의하는 것이 가장 중요한 기여임을 알 수 있었습니다. 잘 들었습니다.

금일 세미나는 “ML LOO: Detecting Adversarial Examples with Feature Attribution” 논문에 대해 소개해 주셨습니다. 본 논문에서 소개한 방법은 adversarial example에 대한 feature attribution은 clean image에 대한 feature attribution 보다 분포가 넓을 것이다 라는 가정으로 adversarial example을 detection하는 방법입니다. 본 논문에서 사용된 feature attribution 방법이 정확히 어떤 방법인지는 확인하지 못했지만 기본적으로 사용되는 gradient 기반 saliency map은 noise에 굉장히 민감한 방법입니다. 이러한 특징을 잘 활용해서 적용한 방법이라 생각됩니다. 기존 adversarial example detection에 대한 설명도 자세하게 해주셔서 도움이 많이되었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Adversarial Detection의 개념과 관련 방법론들에 대해서 소개되었습니다. 더불어 Adversarial Defense의 개념도 함께 소개되었는데요. 우선 Adv Defense의 경우는 그 목적이 adversarial example을 비롯한 일반적인 noise에 강건한 모델을 만드는 것이고 Adv Detection은 adversarial example을 탐지해내는 것을 목적으로 하고 있습니다. 발표자 분께서 Adv Detection의 여러 방법론 중 Kernel Density Estimation과 Bayesian Uncertainty 를 함께 고려한 방법론, Local Intrinsic Dimensionality, ML-LOO 등의 방법론을 소개해주셨습니다. 세미나를 들으면서 해당 기술이 어떻게 응용이 될지, 나아가서 실생활에서 어떻게 활용될 수 있을지에 대한 사례에 대해서 궁금함이 생겼습니다. 흥미로운 주제 였습니다. 좋은 발표 감사합니다!

금일 세미나에서는 ML LOO: Detecting Adversarial Examples with Feature Attribution 논문을 다루어 주셨습니다. 해당 논문에서는 feature attribution score의 scale estimate에 대해 threshold를 활용하여 adversarial detection을 하는 방법을 제안하고 있습니다. Kernel Density Estimation값과 Bayesian Uncertainty Estimation 값을 이용하여 adversarial detection에 활용할 수 있는데 , adversarial example의 경우 낮은 density estimation값과 높은 uncertainty 값을 가지고 있습니다. 위의 논문에서는 kernel density estimation 값, bayesian uncertainty estimation 값 각각 하나씩과 이 둘을 합친 것 (KD+BU)을 활용하는 3개의 detection 방법론들을 제시하고 있습니다. Adversarial detection과 관련된 논문들은 많이 접해보지 못했는데 이번 세미나를 통해 알아갈 수 있어서 유익한 시간이 되었습니다. 좋은 발표 감사합니다!

이번 세미나는 ‘ML LOO: Detecting Adversarial Examples with Feature Attribution’를 주제로 진행되었습니다. Adversarial Defense와 Detection에 대해서 설명해주셨는데, Defense를 위한 minmax 문제는 딥러닝 모델의 표현력을 제한하는 문제점이 있습니다. 따라서 Detection하는 것으로 성능 저하의 우려를 없애고 존재하는 label을 통해 원본 분류 결과를 복원할 수 있게 하면 Defense와 동일한 효과를 줄 수 있다는 점을 이용하여 Detection task를 수행합니다. 본 논문은 Adversarial detection task에 Kernel Density Estimation과 Bayesian Uncertainty 방법론을 활용하였습니다. 각 방법론을 적용한 방법과 두 방법론을 같이 적용한 방법을 제안하였습니다. 이번 세미나를 통해 Adversarial Detection에 대해서 새로 알게 되었고 Adversarial Defense의 한계점에 대해서 알게 된 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 feature attribution이라는 XAI 방법론을 통해 adversarial detection을 수행한 ML LOO: Detecting Adversarial Examples with Feature Attribution을 주제로 진행되었습니다. Adversarial detection은 모델에 noise를 주입하여 adversarial attack을 가했을 때 이러한 adversarial example을 탐지하는 task입니다. noise에 강건하게 대응하도록 학습하는 adversarial defense의 최적화 문제로 adv detection은 현실적 대안이 될 수 있습니다. 본 논문에서는 kernel density estimation과 bayesian uncertainty를 detection에 활용하여 이미지 데이터셋에 attack을 가했을 때 이를 적절히 탐지해낼 수 있는지를 검증하였습니다. 이때, 모델 결과에 대한 input의 기여량을 측정하는 feature attribution을 통해 intermediate layer uncertainty 정보를 활용하고자 하였습니다. 본 논문은 성능 평가를 위한 통계량 계산으로 인해 추가적인 비용이 발생하며 transferability에 대한 성능이 낮고, low confidence attack, white-box attack에 취약하다는 한계점이 있습니다. Adversarial Attack이라는 분야를 많이 접하지 못하여 낯선 개념이 많았지만, 상세하게 설명해주셔서 이해에 도움이 되었습니다. 유익한 세미나 진행해주셔서 감사합니다.

본 세미나에서는 adversarial example을 탐지하는 모델을 제안한 ML LOO: Detecting Adversarial Examples with Feature Attribution에 대해 살펴보았습니다. Adversarial example은 인풋에서 RGB 분포가 normal example과 다르다는 것과 embedding space에서 off-manifold를 가진다는 것이 알려져 있습니다. 본 연구에서도 이러한 특성을 사용하여 adversarial example detection을 진행합니다. 실험 결과 단순한 KD를 사용하거나 LID를 사용하는 경우보다 좋은 성능을 보임을 보였습니다. ML-LOO 이전의 detection 논문들에 대해서 간략히 소개해 주셔서 흐름을 잡기 좋았습니다.

금일 세미나는 "ML LOO: Detecting Adversarial Examples with Feature Attribution"라는 주제로 진행되었습니다. 본 발표에서는 feature attribution을 활용한 adversarial detection 모델 ML LOO가 소개되었습니다. 해당 모델은 input이 모델의 output에 기여한 정도를 나타내는 feature attribution의 관점에서 adversarial example과 일반 데이터가 다른 feature attribution 분포를 가질 것이라는 가정을 기반으로 adversarial detection을 수행하였습니다. 원본 데이터가 아닌 feature attribution의 관점으로 모델링에 접근한 점이 신선하다고 생각했고, 해당 과정에서 intermediate layer uncertainty 정보를 활용하기 위해 전개한 방식 또한 논리적이라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “ML LOO: Detecting Adversarial Examples with Feature Attribution”라는 논문을 소개해 주셨습니다. 본격적인 발표에 앞서 Adversarial Defense와 Detection에 대해서 설명해 주셨습니다. Defense는 딥러닝 모델 자체를 noise에 강건하게 만드는 것을 목적으로 하고, Detection은 adversarial example을 탐지하는 것이 목적으로 합니다. 일반적으로 adversarial defense 방법론이 모델의 안정성 측면에서 기여도가 높지만, 풀고자 하는 minmax 문제는 표현력을 제한한다는 근본적인 한계점을 갖게 됩니다. 반면에, detection 방법론은 보조 모델을 활용하기 때문에 기존의 분류 성능을 저하시킬 우려가 없으며, adversarial example을 활용하여 원본 분류결과를 복원하게 되면 defense와 동일한 결과를 도출할 수 있습니다. 이와 관련되어 original example과 비교하여 adversarial example이 가지는 특성을 밝히고 이를 통해 adversarial detection을 수행하는 KD+BU, LID, ML LOO에 대하여 소개해 주셨습니다.
✓ [KD+BU] : 본 연구는 Adversarial detection task에 Kernel Density Estimation(KD)과 Bayesian Uncertainty(BU) 방법론을 활용합니다. KD는 x에 대하여 확률 밀도 함수를, BU는 uncertainty값을 예측합니다. KD와 BU를 활용하여 각각 KD, BU, 그리고 둘을 합친 KD+BU를 활용하여 총 3개의 Detection Method를 제안합니다.
✓ [LID] : 특정 sample로 부터 거리에 따른 이웃 데이터의 개수의 성장률(Intrinsic Dimensionality)을 측정하고, 이를 KNN를 통해 LID의 추정 값을 도출합니다. LID는 특정 데이터가 속한 내재적 차원의 차원 값을 의미합니다. 성공적인 perturbation은 기존 x를 내재적 차원 S 밖으로 유도하기 때문에 기존의 LID보다 높은 LID를 갖게 되는데 이를 활용해 detection을 수행합니다.
✓ [ML LOO] : 본 연구는 Adversarial Example의 경우 feature attribution이 Original과 비교하여 넓게 분포하는 것에 착안하여 방법론을 제안합니다. Leave-One-Out 기법을 활용하여 attribution값을 도출 후 adversarial example의 특성을 반영하기 위해 dispersion 정도를 나타내는 IQR 지표를 계산합니다.

이번 세미나에서 소개된 논문은 ML LOO: Detecting Adversarial Examples with Feature Attribution 입니다. 본 논문에서는 Adversarial Example의 경우 feature attribution이 Original과 비교하여 넓게 분포하는 것에 착안하여 feature attribution을 계산하고 dispersion 정도를 계산하여 adversarial example의 특성을 파악합니다. 이렇게 중간 layer에서 계산된 값들로 logistic regression 모델을 학습하여 adversarial detection을수행하게 됩니다. adversarial example의 특성을 잘 가정하고 이를 활용하기 위한 방법론을 잘 제안한 것 같다는 생각이 들었습니다. Adversarial defense, detection 분야와 관련하여 꾸준히 좋은 논문을 소개해주셔서 감사합니다. 좋은 발표 감사합니다.

금일 세미나는 발표자의 연구 주제인 Adversarial Defense / Detection 중, 후자의 분야를 다루었으며, Kernel Density Estimation / Bayesian Uncertainty를 활용한 탐지를 먼저 소개합니다. 이는 Adversarial이 정상 데이터와 다르게 낮은 Density Estimation과 높은 Bayesian Uncertainty를 갖고 있음에서 착안 하였으며, 두 개의 Feature를 입력으로 활용하여 Logistic 회귀를 통해 Detection Model을 구성하였습니다. 또한 유사하게 Feature를 활용하는 방식으로 LID를 활용하며 Adversarial이 내재적 차원 밖에 놓일 가능성이 높으므로 정상 데이터 보다 높은 LID 값을 가지고 있습니다. 이어 Feature를 활용하는 것은 동일하나 Attribution을 활용해 Adversarial 을 탐지하는 방식인 ML-LOO를 소개하며 이는 정상보다 Adversarial의 결과에 미치는 요소들의 분산이 높은 점에서 착안하였습니다. 정상 데이터는 결과를 냄에 있어 특정 요소에 집중하는 반면 Adversarial은 일반적인 분류로서 활용되는 데이터가 아니기 때문에 발생하는 것 같습니다. Adversarial에 대한 팔로업을 할 수 있게 정리해주셔서 감사합니다.

이번 세미나에서는 adversarial detection 분야의 ML LOO: Detecting Adversarial Examples with Feature Attribution (AAAI, 2020) 논문을 소개해 주셨습니다. 논문의 주제가 되는 Adversarial Defense는 모델의 성능을 저하시킬 수 있는 noise 데이터에 대해서 모델이 robust 해지도록 하는 task입니다. 이번 발표에서는 논문의 핵심 방법론인 ML MOO를 중심으로 크게 3가지 방법론을 소개해 주셨습니다. 첫번째 KD+BU는 Kernel Density Estimation(KD)과 Bayesian Uncertainty(BU)를 함께 사용하는 방식으로, 각각 input에 대한 확률밀도와 uncertainty를 계산하여 두 개의 값을 feature로 하는 Logistic Regression을 학습하여 Detection Model로 활용합니다. 두번째 LID: Local Intrinsic Dimensionality은 Adversarial Example의 LID가 original sample과 비교하여 높은 LID 값을 가진다는 것을 활용합니다. 마지막으로 논문에서 제안하는 방법론인 ML LOO는 adversarial detection 과정에서 어떤 input이 모델의 결과에 얼마나 기여했는지를 측정하는 방법인 Feature Attribution을 활용한 방법입니다. 즉, adversarial example과 일반적인 데이터 example은 다른 Feature Attribution 분포를 가질 것이라고 가정하고 그를 통해 adversarial detection를 수행합니다. 저는 아직 Adversarial detection 분야 자체가 매우 생소했는데, 본격적으로 논문의 방법론을 소개해주시기에 앞서 Adversarial Detection은 adversarial example를 탐지하는 것을 목적으로 하며 Adversarial Defense는 인공지능 모델을 이러한 noise에 대해 robust할 수 있도록 하는 목적을 가진 다는 등 기본적인 설명을 해 주셔서 이해하기가 편했습니다. 좋은 발표 감사합니다.

금일 세미나는 AAAI 20년도에 억셉된 Feature Attribution을 통해 Adversarial Detection 방법론을 제안한 ML LOO: Detecting Adversarial Examples with Feature Attribution 논문으로 진행되었습니다. Adversarial Detection이란 원본 입력에 대해 분류 능력을 저하시킬 수 있는 Adversarial Defence와는 반대로 보조 모델을 활용하여 기존의 분류 성능을 유지할 수 있는 방법론입니다. 하지만 Adversarial Defence 방법론이 딥러닝 모델의 안정성 측면에선 기여도가 훨씬 높은데 Adversarial Detection의 경우에서 단순히 detect하는 걸 넘어서 복원까지 할 수 있게 된다면 defence와 동일한 효과를 줄 수 있다고 합니다. 본 논문에서 제시한 방법론인 ML LOO는 adversarial example의 feature attribution이 원본과 비교하여 넓게 분포한 것에 착안한 것으로 adversarial example의 dispersion 정도를 나타내는 IQR 값을 입력으로 하는 로지스틱 회귀 모델을 학습해서 adversarial detection을 수행하게 됩니다. 처음 접하는 분야지만 여러 방법론을 잘 설명해주셔서 이해가 수월했던 것 같습니다. 좋은 발표 감사합니다.

본 세미나에서는 ML LOO: Detecting Adversarial Examples with Feature Attribution 에 대한 리뷰를 진행하였습니다. 본 논문은 Feature Attribution을 통해 adversarial detection 방법론을 제안한 논문입니다. Feature Attribution을 계산하기 위해 Leave-One-Out 방법을 활용하였으며, 그 후 adversarial example의 특성을 반영하기 위해 dispersion정도를 나타내는 IQR 지표를 계산하여 활용하였습니다. 최종적으로 intermediate layer의 특정 neuron값의 변화에 따른 feature attribution 값을 계산하고 이에 따른 IQR을 입력으로 하는 Logistic Regression 모델을 학습하며 adversarial detection을 수행합니다. Feature Attrivution을 통해 adverarial detection 방법론을 제안했다는 contribution이 있지만, time cost가 높고, Transferability 대한 탐지 성능이 낮고, Low confidence attack, white-box attack에 취약하다는 한계점이 있습니다. 발표자님이 adversarial detection에 대한 연구를 계속 진행하고 있는것으로 알고있는데, 위의 한계점을 보완할 수 있는 훌륭한 모델을 제안해주길 기대하고 있습니다. 좋은 발표 잘 들었습니다!

이번 세미나에선 Adversarial Detection 연구 중 하나인 ML LOO: Detecting Adversarial Examples with Feature Attribution 에 대해 소개되었습니다. Adversarial noise data 를 다루는 연구는 크게 Adversarial Defense 와 Adversarial Detection 이 있는데, 둘은 기존 task를 수행하는 모델이 adversarial robustness 를 갖도록 하는지, 별도의 detection 모델을 두는지로 구분할 수 있습니다. ML LOO는 adversarial sample 이 normal sample 보다 feature attribution 에서 더 큰 분산을 가진다는 점을 반영하여 adversarial sample의 dispersion 정도를 나타내는 IQR 지표를 제안합니다. ML LOO에서 Detection task 는 IQR을 입력으로 하는 Logistic regression model 이 사용되고 이전 연구들에서 detection 성능이 낮았던 C&W attack 에 대해서도 높은 성능을 보여줍니다. 논문 소개에 앞서 Adversarial Defence 가 이상적이지만 어렵기에 Adversarial Detection 연구가 의미가 있다는 점과 KD, BU, LID 등의 기존 detection 연구들에 대해 정리해주셔서 세미나를 이해하는 데 도움이 되었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Adversarial Detection 분야의 ML LOO: Detecting Adversarial Examples with Feature Attribution였습니다. Adversarial detection이란 Adversarial attack이 가해졌을 때 이를 탐지하는 태스크로서 모델의 학습 안정성을 높이면서 adversarial defence와 다르게 기존 모델에 추가되는 모듈이 없기 때문에 비교적 현실적인 학습이 가능해집니다. 해당 논문에서는 adversarial example은 정상 데이터에 비해 feature attribution distribution이 비교적 넓게 분포하는 특징에 착안하여 feature attribution의 dispersion을 IQR로 나타내어 직접적인 input으로 하는 별도의 회귀 모델을 이용하게 됩니다. 단순히 feature attribution의 정보를 직접적으로 가져와서 별도의 모델에 학습시키는 단순한 아이디어가 높은 성능을 보이는 것이 흥미로웠습니다. Adversarial Attack과 관련하여 처음 접했지만 관련한 기본적인 내용부터 자세히 설명해주셔서 잘 이해할 수 있었습니다. 감사합니다.

이번 세미나에서는 Adversarial Detection 분야의 ML LOO: Detecting Adversarial Examples with Feature Attribution 주제로, 발표자께서 연구주제로 하는 adversarial defence 와 관련된 방법론 입니다. 세미나에서는 adversarial example 이 가지는 특성을 밝히고, 이를 통해 adversarial detection 을 수행하는 방법론을 설명합니다. 다양한 방법론을 통해 비교실험을 하는데 한계점으로 inference 단계에서는 통계량 산출의 추가과정, trasnferability 에 대한 탐지 성능이 낮은점, low confidence attack 에 취약한점이였습니다. 사실 이러한 문제는 여기서만 발생하는 문제가 아닌만큼 좀 더 근본적인 해결책이 필요하지 않을까 생각합니다.