오늘 세미나에서는 이미지 이상치 탐지를 위한 방법론인 deep SVDD부터, DeepSAD, HSC, 그리고 오늘 주로 다룬 explainable deep one-class classification 방법론인 FCDD까지 SVDD 기반의 이상치 탐지 방법론의 발전 흐름을 소개해주셨습니다. 기본적으로 SVDD 기반의 이상치 탐지는 normal data를 포함하는 가장 작은 hypersphere를 찾아 이로부터 멀리 떨어져 있을수록 anomaly라고 판단하는 방식으로 작동합니다. 이전 세미나에서 소개해주신 Deep SAD에 Outlier exposure를 적용한 HSC(Hypersphere Classifier)는 OOD data 매우 소량을 사용하면 anomaly data와 normal data의 feature representation을 훨씬 더 잘 학습할 수 있다는 것을 밝혔습니다. 이 방법론은 OOD data를 사용하기 때문에 binary cross-entropy 기반의 loss를 사용합니다. 이 OOD data를 활용해 normal data를 feature space 상에 더욱 compact하게 표현하기 위해 radial basis function로 function l을 대체합니다. anomaly score로는 sphere의 중심이 원점이기 때문에 feature값의 제곱 자체를 사용합니다. OE data가 더 다양한 class의 example로 이루어져 있을수록 좋은 성능을 낸 것을 보면, OE data의 다양성이 클수록 normal data를 모든 class의 example들과 멀리 떨어져 있게 mapping해야 하기 때문에 더욱 compact하게 mapping하는데에 도움이 되는 것 같습니다. 이후에 나온 Fully convolutional data description(FCDD)는 fully convolution network와 heatmap upsampling을 HSC에 적용하여 설명력을 확보하고자 한 방법론입니다. 개인 연구 관련해서 이야기 하신 것중에 contrastive learning을 말씀해주셨는데, 최근 읽은 OOD detection 논문들에서 꽤 많이 사용하고 있는 것 같아 시계열 이상치 탐지에서도 잘 적용하면 좋은 결과 있을 것 같습니다. 좋은 발표 감사합니다.

이번세미나에서는 Deep Anomaly Detection과 관련된 내용을 발표해주셨습니다. Deep SVDD Conv pool에 나온 값을 이용해 이상치값은 멀게 정상값은 가깝게 만드는 구조로 성능을 올리는 구조였고, 더 개선된 Deep SAD는 soft margin의 형태와 유사하게 어느정도 이상치를 허용해주는 방법론이었습니다. HSC의 아키텍처는 Deep SAD의 모델구조를 그대로 가져가되 outlier exposure (다른 도메인) 데이터를 활용하는 방법이었습니다. 목적함수는 normal/abnormal에 대한 binary cross-entropy를 고려하되 radius basis function을 logit에 취한 구조였습니다. 이부분은 이상치를 덜 민감하게 작용하도록 하는 huber loss의 목적과 비슷해 보였습니다. Augmentation 방법은 Input layer에 영향을 줄이는 방법이었다면 제안 방법론은 out layer에 영향을 줄이는 방향으로 연구목적을 설정했다는 면이 인상 깊었습니다. FCDD 방법론은 HSC의 설명력을 더한 논문도 소개해 주셨습니다. 제안된 시각화 방법은 fixed gaussian filter를 사용해서 feature map의 activation 되는 형태를 sigma를 이용해 feature map을 강하게 또는 약하게 표현하는 방법을 소개해 주셨습니다. 좋은 발표 감사합니다.

본 논문에서는 explainable 한 one class classification 에 대한 논문입니다. 사실 공부를 하다 보니 알게된 사실은 kernel 로 고차원으로 보낸 후 데이터를 변환 혹은 유의미한 데이터로의 변환은 딥러닝에서 차원변환, 비선현변환으로 해석이 가능한 것을 알게되었습니다. 그렇다면, 딥러닝에서 explainable 한 영역으로 연구되고 있는 방법론이 결국 one-class classification SVDD 에 적용될 수 있다는 얘기로 생각했고, 이를 Feature map 의 heat 맵을 통해서 설명력을 표현했다고 생각합니다. 사실 예전의 SVDD 도 해석력이 있나 라는 의문을 가졌는데, 결과적으로 보여주는 분류경계면을 통해 우리가 사후 해석을 한다고 생각했는데, 딥러닝으로 연결되는 과정에서 설명력을 연결 시킨 부분이 인상적입니다. 좋은 발표 감사합니다.

해당 세미나 시간에는 최희정 박사과정이 Deep Anomaly Detection을 주제로 다루어 보았습니다. 지난 세미나 시간에는 대표적인 one-class 분류모델인 SVDD에 기반한 Deep SVDD를 소개해준 바 있었고, 이번시간에는 그 이후로 진행된 딥러닝 기반의 이상치 탐지 방법론들을 하나씩 소개해주었습니다. 개인적으로도 Deep SVDD와 같은 Hypersphere Learning을 현재 진행중인 연구에서 적용중인 상황에서 매우 흥미롭게 들을 수 있었습니다. Deep SVDD로부터 가장 최근 소개된 FCDD까지 다양한 방식으로 이상치 탐지 성능향상을 도모하였습니다. 특히, HSC에서는 Outlier Exposure를 적용하여 out-of-distribution data에 대한 loss term을 추가하여 이상치 탐지성능을 높인 부분이 인상적이었습니다. 소개해주신 다양한 딥러닝 기반의 이상치 탐지방법론들을 기존 이미지뿐만 아니라 제가 수행중인 그래프와 같이 다양한 데이터 유형에서도 고려해볼 수 있는 연구들이기에 매우 뜻깊은 시간이었습니다. 다수의 이상치 탐지 연구들을 일목요연하게 잘 비교해서 정리해주신 발표자에게 감사의 인사 전합니다.

본인의 아이디어에 대해서 꾸준히 future work를 고민하고 이를 논문으로 마무리짓는 저자의 행보가 굉장히 인상깊었습니다. SVDD의 kernel function을 딥러닝 모델로 대체한 deep SVDD를 거쳐 소량의 abnormal 데이터까지 활용하는 deep SAD로 잘 발전시켰고, outlier exposure를 anomaly detection에 적용한 HSC까지 소개하였습니다. Outlier 역시 관측되지 않은 넓은 범위의 anomaly로도 활용하면서 성능을 높인다는 논리도 합리적으로 느껴졌습니다. 다만 분포가 확실히 다른 데이터를 사용하면 상대적으로 차이가 적은 normal/abnormal 분포 간 차이를 잘 잡아내지 못할 것이라 생각했는데 실험 결과를 보니 분포가 많이 다른 데이터를 사용해도 분류 성능에 도움을 주는 것 같습니다. 마지막으로 소개해주신 논문은 one-class classification을 설명하는 것에 초점을 맞춥니다. CNN의 최종 representation에 영향을 미치는 input의 receptive field 중 가운데 영역이 가장 큰 영향을 미친다(gaussian assumption)는 아이디어를 활용합니다. 이로부터 anomaly를 탐지하는 heatmap을 만들어내어 결과를 설명할 수 있는 결과물이 만들어집니다. 약간의 성능 향상보다 설명할수 있는 모델이 현실에서 더 환영받는 경우(특히 anomaly detection에서)도 많기 때문에 본 논문의 기여점이 확실하다고 생각합니다. 깔끔한 설명 감사합니다.

이번 세미나는 one-class 분류 문제에서 설명력있는 모델을 제안한 연구에 대해 소개해 주셨습니다. 설명력을 가지는 모델은 그렇지 않은 모델에 비해서 언제나 활용도가 높습니다. 특히 one-class 분류 문제와 같이 anomaly 탐지에 사용될 수 있는 모델은 그 활용도가 더 크다고 생각됩니다. 오늘 소개해주신 모델에서는 CNN 구조를 도입하여 upsampling을 활용해 유의미한 설명력을 가지는 모델을 제안하였습니다. 실험은 MNIST와 같은 일반적인 분류 문제에 활용되는 데이터를 활용해 진행했는데 MVTec 데이터와 같이 부분적인 이상치를 가지는 데이터에 대해서도 모델이 잘 작동하는지 실험을 통해 보여주지 않은 것이 아쉬웠습니다. 계속해서 anomaly detection 연구들에 대해 follow up 해주셔서 흐름을 잘 파악할 수 있게 된 것 같습니다. 좋은 발표 감사드립니다.

금일 세미나는 이상치 탐지와 관련된 논문인 Explainable Deep One-Class Classification을 설명해주셨습니다. 해당 논문은 Semi-supervised AD에 속한 논문으로써 테스트 하고자 하는 OOD와는 다른 데이터를 모델 학습에 사용하여 모델의 성능을 향상시킨 기존 방법론(HSC)에 설명력을 더한 논문입니다. 기존 HSC(Rethinking Assumptions in Deep Anomaly Detection)에서 제한한 아키텍처와 목적식으로 이상치를 탐지하고, spatial information을 보존한 anomaly heatmap을 통해 이상 원인을 제공하는 Fully Convolutional Data Description(FCDD)를 제안했다는 것이 해당 논문의 가장 큰 기여점 입니다. 해석력을 부여하기 위하여 제안한 방법론은 Receptive filed에 fixed Gaussian kernel 기반의 strided transposed convolution를 적용하고, anomaly heatmap을 upsampling합니다. 도출된 heatmap을 기준으로 어느 부분이 이상치인지를 확인할 수 있습니다. 이상치 탐지에 Explanble AI 테크닉이 적용된 사례를 처음 보아서 인상적이었습니다. 좋은 발표 감사합니다.

Deep SVDD, Deep SAD에 대한 사전 설명을 통하여 연구의 발전 흐름을 이해하며 발표를 들을 수 있어서 개념을 파악하는데 많은 도움이 되었던 것 같습니다. HSC논문은 Semi-supervised Anomaly Detection 방법론으로써, Abnormal을 사용하지 않고, Out-of-Distribution을 학습하여 Normal Feature를 compact하고 Robust하도록 하는 Object function을 사용함으로써, 이상탐지 성능을 높은 연구이며, Explainable Deep One-Class Classification논문은 HSC연구에 설명력을 추가한 방법으로써, Normal과 Outlier Exposure 데이터로부터 heatmap을 얻어서, 이상원인을 제공하는 Fully Convolutional Data Description을 제공합니다. 이상탐지도 중요하지만 영향을 미친 신뢰성 높은 주요인자를 발굴하는 것이 향후 예방 보전 관점에서 점점 더 중요하다고 생각하기 때문에, 현장에서도 꼭 필요한 연구라고 생각되었습니다. 좋은 발표해 주셔서 감사드립니다.

오늘 세미나에서는 이미지 이상치 탐지를 위한 방법론인 deep SVDD부터, DeepSAD, HSC, 그리고 오늘 주로 다룬 explainable deep one-class classification 방법론인 FCDD까지 SVDD 기반의 이상치 탐지 방법론의 발전 흐름을 소개해주셨습니다. 먼저, 본격적인 발표를 하기에 앞서 이전 세미나에서 다뤘던 2가지 모델들과 이번에 소개해주는 2가지 모델의 발전 개요를 아래와 같이 소개해주셨습니다.

(1) Deep One-Class Classification (2018, Deep SVDD) : Unsupervised anomaly detection 방법으로, Kernel-based SVDD에 딥러닝을 적용하여 정상 데이터를 대표적인 정상 피쳐를 나타내는 center에 가깝게 학습하여 이상치를 탐지함
(2) Deep Semi-Supervised Anomaly Detection (2020, Deep SAD) : Deep SVDD에 Semi-supervised learning을 적용한 방법론으로, Deep SVDD의 학습에 소량의 labeled abnormal data를 추가하여 정상/이상 피쳐가 각각 정상 center로부터 가깝게 또는 멀게 학습하여 성능을 높임
(3) Rethinking Assumptions in Deep Anomaly Detection(pre-print, HSC) : Deep SAD에 Outlier Exposure를 적용한 Semi-supervised AD 방법론으로, Deep SAD의 학습에 labeleded abnormal data의 사용 대신 OOD data에 대한 Cross-Entrophy classification을 추가해주어 성능을 높임
(4) Explainable Deep One-Class Classification (2021, FCDD) : HSC에 이상치 탐지의 설명력을 더한 Semi-supervised AD 방법론으로 HSC objective를 기반으로 학습한 fully convolutional architecture의 heatmap에 fixed Gaussian kernel에 대한 strided transposed convolution 을 통해 heatmap을 up-sampling함으로써 모델의 설명력을 더함

앞에 다뤘던 논문들을 가볍게 소개해주시면서 발표를 진행해주셔서 전반적인 흐름을 파악하기에 너무 좋은 발표였던 것 같습니다. 이미지 이상치 탐지에서는 어떻게 주요인자를 탐색하나 항상 궁금했었는데 오늘 발표를 통해 알 수 있었습니다. 좋은 발표 감사합니다!

금일 세미나에서는 Deep SVDD에 관련된 흐름을 다시 한번 말씀해 주시고, 관련된 논문을 소개해 주셨습니다. Anomaly Detection에 사용되는 One-Class Classification의 연구 흐름은 Unsupervised 방법에서 출발하였고, 이후 Label을 보유한 소량의 Data를 준 뒤 Feature Space 상에서 거리가 벌어지게 하는 방식을 도입하였습니다. 금일 세미나에서 주로 다루어진 논문의 경우 Abnormal Data와 다른 분포를 갖는 데이터를 학습에 참여시키는 Outlier Exposure를 도입하여 Anomaly Detection의 성능을 높이는 방법과, 해당 방법 하에서 Explainability를 부여하는 주제에 관하여 다루고 있습니다. 최근 다양한 Task에서 Module 단위로 구조를 변경하기 보다는, Data의 특징을 사용하거나 Loss를 변경하여 Model의 성능을 높이는 연구들을 많이 접하는 것 같은데, 소개해 주신 연구 또한 이러한 방향을 따르고 있다는 생각이 들었습니다. 추가적으로 Explainable AI의 경우 다양한 Domain에서 실제적으로 매우 중요하게 사용될 수 있는 방법으로 생각되는데, Model 구조의 큰 변경 없이 기존의 성능을 유지하며 설명력을 더할 수 있다는 점이 인상깊게 느껴졌습니다. 좋은 발표를 진행해 주시어 감사드립니다.

같은 연구를 하는 네임드(?) 연구자의 발자취를 따라가는 세미나였습니다. 출발 선상에 놓인 Deep SVDD로부터 시작하여 Deep SAD, HSC, 그리고 FCDD에 이르기까지 발전하는 아이디어들을 볼 수 있었습니다. 사실 Deep SVDD 발표를 들을때도 저자들이 문제를 참 쉽게 푼다는 느낌을 받았는데 일련의 연구들을 보면서 문제를 바라보는 시각과 연구에 대한 태도와 같은 논문 외적인 것들도 많이 배울 수 있었습니다. HSC의 경우에는 아직 conference에 accept이 안 된 것으로 보이는데 개인적으로는 abnormal data를 사용할 수 없는 상황에서 OOD data를 사용하여 normal data의 분포를 task에 유리하도록 강제하는 아이디어가 정말 좋아 보였습니다. FCDD의 경우에는 XAI를 위한 이상치 탐지 방법론입니다. 이상치 탐지 task 이후에, CNN의 receptive field가 gaussian distribution을 따른다는 선행 연구를 통해 heatmap을 upsampling하는 과정을 보고 역시 여러 분야를 폭 넓게 알고 내가 풀고자 하는 문제에 맞는 열쇠로 만드는 능력이 중요하다는 것을 다시 느꼈습니다.

이번 세미나는 Explainable Deep One-Class Classification에 대한 세미나입니다. 이는 기존의 Deep SVDD, Deep SAD, HSC에서 발전되어, semi-supervised AD의 방법론인 동시에, HSC의 목적함수를 기반으로 학습한 fully convolutional architecture의 히트맵에 fixed Gaussian kernel을 활용한 upsampling을 적용한 모델입니다. 실제 이미지에서 이상치 탐지를 할 때, receptive field가 CNN의 결과에 미치는 정도가 크다는 것을 알 수 있었고 그렇게 때문에 fixed Gaussain kernel기반의 strided transposed convolution의 타당성을 입증할 수 있었습니다. 계속해서 관련 방법론을 활용하여 이상치 탐지를 하는 방법론에 대한 세미나를 해주셔서 감사합니다. 이상치 탐지 방법론은 기존의 방법론을 혼합하여 수행하는 모델들이 많아 포화상태인 느낌이 있었는데, Deep SVDD부터 본 세미나에서 주장한 모델까지의 이상치 탐지 분야에서 이상치 탐지 분야의 가능성을 찾을 수 있을 것 같습니다. 감사합니다.

본 세미나는 발표자의 지난 발표를 쭉 정리하면서 해당 논문의 저자의 의식의 흐름을 살펴보는 시간이었으며, 기본적인 커널 기반 SVD에 딥러닝을 적용한 Deep SVDD, Deep SVDD 학습에서 각 Class의 중심에 가깝거나 멀게 학습하게 하는 Deep SAD, 그리고 OOD에 대한 Cross-entropy loss를 추가하여 이상치 탐지 성능을 높인 HSC를 소개하였습니다. Deep one-class 분류를 통해 이상치 탐지를 진행할 때, 정상 데이터를 Feature Space에 매핑하는 방식을 학습하고 이상치를 해당 매핑에서 멀어졌을 경우로 산정하는데 해당 매핑은 비선형이기 때문에 해석력을 얻기가 힘듭니다. 이를 보완하기 위하여 Fully Convolutional Data Description을 사용한 본 논문은 매핑과 함께 Explanation Heatmap으로 데이터를 간주합니다. 구체적으론 Receptive Field의 입력이 결과에 미치는 분포가 가우시안을 따른다는 사실에 기반하여 Strided Convolution을 사용하고 Anomaly Heatmap을 Upsampling하는 방식을 사용합니다. 한 연구자의 연구 발전을 실시간으로 보는 것 같아 재밌는 발표였습니다.

Lukas Ruff의 연구 흐름을 살펴보는 세미나였습니다. Deep SVDD 에서 시작하여 오늘 메인으로 소개해주신 Explainable Deep One-Class Classification까지 살펴보면서 저자가 어떤 방식으로 아이디어를 전개해온지 살펴볼 수 있었습니다. 다만 해당 저자가 사용한 데이터는 모두 image data여서 개인적으로는 아쉬운 마음이 들었습니다.

개인연구 논문화를 진행하며 선행연구들을 정리하였는데, nlp에서 거의 비슷한 접근법이 2017년부터 제안되고 있지만 정확한 benchmark의 부재로 주목받지 못하고 있다는 점이 안타까웠습니다. 특히 아직까지 OOD 개념을 nlp에서 적용하기위해서는 상당히 비합리적인 가정이 필요하기에 (같은 task에 포함되는지, 아닌지를 판단하는 용도로 사용됨) HSC와 같은 연구가 제안되지 못한다는 아쉬운 마음이 생겼습니다.

다만 저자의 연구 진행방식을 보며, '한가지 분야를 연구한다는것은 이런것이구나' 를 배울 수 있었습니다. 작은 아이디어를 연구의 성과물로 정리하고, 이를 점점 디벨롭 해나가는 모습을 보며 저도 이런 연구자가 되어야겠다는 생각을 하게되었습니다. Lukas Ruff는 nlp분야에서 AD연구를 진행하기도 했는데, 조만간 살펴보려 합니다. 좋은 논문 소개 감사합니다.

이번 세미나에서는 이상치 탐지에 사용되는 모델을 대헤 전반적으로 흐름을 먼저 소개해 주셔서 이해하기 수월했습니다. 이번 세미나에서는 outlier 추가하여 abnormal data를 더 잘 찾을 수 있는 outlier exposure 개념에 대해 처음 알게 되었습니다. 마지막에 설명해 주신 본 논문의 제안 모델 FDDD (Fully Convolutional Data Description)의 경우 이상 데이터에 대해 heatmap을 추출하여 어느 부분이 입력 데이터에 대해 모델이 이상 데이터이다 라고 판단할 수 있는지 보여주었습니다. 이 부분에서 아쉬웠던 점은 CNN 기반 모델에서 이미지 분류에 영향을 미친 중요한 pixel을 추출하는 방법이 다양하게 많이 연구되어 왔는데 이러한 방법들이 적용되지 않았다는 점입니다. 또한 추출된 heatmap이 얼마나 좋은 방법인지 평가하기위해 정량적인 평가가 부족했다는 점입니다. 제안 모델의 기여점이 Explainable 이라는 점에서 보다 설명력에 대한 부분이 자세하게 나왔으면 좋았겠지만 그런 부분에서 논문에서 깊게 다루지 않아서 아쉬웠고, 한편으로는 이상치 탐지 연구에서 이러한 부분을 적용하여 설명력을 높여서 기여해 볼 수 있을 거라 생각이 되었스빈다. 좋은 발표 감사합니다. 앞으로도 관련 주제로 더 많은 내용 기대하겠습니다!

금일 세미나는 “Explainable Deep One-Class Classification”이라는 주제로 진행되었습니다. 구체적으론, unsupervised outlier exposure 방법론 HSC와 FCDD를 중점적으로 살펴보았습니다. 두 모델 모두 이상치 탐지라는 task를 중심으로 진행되었습니다. 기존에 딥러닝 기반의 이상치 탐지 모델에 대해 사전지식이 다소 부족했는 데, 과거 모델부터 순차적으로 핵심을 설명해주셔서 이해에 큰 도움이 될 수 있었습니다. 발표자 분께 감사드립니다. 우선적으로, 딥러닝 기반의 One-class 분류 모델을 활용한 Deep SVDD를 살펴봤습니다. 그리고 준지도학습 방법론을 적용한 Deep Semi-Supervised Anomaly Detection(Deep SAD) 모델을 살펴봤습니다. 기존과 달리, 레이블을 갖는 이상치 데이터를 학습에 활용한, 말 그대로 “준지도학습”의 방법론을 차용한 것이 특징입니다. 이를 구현하기 위해, Objective function을 새롭게 디자인하는 과정이 인상깊었습니다. 그리고 Deep SAD에 Outlier Exposure(OE) 방법론을 적용한 HSC 모델을 살펴봤습니다. OE 방법론 자체에 대해 사전지식이 없었지만, 발표자 분의 설명을 토대로 이해할 수 있었습니다. 본 모델에서 radial basis function을 활용해 목적함수를 디자인해가는 모습 또한 인상 깊었습니다. 마지막으로 설명해주신 방법론인 FCDD는 모델에 Explainability를 더했습니다. 모델 중간에 얻는 Feature map을 heatmap으로 변환하는 방식을 활용했습니다. 흥미로웠던 점은 Gaussian kernel을 활용해 deconvolution을 구현한 점입니다. 그리고 이러한 접근이 실제로 작동한다는 점도 인상깊었습니다. 결론적으로, 해당 방법론을 활용해 기존 모델 보다 높은 성능을 보이는 SOTA 결과를 얻을 수 있었습니다. 기존에 이상치 탐지 task에 대해 관심은 있지만, 차마 깊이있게 보지는 못했었습니다. 본 발표를 통해, 어떠한 방법론들이 적용되어 문제를 해결해나가는 지 이해할 수 있었습니다. 더불어, 설명햊쉰 모델 들에서 활용한 설명력을 위해 시각화를 하는 부분이나, receptive field에 대한 이해 등 다양한 토픽에 대한 깊은 이해는 언제나 중요하다는 점을 다시 느낄 수 있었습니다. 언제나 그랬듯 좋은 발표 감사드립니다.

이번 세미나는 Explainable Deep One-Class Classification을 주제로 진행되었습니다. 본 논문 발표 이전에 anomaly detection 기법 중 하나인 SVDD에 대해서 소개를 해주시고 SVDD 기반에 딥러닝을 적용한 anomaly detection 방법론의 발전 흐름에 대해서 소개해주셨습니다. (1) Kernel-based SVDD에 딥러닝을 적용한 Deep SVDD, (2) Deep SVDD에 Semi-supervised 방법을 적용한 Deep SAD, (2) Deep SAD에 outlider exposure를 적용한 HSC, (4) 그리고 본 논문인 HSC에 이상치 탐지의 설명력을 더한 FCDD 순으로 일련의 흐름으로 진행 되었습니다. 이번 세미나에서 가장 신선했던 방법은 outlier exposure이였습니다. 지금까지 제가 알고 있던 normal과 abnormal은 굉장히 유사하지만 정상과 비정상으로 나뉘는 데이터로 이 두 가지만을 이용하여 anomaly detection하는 것으로만 생각했었는데 완전히 다른 비정상 데이터, 즉, abnormal 데이터와 다른 분포를 가지는 비정상 데이터를 가지고 학습하여 anomaly detection을 수행하는 outlier exposure라는 개념을 처음 접하게 되었습니다. 본 논문인 FCDD에서는 feature map을 upsampling하여 heatmap을 도출함으로써, input data로 부터 어디가 abnormal로 판단되는지 확인할 수 있었습니다. 이번 발표를 통해 anomaly detection 중 일련의 흐름에 대해 알 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 anomaly detection 기법들(deep SVDD, DeepSAD, HSC, FCDD)에 대해 전반적인 흐름을 짚어주셨습니다. Deep SVDD 같은 경우 여러 번 설명을 해주셨다시피 Kernel SVDD를 딥러닝에 적용해 normal data를 normal representation(embedding)의 중심에 위치하도록 학습하는 방식이며 Deep SAD의 경우 이에 ssl을 적용한 학습 방식입니다. HSC의 경우 학습을 위한 데이터에 abnormal에 대한 OE(Outlier Exposure)를 학습 데이터로 사용하며 추가적으로 loss 함수에 radial basis function을 고려하도록 합니다. FCDD의 경우 HSC에 설명력을 추가한 방법론인데, grad cam과 유사하게 receptive field(input)의 특정 위치가 output(이상치 탐지)에 미치는 영향력을 시각화하여 이상치 탐지에 대한 설명을 가능케 한다는 점에서 흥미로웠습니다. 개인적으로는 OE에 대해서 어떤 데이터셋이 아니라 기존 데이터에 adversarial example과 유사한 변형을 취했을 때에도 anomaly detection에 있어서 긍정적 효과를 낼 수 있을지가 궁금했습니다. 시각화 자료를 통한 좋은 발표 감사합니다.

금일 세미나는 “Explainable Deep One-Class Classification”을 주제로 진행되었습니다. 본 논문을 소개하기 앞서, one class classification 세팅으로 진행되는 4개의 논문에 대한 overview에 대해 간략히 소개해주셨습니다. Deep SVDD에 semi supervised learning을 접목시킨 Deep SAD와 Deep SAD에 outlier exposure를 접목시키고, 학습 시 OOD 데이터에 대한 CE loss를 추가하여 이상치 탐지 성능을 향상시킨 HSC에 대해 알 수 있었습니다. HSC에 설명력을 더한 방법론이 바로 FCDD입니다. HSC objective를 기반으로 fully convolutional network의 heatmap을 활용하여 모델에 설명력을 더하는 방법입니다. 이미지를 활용한 이상치 탐지를 할 때에 설명력을 추가하는 부분은 실제로 모델을 활용할 때에 굉장히 필요한 부분이라고 생각이 듭니다. 이를 위해 semantic segmentation의 모델 구조를 많이 차용하는데, 이런 부분을 활용해서 anomaly segmentation을 시도하면 더 성능을 향상시킬 수 있지 않을까 하는 생각이 들었습니다. 좋은 발표 감사합니다.

오늘 세미나에서는 Explainable Deep One-Class Classification 라는 논문이 다뤄졌으며, 이 논문을 쓴 저자는 앞서 Deep SVDD, Deep SAD, HSC의 세 가지 방법론을 논문으로 발표하였는데, 발표자분께서 본 논문에서 제안하는 FCDD 방법론이 나오기까지의 흐름을 먼저 설명해주시고 제안 방법론을 소개해 주셨습니다. Deep SVDD는 기존 kernel-based SVDD에서의 kernel function을 딥러닝 모델로 대체한 것이고 Normal 데이터 feature를 AE를 통해 사전학습 된 구의 중심에 가깝게 하도록 학습합니다. 이는 정상데이터만을 가지고 학습하기 때문에 Unsupervised 방법론이지만, 이에 소량의 abnormal 데이터를 추가하여 Semi-supervised 방법론으로 개선한 것이 Deep SAD입니다. 추가된 abnormal 데이터는 구의 중심과 멀게 학습하는 것입니다. HSC는 Deep SAD에 outlier exposure를 적용한 방법론입니다. labeled abnormal 데이터를 사용하여 classification의 성능을 높였습니다. outlier exposure는 테스트하고자 하는 OOD 데이터와 다른 OOD 데이터를 학습과정에서 사용하여 기존 OOD 탐지 모델의 성능을 향상시키는 방법론입니다. 이 outlier exposure 개념에 대해 자세한 예시로 설명해주셔서 이번 기회에 확실히 개념을 알 수 있었습니다. FCDD는 앞선 HSC에 설명력을 더해 발전시킨 논문입니다. 이는 CNN과 pooling layer를 거친 feature 맵을 upsampling하여 heatmap을 도출함으로써 이상 원인을 제공할 수 있도록 설명력을 높였습니다. SVDD 를 근간으로 발전시킨 논문의 흐름을 논리적으로, 그리고 자세한 설명으로 전개해주셔서 매우 유익했습니다. 또한, 본 세미나에서 다뤄진 방법론들은 저자가 지속적으로 기존에 제안한 방법을 개선시키고자 하는 노력이 보이는 방법론들이었고, 연구자로서 배워야할 연구 자세라고 생각했습니다. 좋은 발표 감사합니다.