이번 세미나는 “Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection”를 주제로 진행되었습니다. 본 논문은 일반적인 이상 탐지) 상황에서 학습 데이터를 정상 데이터로만 구성하는 것과 달리, 학습 데이터에 이상 데이터도 포함되어 있는 경우를 다루고자 새로운 방법론을 제시하였습니다. 실제로 실세계 응용에서는 더 다양한 설정과 과제가 가능하므로, 이 논문에서 제안하는 방법론은 현실적인 문제를 해결하는 데 큰 도움이 될 수 있다는 생각이 들었습니다. 본 논문에서 제시하는 DRA(Dual-path Residual Attention) 방법론은 기존 방법론들처럼 이미 알려진 이상 데이터(Seen Anomalies)뿐만 아니라, 새로운 이상 데이터(Unseen Anomalies)에도 대응할 수 있도록 Pseudo Anomalies를 함께 다룹니다. 이를 통해 기본적인 Reference Samples과 함께 Pre-trained CNN을 이용하여 Feature map을 도출한 후, 각 목적에 맞는 3가지의 Head를 통해 최종 Output을 산출합니다. 먼저, Seen Abnormality Learning Head에서는 Patch-wise anomaly scoring을 수행한 후, Top-k MIL(Multiple Instance Learning) 방식을 통해 Scalar 형태의 Anomaly score를 얻습니다. 다음으로, Unseen Abnormality Learning Head에서는 인위적으로 생성된 Pseudo anomalies를 사용하여 Seen Abnormality Learning Head와 동일한 방법으로 처리합니다. 마지막으로, Latent Residual Abnormality Learning Head는 Unknown anomaly들이 Seen Anomaly와 공통된 특징을 공유하지 않기 때문에 Normal 데이터와의 차이를 이용하여 이상 데이터를 구분합니다. 결과적으로, DRA는 기존 Supervised AD 방법론들보다 더 나은 성능을 보이며, Unsupervised AD 방법론들과 비교해도 우수한 성능을 보여주었습니다. 현실적인 문제 접근 방식이 매우 인상적이었고, 실험 결과 또한 강력한 성능을 입증했습니다. 발표 자료는 꼼꼼하고 자세하게 구성되어 이해하기 쉬웠으며, 덕분에 많은 것을 배울 수 있었습니다. 좋은 발표 감사합니다.

오늘 세미나는 Unseen Anomaly에 대해 강건성을 개선하기 위해 지도학습 방식의 이상치 탐지 방법론을 제안한 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection" 논문을 중심으로 진행되었습니다. 해당 논문은 비슷한 시도를 하였던 DevNet에 Pseudo anomaly를 추가로 사용하여 다양한 Anomaly에 대해 강건한 모델을 학습시키고자 하였습니다. DRA는 3개의 Abnormality Learning Head가 생성한 값을 조합함으로써 최종적인 Anomaly Score가 산출됩니다. Seen Abnormality Learning Head는 Normal과 Abnormal이 대부분의 영역에서는 동일한 특징을 공유하기 때문에 Patch 단위로 Representation을 다루는 것이 적합하다 주장합니다. 즉, Patch 단위로 CNN에 입력된 뒤, Top-k MIL이 적용되어 Scalar 값의 Anomaly Score를 산출합니다. Unseen Abnormality Learning Head는 Data Augmentation과 Outlier Exposure로 Pseudo Anomaly를 사용한 뒤 Seen Learning Head와 같은 프로세스를 거쳐 점수를 산출합니다. Latent Residual Abnormality Learning Head는 Normal sample을 대표하는 Reference와 주어진 sample의 feature map deviation을 Convolution에 입력한 뒤 이전 두 head와 동일한 방식으로 score를 산출합니다. 이렇게 구성한 3개의 score는 Deviation Loss에 입력되고, 최종적으로 모두 더해진 뒤, 정상 이미지에 학습된 head가 산출한 score가 빼집니다. 실험 결과를 통해 매우 좋은 성능을 달성하였지만, baseline으로 삼은 모델이 풍부했으면 좋았을 것 같습니다. 꼼꼼하고 자세한 자료 덕분에 이해하기 수월했습니다. 좋은 발표 감사합니다.

해당 세미나는 임훈 발표자님께서 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection"이라는 논문을 바탕으로 진행해주셨습니다. 특히 기존 seen anomalies만을 이용하는 DevNet과 달리, 학습에 사용되지 않은 Anomalies feature까지 반영하고자 한 것이 핵심입니다. anomalies 이미지는 normal 이미지와 대부분 공통된 feature를 갖는다는 점에서 영감을 받아 patch 기반의 scoring을 사용하였으며, seen anomalies만을 학습에 사용되었을 때 편향된다는 문제점을 완화하고자 다양한 anomalies를 탐지할 수 있는 모델을 학습시키고자 한 게 큰 contribution이라고 생각하였습니다. 본 연구가 굉장히 practical하다고 느낀 건, 학습 데이터에 정상으로만 구성되는 일반적인 이상 탐지와는 다르게 open-set supervised 방법론의 anomaly detection 방법론을 제안하였다는 것이었습니다. 특히 unseen anomalies에 대한 대응이 부족하다는 점을, pseudo anomalies와 latent residual anomalies라고 하는 다양한 anomalies를 추가해서 대응했다는 점이 기발한 방법이라고 생각하였습니다. anomaly detection이 산업 전반적으로 굉장히 많이 쓰이는 task인데, 어떻게 하면 산업에 가깝게 현실적으로 다양한 anomaly에 대처할 수 있게 구조를 설계하고 증명하는 것이 향후 연구 과제라고 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 일부 이상치 데이터가 학습에 사용될 수 있을 때, 학습에 사용되지 않은 이상치 클래스 역시 예측할 수 있는 방법론을 제안한 Catching Both Gray and Black Swans : Open-set Supervised Anomaly Detection 논문을 중심으로 진행되었습니다. 해당 논문은 이상치 데이터와 정상 데이터에 대해 총 4개의 별도 레이어로 학습하고, 각 레이어로부터 산출된 점수를 취합하는 방식을 통해 이상치 점수를 최종적으로 산출하는 방식을 취하고 있습니다. 각각의 레이어는 이상치 패치를 예측하는 헤드, 임의로 생성한 이상치 패치를 예측하는 헤드, 정상 데이터와 다른 분포를 지니는 이상치를 latent 단위에서 분류하는 레이어를 통해 이상치를 구분하는 학습이 진행되고, 정상 데이터 분포를 학습하기 위해서 정상 데이터를 단순 이진분류하는 헤드 1개로 학습이 진행됩니다. 이를 통해 해당 방법론은 학습에 사용된 일부 이상치 뿐만 아니라 학습에 사용되지 않은 새로운 이상치도 탐색할 수 있는 방법론임을 여러 실험을 통해 보이고 있습니다. 하지만 최근 제안된 vector 유사도 기반의 비지도 학습 방법론들이 해당 방법론보다 높은 성능을 보이고 있고, 해당 방법론이 일정 부분 임의로 생성된 이상치 데이터에 의존하고 있다는 점에서 최근 연구 흐름과 다소 거리가 있는 연구일 수 있겠다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection”이라는 연구에 대해 소개해 주셨습니다. 흔히 Anomaly Detection 모델을 학습할 때는 정상 데이터만을 학습에 사용해 이를 복원하는 방식으로 학습을 수행합니다. 이후, Inference 과정에서 만약 Anomaly 데이터가 들어온 경우 학습에 보았던 데이터와 달리 스크래치 등의 문제가 존재하기에 Reconstruction Error가 클 것이고 이를 바탕으로 Anomaly Score를 산출해 Thresholding을 통해 Anomaly Detection을 수행합니다. 그러나, 이번 연구에서 다룬 Open-set Supervised Anomaly Detection의 경우 모델 학습 시점에서 정상 데이터 뿐만 아니라 Anomaly도 함께 활용합니다. 해당 연구에서는 Anomaly 이미지 또한 정상 데이터와 대부분 공통된 Feature를 갖는다는 점에서 Motivation을 얻어 Patch 기반의 Anomaly Score를 산출합니다. 또한 기존 방법론인 DevNet의 경우 Seen Anomaly만 사용하지만 이 경우 소수의 특정한 Anomaly들에 대해 Bias가 생길 수 있습니다. 따라서 Inference 시 Unseen Anomaly에 대한 성능이 저하될 수 있기 때문에 해당 연구에서 제안하는 Anomaly Detection 프레임워크인 DRA는 Seen Abnormality Learning Head와 별도의 Unseen Abnormality Learning Head를 사용합니다. 인위적인 Anomaly를 만들어 사용하여 모델이 학습에 사용되는 Seen Anomaly에 대해서만 편향되는 문제를 완화하고자 했습니다. 처음에는 Anomaly라는 것을 학습에 사용한다는 것 자체가 비현실적이라 생각했습니다. 그러나 발표를 들은 후에는 오히려 현업에서 이미 이상치 데이터에 대한 레이블을 이미 해둔 경우라면 이와 같은 접근법도 효과적일 수 있겠다는 새로운 시야를 갖게 되었습니다. 좋은 발표 감사합니다.

금일 세미나는 Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection 논문을 바탕으로 진행되었습니다. 해당 논문에서는 일반적으로 생각하는 Anomaly detection에서 학습 데이터를 오직 정상 데이터로만 구성하는 상황이 아닌, 학습 데이터에 이상 데이터 역시 포함되어 있는 경우를 다루고자 방법론을 제시하고 있습니다. 실제로, Real-world Application에 있어서 Anomaly detection은 더 다양한 Setting이나 Task가 가능하기에 실제 현업을 고려한 좋은 방법론이라는 생각이 들었습니다. 해당 논문에서 제시하는 DRA에서는 기존 방법론들처럼 Seen Anomalies와 함께, Unseen anomalies에도 대응할 수 있도록 Pseudo Anomalies를 함께 다루고 있습니다. 이들을 기본적인 Reference Samples과 함께 Pre-trained CNN을 통하여 Feature map을 도출한 후, 각 목적에 맞는 3가지의 Head를 통하여 Output을 도출합니다. 먼저 Seen Abnormality Learning Head에서는 Patch-wise anomaly scoring을 수행한 후, Top-k MIL 방식을 통하여 Scalar 형태의 Anomaly score를 얻는 것을 목적으로 하고 있습니다. 다음으로 Unseen Abnormality Learning Head에서는 만들어진 Pseudo anomalies에 대하여 Seen Abnormality Learning Head와 동일한 방법을 이용하고 있습니다. 마지막으로, Latent Residual Abnormality Learning Head에서는 Unknown anomaly들이 Seen Anomaly와 공통된 Abnormal feature를 공유하지 않기에, Seen anomaly 만을 통해서는 이들을 잘 구분해낼 수 없기에, Normal data와의 차이를 이용하는 것을 목적으로 구성된 Head입니다. 결론적으로, 해당 방법론을 통하여 DRA는 기존 Supervised AD 방법론들보다 좋은 성능을 보이면서, Unsupervised AD방법론들과 비교해도 더 나은 성능을 보이고 있습니다. 현실적으로 문제에 접근한 점이 정말 좋아 보였던 논문이었던 것 같습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 “Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection”라는 논문에 대해서 소개해주셨습니다. Anomaly detection에서 open set 상황 즉 unseen anomaly를 잘 대응할 수 있도록 하는 방법론을 제안한 논문으로 해당 논문에서는 anomaly를 seen anomaly와 unseen anomaly로 구분하고 두 가지 모두에 대해 잘 작동할 수 있는 모델을 설계했습니다. 보통 AD의 경우 정상 데이터만으로 학습하는 것을 가정하기 때문에 unseen이라는 개념은 모든 anomaly에 적용되지만 현실 상황을 생각해보면 사용할 수 있는 anomaly data도 분명 존재할 것 입니다. 이런 상황에서 그러한 anomaly data를 활용하면서도 unseen anomaly 또한 잘 탐지할 수 있도록 하는 것은 현실 상황에 좀 더 적합한 실용성 높은 모델이 아닐까라고 생각하였습니다. 본 논문에서는 unseen anomaly에 대처하기 위해 pesudo anomaly를 활용하였는데 이를 통해 seen anomaly와 다른 anomal features를 포착하고자 하였습니다. 실험 성능에서도 기존 방법론대비 향상된 성능을 보였기에 앞으로 이와 관련된 연구가 많이 진행될 거 같고 저도 관심있게 살펴볼 거 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection"에 대해 소개해주셨습니다. 기본적인 이상 탐지 task에서는 이상을 탐지하는 목적을 갖고 있긴 하나, 정상에 대한 정확한 boundary를 학습하여 이외의 것들은 이상으로 판단하게 됩니다. 이번에 소개해주신 open-set supervised anomaly detection 같은 경우, 이와 다르게 학습에 이상 데이터를 함께 활용하는 task로, 이상 여부 자체를 라벨링하여 학습 데이터로 사용한다는 차이점이 있습니다. 다만 이렇게 되는 경우, 학습 데이터에 포함되지 않았던 unseen anomaly에 대한 탐지 성능이 현저히 떨어지게 된다는 한계점이 존재합니다. 이에 따라, 해당 논문에서는 별도의 abnormality learning head를 구성하여 pseudo anomalies를 사용하고, normal data와의 차이를 이용하는 latent residual anomalies 방식을 사용합니다. 그동안은 정상 데이터만을 사용하는 이상 탐지 기법에 대해 소개해주셨었는데, 이번 세미나에서는 새로운 관점에 대해 소개해주셔서 흥미로웠습니다. 좋은 발표 감사드립니다.

이번 세미나에서 발표자께서 Unseen Anomaly"에 대한 강건성을 개선하는 방법인 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection" 논문에 대해 설명해주셨습니다. 본 논문에서는 anomaly를 seen anomaly와 unseen anomaly로 구분하고 보지못한 unseen anomaly에 대해서도 잘 작동할 수 있도록 하는 방법론을 제안합니다. 이는 특히 anomaly detection에 있어서 신선한 접근으로, 이상 정도가 적절한 anomaly를 추가적으로 사용할 수 있는 방법이라고 설명할 수 있습니다.. 또한, 다양한 Anomaly에 대응하기 위해 Pseudo Anomalies와 latent residual anomaly를 활용하는 점이 주목할 만합니다. 신선하면서도 실제로 사용될 여지가 많은 좋은 연구라는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나는 이미지 이상치 탐지 과업을 주제로 진행되었습니다. 일반적으로 이상치 탐지 과업을 위해 모델을 학습 시킬 때 정상 데이터만을 가지고 진행됩니다. 물론 상황에 따라서 여러가지 조합의 데이터셋, 가령 정상+비정상, 정상+비정상+unlabeled, 정상+unlabeled 등으로 구성할 수 있게 됩니다. 소개해주신 연구는 그 중에서도 소수의 비정상 데이터와 다수의 정상 데이터로 구성된 데이터셋을 이용하되 비정상 데이터의 일반화된 특징을 잘 파악하는 것을 목표로하고 있습니다. 좀 더 상세히 살펴보면 기존의 비정상 데이터와 더불어 의도적으로 만든 pseudo anomalies 또한 함께 활용합니다. 이런 방식으로 저자들이 의도했던 unseen anomalies 에 대해서도 잘 대응할 수 있도록 한 것으로 보입니다. 학습에 필요한 최종 손실 값을 구하기 위해 모델의 끝자락에 서로 다른 head를 배치하여 seen anomalies, pseudo anomalies, normal data 등을 서로 비교하는 anomaly score를 구하게 됩니다. 특히 인상적인 부분은 pseudo anomalies의feature map과 정상 데이터의 feature map과의 차이를 이용한 residual abnormality를 계산하는 점입니다. Element-wise 차이 값을 이용하는 점이 어떠한 효과를 주는 것인지 궁금합니다. 재미있는 주제 준비해주셔서 감사합니다.

이번 세미나에선 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection" 라는 논문을 소개해주셨습니다. 해당 연구에서는 기존의 이상 탐지 방법과는 다르게, 학습 데이터에 정상 데이터뿐만 아니라 비정상 데이터를 포함시켜 모델의 강건성을 향상시키고자 하는 새로운 접근법을 제안하였습니다. 특히, 이 논문에서는 seen anomalies와 unseen anomalies를 모두 고려하는 것이 중요하다고 강조하며, 이를 위해 개발된 Pseudo anomalies 및 Latent Residual anomalies의 개념이 인상적이었습니다. 이번 세미나를 통해, anomaly detection 분야에 있어서의 새로운 패러다임과 접근법에 대해 생각해볼 수 있는 기회가 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Open-set Supervised Anomaly Detection 분야에 대한 방법론을 제시한 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection"이라는 논문에 대해 발표해 주셨습니다. 본 방법론은 단순히 기존에 보았던 이상치에 대해서만 아니라, 보지 못한 새로운 이상치(Unseen Anomalies)에 대해서도 강건한 모델을 구축하고 있습니다. 이를 위해 저자들은 Pseudo Anomalies와 Latent Residual Abnormalities라는 개념을 도입하여, 다양한 형태의 이상치를 모델이 학습할 수 있도록 하였습니다. 이러한 접근은 전통적인 이상 탐지 모델들이 직면하는 한계를 극복하려는 시도로 생각됩니다. 또한 논문에서는 세 가지 학습 Head(Seen Abnormality Learning Head, Unseen Abnormality Learning Head, Latent Residual Abnormality Learning Head)를 제안합니다. 각각의 Head가 다루는 문제 영역의 차별화를 통해, 모델이 정상 데이터와 이상 데이터 간의 미묘한 차이를 더 정교하게 포착할 수 있도록 설계되었다는 점에서 큰 감명을 받았습니다. 이는 단순히 이상치를 탐지하는 것을 넘어서, 다양한 유형의 이상치에 대해 모델이 어떻게 반응하고, 이를 어떻게 구분할 수 있는지에 대해 알 수 있었습니다. 다만, 실험 파트에서 더욱 다양한 베이스라인 모델과의 비교를 통해 해당 방법론의 이점을 더욱 명확히 드러냈으면 하는 아쉬움도 남았습니다. 개인적으로, 본 논문을 통해 이상 탐지 모델을 설계할 때, 정상 데이터와 이상 데이터 사이의 경계를 넘나드는 능력이 얼마나 중요한지 알게 되었습니다. 또한, 현실 세계의 복잡한 문제에 접근할 때 모델이 어떻게 다양한 상황을 처리할 수 있는지에 대한 깊은 이해를 필요로 한다는 것을 다시 한번 깨닫게 되었습니다. 이 논문이 제시한 방법론은 이상 탐지뿐만 아니라 다른 많은 분야에도 적용될 수 있다는 점에서 향후 발전 방향이 매우 많은 논문이라고 생각되었습니다. 좋은 발표 감사드립니다.

금일 세미나에서는 'Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection'라는 논문을 다뤄주셨습니다. 기존 Anomaly Detection과 다르게 학습에 이상치를 활용하는 Open-set Supervised Anomaly Detection이라는 task를 다루고 있으며 해당 논문에서 소수의 이상 데이터와 정상 데이터를 이용한 지도 학습 이상 탐지 프레임워크인 DRA를 제시하고 있습니다. 선행 연구인 DevNet과 전체적으로 유사한 구조를 보이고 있으나 본 방법론에서는 대부분 실제 세상의 Anomalies는 Normal과 대부분 공통된 특징을 가진다는 것에서 착안하여 Seen Anomalies를 input으로 하여 Patch 기반으로 Scoring을 하는 Patch-Wise Anomaly Scoring을 수행하고 있으며 top-k MIL 방식을 이용해 Scalar 형태의 Anomaly Score를 얻는 방식을 제안하고 있습니다. 해당 방식을 사용하여 Seen Anomalies에 대해서 Input으로 사용하는 1) Abnormality Learning Head와 그 다음으로는 Patch-Wise Anomaly Scoring, top-k MIL 모두 동일하게 사용하되 실제 현실에서는 학습에 사용되는 Anomalies 뿐만 아니라 다양한 Unseen Anomalies들을 고려하기 위해 가상의 Pseudo anomalies를 만들고자 CutMix, Outlier Exposure를 사용하여 Unseen Anomalies를 활용한 2) Pseudo Abnormality Learning Head을 제안하고 있습니다. 또 기존 Seen Anomalies와 공통된 Abnormal feature를 고려하지 않는 Unseen Anomalies들 또한 존재할 수 있기에 이를 위해 Normal data와의 차이를 이용하는 3) Latent Residual Abnormality Learning Head 또한 제시하고 있으며 마지막으로 전반적으로 앞선 구성들은 Abnormality에 집중하였기 때문에 Anomaly Detection의 본래 목적인 Normality를 학습하는 것에 집중하고자 Normal, Seen, Pseudo Anomalies 모두 Input으로 사용하는 4) Normality Learning Head를 제시하여 총 4가지의 구조로 이루어진 DRA Framework를 제시하고 있습니다. 전반적으로 Unseen Anomalies를 고려하고자 설계한 구조들이 인상깊었으며 또 실제로 Unseen Anomalies에 대한 Detection 성능 또한 우수하여 현실적인 데이터 상황을 고려한 좋은 연구이지 않았나 개인적으로 생각이 들었습니다. 깔끔한 자료와 발표자의 훌륭한 전달력 덕분에 많은 것들을 배울 수 있었던 좋은 발표였던 것 같습니다. 감사합니다!

이번 세미나에서는 "Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection" 논문에 대한 소개와 이루어졌습니다. 해당 연구에서는 기존의 Anomaly Detection 방법과는 달리, 학습에 사용되지 않은 Anomaly 데이터도 함께 고려하여 모델을 강건하게 만드는 접근을 취했습니다. 또한, Patch 기반의 Anomaly Score 산출과 같은 신선한 방법을 통해 이러한 목표를 달성하였습니다. 특히, Seen Anomaly만을 사용하는 기존 방법과 달리, 이 연구에서는 Unseen Anomaly까지 고려하여 학습함으로써 모델의 성능을 개선하였습니다. 이는 현업에서도 이상치 데이터에 대한 레이블이 이미 존재하는 경우에 유용하게 적용될 수 있을 것으로 보입니다. 좋은 발표 감사합니다.