이번 세미나에서는 이미지 이상치 탐지를 주제로 진행되었습니다. 그중에서도 Multi-class Anomaly Detection에 대해서 다루어졌습니다. 이는 여러 class의 정상 분포를 함께 추출해서 다양한 정상 데이터들이 하나의 boundary를 공유하도록 하는 학습 방법입니다. 한편 reconstruction 기반의 이상치 탐지 방법론에서 대두되는 문제가 정상 데이터, 이상치 데이터 모두 복원이 잘 되는 점이며 이를 identical shortcut이라 부릅니다. 이에 대해서 대표적인 딥러닝 모델 구조인 MLP, CNN, Transformer를 비교하였을 때 Transformer 계열의 모델에서 해당 문제가 덜 발생함이 실험을 통해 증명되었습니다. 소개해주신 방법론에서는 이를 해결하기 위해 Neighbor Masked Attention, Feature Jittering, Layer-wise Query Decoder 등의 테크닉을 적용하였음을 확인할 수 있었습니다. 그중에서도 Neighbor Masked Attention은 Attention map에 대한 충분한 이해가 뒷받침 되어야만 생각할 수 있는 아이디어라고 생각되며 앞으로의 복원 기반의 방법론에서 필수적인 요소로도 작용될 수 있을 것으로 보입니다. 이미지 이상치탐지 분야는 굉장히 직관적이고 해석도 용이한 점이 장점인 것 같습니다. 재미있는 발표 감사합니다.

이번 세미나에서는 NeurIPS 2022 spotlight로 선정된 A Unified Model for Multi-Class Anomaly Detection이라는 논문에 대해 다루었습니다. 해당 논문에서는 기존 이상치 탐치 방법론들은 object마다 개별적인 모델을 구축해야 하고 이로 인해 메모리 문제가 발생한다는 점과 identical shortcut으로 인한 성능 저하 문제를 한계점으로 지적하고 있습니다. 논문에서 제안하는 UniAD라는 모델은 multi-class 이상치 탐지 구조를 통해 메모리 문제를 해결하고 Layer-wise Query Decoder, Neighbor Masked Attention, Feature Jittering 등의 방법을 통해 identical shortcut 문제를 해결합니다. multi-class 구조의 모델도 seperate 모델에 비해 성능이 떨어지지 않는다는 것을 보임으로써 모델의 효과성을 실험으로 입증하였고, identical shortcut 문제를 해결하는 데에는 query embedding이 매우 중요하다는 것을 입증하였습니다. MLP, CNN, Transformer 비교 실험을 통해 문제점을 정확하게 보여주고 이에 대한 해결 방안을 제시한 것이 인상적인 논문이었습니다. 발표 구성이 좋아서 흐름을 놓치지 않고 따라갈 수 있었습니다. 매번 좋은 발표 감사합니다!

이번 세미나에서 다룬 논문은 A Unified Model for Multi-Class Anomaly Detection입니다. 본 세미나에서 가장 인상깊었던 문제 제기 부분은 identical shortcut 개념을 바탕으로 mlp, cnn, transformer의 재구축 과적합 정도를 수식적, 실험적으로 분석한 것입니다. 본 논문에서는 transformer가 비교적 identical shortcut 문제가 적음을 확인하고 이를 개선하여 multi-class 이상치 탐지 통합 구조 UniAD를 제안합니다. 특히, Neighbor Masked Attention을 제안하여 주변 token을 마스킹함으로써 단순히 input을 그대로 복원하는 문제를 방지했습니다. 또, query embedding이 정상 데이터의 분포를 학습하는 데 매우 중요한 역할을 한다는 것을 바탕으로 layer-wise query decoder를 제안하여 매 layer에서 query 임베딩을 수행하도록 해주었습니다. 수식적, 실험적으로 문제 정의와 분석이 해결 방안까지 잘 이어진 매우 잘 된 유익한 논문이었습니다. 좋은 발표 감사합니다.

이번 세미나는 A Unified Model for Multi-Class Anomaly Detection 논문을 바탕으로 진행되었습니다. 해당 논문에서는 기존 Anomaly detection 모델들이 Multi-class anomaly detection을 수행하기 위해서 개별적인 모델들을 구축해야 하기에 발생하는 Memory 문제나, 널리 사용하는 Reconstruction 기반 이상치 탐지 방법론에서 발생하는 Identical shortcut 문제를 해결하고자 UniAD모델을 제시하고 있습니다. UniAD는 Reconstruction 기반 Multi-class anomaly detection 모델로 Neighbor Masked Encoder (NME)와 Layer-wise Query Decoder (LQD)로 구성되는 모델입니다. 이때 해당 모델에서 가장 중요하게 제시하는 것은 Identical shortcut 문제를 예방하는 것인데, 이를 NME와 LQD를 통하여 예방하려 합니다. Neighbor Masked Encoder에서는 Attention map을 계산할 때, 특정 영역의 Neighbor tokens을 making하여 유사한 정보를 가진 주변 Token 정보를 Reconstruction 시에 사용하지 않음으로 Identical shortcut 문제를 해결할 수 있었습니다. 또한, Layer-wise Query Decoder를 통하여 모든 Layer에서 query embedding을 수행함으로써 Identical shortcut을 방지합니다. Anomaly detection을 공부하는 입장에서 많은 것을 배워갈 수 있었으며, 실험 결과 또한 다양한 Ablation을 통하여 자세하게 제시하여 문제점에 대한 해결 방안을 정확하게 제시하는 부분이 인상 깊었습니다. 또한 발표자분이 하나하나 자세하게 설명해 주시고, 쉽게 풀어 주셔서 이해가 쉬웠던 것 같습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 “A Unified Model for Multi-Class Anomaly Detection”으로 Unified Setting에서 Transformer 모델을 이용한 Anomaly Detection 모델을 제안하는 논문이었습니다. 해당 논문은 CNN이나 MLP가 Identity Mapping을 통해 Anomaly 역시 Normal 데이터처럼 잘 복원할 수 있기 때문에, Anomaly Detection에선 Transformer 모델이 더 적합한 점을 강조하면서 시작합니다. 이를 이용하여 CNN을 통해 산출한 Feature를 Reconstruction하는 Transformer 구조를 통해 다양한 Domain의 Normal 데이터로 학습하여 각 Domain에 Specific하게 학습된 모델보다 높은 Anomaly Detection 성능을 보이는 Unified Model을 제시하고 있습니다. 이때 특이한 점은 Decoder가 Identity Mapping을 방지하고자 각 레이어마다 Query를 새로 구성하여 Learnable Parameter로 학습된다는 점이었습니다. 즉, 해당 Query를 통해 모델은 Normal 데이터의 특징들을 학습하고, 이러한 점이 Identity Mapping을 방지할 수 있게 됩니다. NLP 이외의 Domain에서 Transformer 모델을 사용하는 경우에 왜 하필 트랜스포머 구조여야 하는지에 대한 당위성이 떨어지는 모습들을 종종 발견할 수 있는데, 해당 논문은 왜 트랜스포머 구조가 1) Anomaly Detection에서 2) Unified 구성에 적합한지 논리를 수식과 성능으로 잘 증명하는 모습을 보이는 점이 매우 인상적이었습니다. 정말 좋은 발표 감사드립니다.

본 세미나에서는 A Unified Model for Multi-Class Anomaly Detection 이라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문은 NeurIPS 2022 Spotlight에 선정 될 정도로 우수함을 인정 받은 논문이지만, 아이디어 자체는 생각보다 심플하다고 느꼈습니다. 기존의 이상치 탐지 방법론들의 경우 각각의 object에 대한 이상치 탐지를 수행할 때 개별로 모델을 구축하여 진행하였으나, 본 논문에서는 이를 통합하는 구조에 대한 제안을 하였습니다. 개별로 모델을 구성하는 경우가 높은 성능을 내기 위해서 유리한 부분이 있겠지만, 본 논문에서 제안하는 구조인 UniAD의 경우 개별 모델로 진행하는 경우와 어느정도 비슷한 수준의 성능을 기록하였습니다. UniAD의 목표는 결국 reconstruction based model의 한계점으로 꾸준히 지목되고 있는 identical shortcut 문제를 해결하고, multi-class의 이상치 탐지를 수행하는 것 입니다. Identical shortcut 문제를 해결하며 multi-class의 이상치 탐지 수행을 위해 Layer-wise Query Decoder, Neighbor Masked Attention, Feature Jittering 등을 사용하여 해당 문제를 해결하였습니다. 개선하고자 하는 문제를 참 잘 서술하고 그에 대한 명확한 솔루션을 제시했다는 생각이 든 연구였습니다. 좋은 발표 감사합니다!

이번 세미나에서는 A Unified Model for Multi-Class Anomaly Detection 논문을 소개해 주셨습니다. 본 논문에서는 기존의 이상치 탐지 방법론들과 달리 여러 class에 대한 정상 분포를 함께 추출하는 Multi-class-one-model scheme인 UniAD를 제안하고 있습니다. UniAD의 구조는 크게 Neighbor Masked Encoder (NME)와 Layer-wise Query Decoder(LQD) 2가지로 이루어져 있습니다. Neighbor Masked Encoder (NME)는 feature token에 perturbation을 추가하여 input을 구축하고 있습니다. 또한 특정 영역의 neighbor token들을 마스킹하여 정상과 이상치 데이터 모두에 대해 잘 재구축해버리는 (input을 복제하는) identical shortcut 문제를 방지하고자 하고 있습니다. Layer-wise Query Decoder (LQD)는 모든 layer에서 query embedding을 수행할 수 있다는 강점을 갖고 있습니다. 실험 부분에 있어, 각각의 모델 구성 요소들에 대한 ablation study가 매우 세세하게 진행된 점이 인상적이었던 것 같습니다. 이상치 탐지 관련 분야 연구에서 단순히 성능만을 높이는 방향이 아니라 위의 논문과 같이 one-class-one-model 구조에서 multi-class-one-model scheme로 구조를 바꾸는 연구들이 많이 나오고 있는 추세인 것 같습니다. 또한 본 논문에서는 기존 방법론들의 한계로 메모리 측면을 지적하고 있는데 이 부분을 다룬 점도 새로웠던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 NeurIPS 2022에 게재된 A Unified Model for Multi-Class Anomaly Detection 논문을 소개해 주셨습니다. 본 논문에서는 기존의 Anomaly detection 방법론들이 서로 다른 이상 객체에 대해서 매번 다른 별개의 모델을 구축해야 함을 지적하며, 이 경우 메모리 문제 뿐 아니라 다양한 특징을 함께 가지는 정상 데이터를 잘못 분류할 수 있다고 주장합니다. 특히 대표적인 이상탐지 구조인 reconstruction의 경우 데이터를 복원하는 것이 아니라 단순히 복제를 하는 identical shortcut을 해결해야한다고 이야기 합니다. 때문에 논문에서는 실험을 통해 Transformer의 attention query가 비교적 문제들을 완화한다는 것을 발견하여 Layer-wise Query Decoder를 시작으로 하는 multi-class 이상치 탐지 모델 UniAD을 제안 합니다. 여기서 query embedding은 정상 데이터 분포를 학습하기 위해 사용됩니다. 특히 언급했던 input 복제 문제를 해결하기 위해 주변 token을 가리는 Neighbor Masked Attention 기법을 채택하였으며 Feature Jittering을 활용하여 denoising task까지 수행하였습니다. 이번 논문은 논리를 전개해 나가는 방식에 배울점이 많았던것 같습니다. 초반부에 실험을 통해 확실하게 문제의 탐색을 수행하고 후반부에서는 발견된 문제점들을 해결하기 위한 각각의 모듈을 제안하고 최종적으로 성능 실험으로 효과를 보여줌으로써 읽은 이가 제안한 방법론의 모든 부분을 받아들이기가 쉬웠던 것 같습니다. 어떤 도메인에서도 중요한 쟁점인 이상치 탐지에 대한 연구의 좋은 힌트가 되는 논문이었으며, 발표자께서 쉽게 잘 설명해 주셔서 이해하기 좋았습니다. 언제나 좋은 발표 감사합니다.

이번 세미나에서는 A Unified Model for Multi-Class Anomaly Detection이라는 연구를 소개해 주셨습니다. 기존 Anomaly Detection 방법론들은 다수의 Class에 대하여 개별적인 모델을 수립해야 하는 One-Class-One-Model 방식을 취하고 있어 Class의 수가 증가함에 따라 많은 Memory가 소모되며, 다양한 특징을 갖는 정상 데이터의 분포 추정에 적합하지 않을 수 있다는 문제점을 지적했습니다. 이 과정에서 MLP, CNN, Transformer 방법론 각각에 대해 Identical Shortcut이 발생하는 이유를 수식적으로 풀어내어 기존 방법론의 문제점을 명확히 납득시킨 것이 인상 깊었습니다. 또한 Anomaly Detection에 널리 사용되는 Reconstruction 기반 방법론의 경우 예상과 달리 Model이 정상 데이터뿐만 아니라 이상치 데이터마저 잘 복원하는 문제인 Identical Shortcut 문제를 가지고 있습니다. Multi-Class Anomaly Detection의 경우 정상 데이터의 분포가 One-class 보다 더욱 복잡하기에 이는 더욱 심각한 문제가 될 수 있습니다. 해당 연구에서는 Layer-wise Query Decoder, Neighbor Masked Attention, Feature Jittering을 통해 이러한 기존 방법론들의 한계를 완화시켰습니다. 이 중에서도 Attention Map 산출 시 특정 영역의 Neighbor Token들을 Masking 하여 유사한 정보를 가진 주변 Token들의 정보를 Reconstruction에 사용하지 않음으로써 Identical Shortcut을 예방한다는 아이디어가 직관적이라고 느껴졌습니다. Anomaly Detection 관련 방법론들을 보면서 각 Class마다 모델을 따로 수립한다는 점에서 비효율적이라고 생각했었는데, 해당 연구에서는 이러한 문제점뿐만 아니라 Reconstruction-based Anomaly Detection에서 중요한 문제인 Identical Shortcut 또한 같이 해결했다는 점에서 충분히 NeurIPS Spotlight에 선정될만한 좋은 연구라는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나는 A Unified Model for Multi-Class Anomaly Detection 논문에 대해 소개해주셨습니다. 그동안 이상치 탐지 모델은 class 별 모델을 구축하여 성능을 평가한 반면 해당 논문에서 제안하는 방법은 더 넓은 도메인의 정상데이터를 하나의 모델로 잘 학습할 수 있는 구조를 제안하였습니다. 또한 논문에서 인상 깊었던 점은 이상치 탐지 방법 중 reconstruction 기반의 방법이 이상치 또한 잘 생성하게되는 identical shortcut 문제가 MLP, CNN, 그리고 Transformer에서 발생하는 이유에 대하여 살펴보고 Transformer 구조에서 decoder의 query를 learnable parameter로 구성하면 이러한 문제를 해결할 수 있다는 것을 실험적으로 보인점이 인상깊었습니다. 추가적으로 transformer릁 통해 학습 시 주변 정보를 제한하여 attention을 수행하는 neighbor masked attention을 적용하였습니다. 실험에서는 기존에 도메인별로 학습해서 평가했던 모델 또한 하나의 모델로 모든 도메인을 학습하여 제안한 모델과 비교하였고 그결과 더 나은 성능을 보였습니다. 본 논문에서 제안하는 방법이 Transformer 구조이기 때문에 다른 Transformer 기반 방법과 비교하는 실험에 연구실 졸업생인 이윤승 석사의 제안 방법이 함께 등장하여 재밌게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 image anomaly detection에서 multi-class anomaly detection을 다루고 있는 unifed model을 주제로 진행되었습니다. 기존의 이미지 이상 탐지 방법론들은 각각의 object에 대한 이상 탐지를 위해선 개별 모델을 구축해야하는 한계점이 있었으며, reconstruction 기반의 모델들이 input을 그대로 복제하는 identical shortcut 문제가 있었습니다. 본 논문에서는 이를 해결하고자 multi-class 이상 탐지 모델을 구축하고, layer-wise query decoder, neighbor masked attention, feature jittering을 통해 identical shortcut을 보완하고자 하였습니다. 해당 논문에서는 MLP, CNN, Transformer의 이상 탐지 성능, identical shortcut 등 비교하였으며, 그 중 Transformer가 attention layer로 인해 MLP와 CNN보다 identical shortcut을 학습할 가능성이 그나마 낮다라는 점이 인상 깊었습니다. 현재 개인 연구로 transformer를 활용하여 reconstruction 기반의 시계열 이상탐지 연구를 진행 중인데 해당 연구를 통해 transformer를 연구 모델로 정하길 잘했다라는 생각이 들었으며, 시계열에서도 identical shortcut 문제에 대해서 고민해볼 필요가 있다고 생각하였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 A Unified Model for Multi-Class Anomaly Detection 논문에 대해서 진행되었습니다. 우선 multi class anomaly detection 에서는 정상 데이터의 분포가 더 복잡하기 때문에 indentical shortcut 문제가 더 심하게 발생합니다. indentical shortcut 은 input 을 복제하여 이상치까지도 복원을 잘하는 문제를 의미합니다. 본 논문에서는 이러한 문제를 해결하기위해 neighbor masked attention 이라는 주변정보를 통해서 output 을 복원한다는 방법론을 이용합니다. 아이디어가 주변정보의 유사성이 이러한문제를 발생 시키니, 이상치가 아니라면 전체적인 이미지의 맥락 혹은 객체간의 관계를 좀 더 고려할 수 있게 만드는 아이디어로 이해 했습니다. 개인적으로 이러한 아이디어는 그래프를 이용한 이미지 인식 task 에서 해결하고자하는 방향과 상당히 연관성이 깊다고 생각합니다. attention 부분에서 유사한 혹은 관련성이 있는 것을 찾는 것이 유사한점이며 이를 하는 방법이 다른 것 같습니다. 좋은논문 발표 감사합니다.

이번 세미나에서는 "A Unified Model for Multi-Class Anomaly Detection"라는 논문에 대해 다루어주셨습니다. NIPS 2022에 발표된 논문으로 multi class anomaly detection 문제에 대한 방법론을 제안한 논문이었습니다. AD 방법론에 사용되는 reconstruction 기반의 방법론들은 정상 데이터만을 통해 학습한 경우에도 비정상 데이터를 너무 잘 복원하는 identical mapping 문제를 가지고 있습니다. 해당 논문은 이 문제를 해결하여 정상과 비정상간의 구분을 확실하게 하여 AD 성능을 높이고자 시도하였습니다. 이를 위해 MLP, CNN 그리고 ViT 기반의 모델들을 통해 실험을 진행하였고, Transformer 기반의 방법론이 해당 문제에서 비교적 자유롭다는 점에 착안하여 새로운 방법론을 제안하였습니다. 인상 깊었던 부분은 기존 방법론들과 다르게 intermediate layer의 feature를 사용한 부분이었는데 이와 더불어 input feature에 jittering을 가하여 identical mapping 문제를 해결한 점이 인상 깊었습니다. reconstruction 모델의 경우 해당 데이터의 특징을 포착하기 위해 encoding에서 feature 차원을 제한하는 논리 구조를 가지고 있는데, 해당 방법론이 왜 identical mapping 문제를 발생시키는지 또한 이를 해결하기 위해서는 어떠한 시도들이 이루어지고 있는지 알아볼 수 있어 유익하였습니다. 좋은 발표 감사드립니다.

이번 세미나는 이번 NeruiPS 2022에서 Spotlight 논문으로 선정된 A Unified Model for Multi-Class Anomaly Detection 논문으로 진행되었습니다. 해당 논문은 이상치 탐지 분야 중에서도 class 개수가 많은 데이터를 다루는 Multi-Class Anomaly Detection 분야에서 Reconstruction 기반 방법론을 사용할 경우 모델이 input을 복제하여 output을 도출하는 것처럼 학습되어 normal/abnormal sample들을 모두 잘 복원하고 이상치 탐지에 실패하는 Identical shortcut 문제를 해결하기 위한 UniAD 구조를 제안했습니다. UniAD는 reconstruction 기반으로 multi-class 이상치를 탐지하기 위한 구조로 크게 neighbor masked attention module과 feed-forward network로 구성된 Neighbor Masked Encoder (NME), 모든 layer에서 query embedding을 수행할 수 있는 Layer-wise Query Decoder (LQD)로 구성되며, 이러한 구조를 바탕으로 MVTec-AD와 CIFAR-10 데이터셋에 대해 unified case에서 우수한 성능을 보였다고 합니다. MLP, CNN, Transformer 총 3가지 구조에서 identical shortcut을 학습할 가능성이 그나마 낮은 구조를 실험적으로 보이고, 해당 실험을 근거로 구조를 설계한 프로세스가 매우 인상 깊었던 논문이었습니다. 좋은 발표 감사합니다.

이번 세미나는 NIPS 2022 Spotlight에 선정된 논문 A Unified Model for Multi-Class Anomaly Detection를 주제로 진행되었습니다. 기존 이상치 탐지 방법론들은 여러 object와 class에 대해 각각의 결정 경계를 학습하는 one-class one-model 방식으로 작동하기에 메모리 문제와 다양한 특징을 반영할 수 없다는 한계를 가집니다. 이에 반해 multi-class 이상치 탐지는 여러 class의 정상 분포를 함께 추출하여 다양한 정상 데이터들이 하나의 경계면을 공유하도록 합니다. 이와 더불어 기존 reconstruction 기반 방법론들의 identical shortcut 문제를 언급하며 이러한 문제들을 보완하기 위해 본 논문에서는 Layer-wise Query Decoder(shortcut 개선을 위해 query embedding의 사용을 극대화), Neighbor Masked Attention(비슷한 주변 정보의 복제로 인한 무분별한 reconstruction 방지), Feature Jittering(reconstruction 향상을 위한 denoising task)을 포함하는 통합된 모델 UniAD를 제안합니다. UniAD는 class 개수에 관계 없이 작동하는 통합 모델로, 성능이 separate case와 유사하다는 강점을 가지고 있습니다. 논문의 figure가 굉장히 직관적으로 잘 그려져 있어 좋았습니다. 항상 시계열 관련하여 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에선 A Unified Model for Multi-Class Anomaly Detection 라는 연구가 소개되었습니다. 논문에선 기존 Image Anomaly Detection 연구들이 class별로 모델을 따로 학습하고 있는 문제점을 지적하며 정상 데이터의 종류가 여러 개인 경우에도 단일 모델로 anomaly detection이 가능한 구조를 제안하고 있습니다. 제안된 구조에선 입력 이미지가 abnormal인 경우에도 reconstruction을 잘 해내는 identical shortcut 문제를 해결하기 위해 layer-wise query decoder, neighbor masked attention, feature jittering 방식을 사용하고 있고 기존 연구들이 사용하던 문제 세팅인 separate case뿐만 아니라 unified case에서도 모두 우수한 성능을 달성합니다. MVTec 데이터를 사용한 기존 연구들의 성능이 AUROC 1에 가까운 상황에서 좀 더 현실 상황에 맞는 문제를 가정하고 해결 방안을 제시했다는 점에서 의미있는 연구라 생각되었습니다. 좋은 세미나 발표 감사합니다.

금일 세미나는 A Unified Model for Multi-Class Anomaly Detection을 주제로 진행되었습니다. 해당 논문은 Multi class Anomaly detection 문제에서 큰 한계점을 가지던 class별 모델 구축 과정을 통합하는 방법론을 제안합니다. image anomaly detection에서 모든 class에 대한 모델을 독립적으로 만드는 과정이 적절하지 않고 한계를 가진다는 이야기를 연구원들과 진행한적이 있었기에 연구의 Motivation을 충분히 납득할 수 있었습니다. 더불어 다양한 논문에서 지적되던 Reconstruction based model의 Identical Mapping 문제를 지적하고 이를 해결할 수 있는 모듈을 제안합니다. 제안 아이디어 중에서 Neighbor masked attention 파트가 가장 흥미로웠는데 reconstruction에서 identical 문제를 완화하기 위해 input을 과도하게 복제하는 문제를 막습니다. 다만 저자들이 선택한 베이스라인이 다소 의아했던게 최근 논문들은 MVTec-AD에서 거의 99%의 성능을 나타내고있는데, 논문 제출시기를 생각해보았을 때도 성능이 좋은 최신 모델들을 비교하지 않습니다. 개인적으로는 실험이 조금 아쉬웠으나 기존에 고려되지 않던 문제를 해결한 점에서는 충분히 가치를 가지며 성능도 크게 향상된 것을 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 NeurIPS 2022 spotlight 논문인 A Unified Model for Multi-Class Anomaly Detection 에 대해 살펴보았습니다. 모델이 이상 데이터에 대한 복원을 잘 한다는 저자들이 지적하는 문제는 예전부터 reconstruction-based anomaly detection에서 reporting 되던 문제입니다. 이러한 문제를 완화하기 위해 저자들은 추가적인 query embedding을 사용하여 일종의 masked cross attention을 진행 하는 방법을 제안합니다. 제안 방법이 저자들이 주장하는 문제를 해소하였음을 보여주기 위해서는 weight에 대한 시각화나 값을 보여주는 실험이 있어야 한다고 생각하지만, 성능을 봤을때는 큰 폭으로 향상되는 것을 확인할 수 있었습니다. 다만 연구실에서 해당 분야를 공부하는 분들께 더 이상 높일 성능이 없다 라는 말을 많이 들었는데, 본 연구처럼 새로운 방향의 연구도 충분히 가능함을 확인하였습니다. 특히나 본 연구에서는 각 class 별로 모델이 필요한 선행 연구는 비효율적이다 라는 주장을 하고 있는데, 이는 매우 합리적이며 산업공학과가 기본적으로 최적화를 베이스로 하고 있기 때문에 우리도 충분히 생각해볼 수 있는 문제라는 생각이 들었습니다.

이번 세미나에서는 Multi class anomaly detection을 다루고 있는 A Unified Model for Multi-Class Anomaly Detection 논문에 대해 다뤄 주셨습니다. 해당 논문에서는 Reconstruction 방법론을 사용하는 경우 복원하는 것이 아닌 그대로 복제를 하는 identiy shortcut 문제를 제시하며 이 문제가 어떻게 발생 되는지 MLP,CNN,ViT 기반으로 나눠 실험을 진행하였고, Transformer의 attention query가 상대적으로 덜하다는 것을 발견하였습니다. attention query가 identity shortcut의 해결책이 될 수 있다 판단하며 이에 기반한 방법론을 제시하고 있습니다. Input으로는 사전 학습 된 encoder에서 추출된 feature를 사용하며 intermediate layer의 feature까지 모두 합쳐 사용하고 있습니다. input feature에는 feature jittering을 가해 denoising task를 추가함으로써 reconstruction을 잘 할 수 있도록 하고 있으며 Neighbor mask attention layer를 사용하여 유사성이 높은 주변 pixel을 마스킹 하여 identity shortcut을 예방하고 있습니다. ViT 처럼 이미지를 패치로 분할하여 Transformer block에 넣는 것이 아닌 사전학습 된 Efficientnetb4에서 추출된 feature map을 input으로 사용한다는 점이 인상적이었고 full attention을 사용하는 경우 더 많은 정보를 학습 해 잘 reconstruction할 것 같지만 마스킹 하는 경우가 더 잘 나온다는 점이 놀라웠습니다. 하지만 이러한 방법론이 multi-class anomaly detection과 어떻게 연결 되는지 잘 와닿지 않았던 것 같습니다. 좋은 발표 감사합니다.