금일 세미나는 이미지 이상치 탐지를 주제로 진행되었습니다. 기존의 CNN 기반의 이미지 이상치 탐지 방법론에서는 정상 데이터나 이상치 데이터 모두 잘 복원되는 identical mapping의 문제가 나타났습니다. 지난 최희정 박사과정의 세미나에서도 다루었던 부분인데요, 이를 해결하고자 transformer 모델을 활용하였고 특히 pixel을 다시 복원하는 것이 아닌 CNN 모델을 거쳐서 획득한 새로운 feature를(multi-scale feature map) transformer 모델에 입력하여 이를 복원하는 학습 과정을 거칩니다. 해당 방법론의 또 다른 특징은 학습 시 정상 데이터와 더불어 일부의 이상치 데이터도 함께 활용한다는 점입니다. pseudo-Huber loss를 기반으로 하여 push-pull loss라는 손실함수를 새로 제시하였는데 다른 방법론들도 해당 손실함수로 학습을 진행한다면 성능 향상을 가져올지 문득 궁금해졌습니다. 새해 첫 오프라인 세미나였기에 부담이 많으셨을텐데 여러 부분 잘 설명해주신 덕분에 집중해서 재밌게 들을 수 있었습니다. 감사합니다.

이번 세미나는 ADTR: Anomaly Detection Transformer with Feature Reconstruction 논문을 소개해 주셨습니다. 본 논문은 image anomaly detection task에 대해 기존의 CNN 기반 reconstruction 방법론들에서 비정상 데이터까지 제대로 복원해 버리는 identical mapping 문제를 transformer 구조를 사용하는 것으로 해결하고자 합니다. 이번 논문은 특히 다양한 상황을 고려하여 각각 상황에 모두 대응할 수 있도록 노력한 점이 돋보였습니다. 논문에서 제안하는 ADTR 모델은 pre-train된 CNN을 backbone으로 이용하며, 다른 크기의 feature들을 결합한 multi-scale feature map을 활용해 보다 다양한 종류의 anomaly를 처리 할 수 있게 하였습니다. 또한, 정상데이터만 사용하는 경우와 비정상 데이터도 (pixcel, image level) 사용하는 경우에 따라 다른 loss를 사용하도록 하여 다양한 데이터 상황에서 활용이 가능합니다. 세미나 중 교수님께서도 지적해 주신 것처럼 multi-scale feature map을 사용하는 것이 다양한 종류의 anomaly를 처리 할 수 있게 한다는 점은 의문점이 남으나, 모델을 설계하는 단계에서 다양한 상황에 적용 가능한 구조를 계속 염두해 둔 점은 배울 점이 많았다고 생각이 듭니다. 본 방법론 이외에도 발표자께서 Projection-based, Transformer-based Anomaly detection 방법론을 정리해 주셔서 연구의 흐름을 따라가기 좋았습니다. 좋은 발표 감사합니다.

본 세미나에서는 ADTR: Anomaly Detection Transformer with Feature Reconstruction 이라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 방법론은 image anomaly detection에서 CNN 기반의 reconstruction 방법론에서 가장 이슈가 되었던 문제인 'identical mapping'을 해결하자는 확고한 motivation을 갖고 출발하였습니다. Identical mapping이란 모든 input을 그대로 복사하는 방향으로 reconstruction을 진행하여, anomaly input에 대해서도 자기 자신을 그대로 복사하여 reconstruction을 너무 잘해서 정상 데이터와 차이가 없는 문제를 말합니다. Identical mapping 문제를 해결하기 위해 transformer의 query embedding을 활용하였습니다. Query embedding을 통해 모델이 shortcut을 학습하는 것을 방지하여 identical mapping 문제를 해결할 수 있었습니다. 또 하나 재밌었던 점은 학습 데이터로 정상 데이터와 이상치 데이터를 모두 사용하는 구조를 제안했다는 점 입니다. 제가 알고있는 대부분의 이상치 탐지 모델의 경우 학습에서는 정상 데이터만을 사용하는데, ADTR에서는 이상치 데이터를 함께 사용하는 경우의 framework도 제안을 했고 이상치 데이터를 함께 사용하는 경우가 성능이 높음을 실험을 통해 보였습니다. 본 세미나를 통해 다양한 image anomaly detection model을 접할 수 있었습니다. 첫 대면 발표여서 긴장이 많이 됐을거 같은데 고생하셨습니다. 좋은 발표 감사합니다!

금일 세미나는 "ADTR: Anomaly Detection Transformer with Feature Reconstruction"라는 주제로 진행되었습니다. 본 발표에서는 auxiliary query embedding을 사용하여 reconstruction 기반 이상치 탐지 모델에서 발생하는 identical mapping을 보완한 ADTR이 소개되었습니다. 개인적으로 오늘 소개된 방법론이 제가 지난 세미나에서 발표했던 UniAD의 기초가 되는 방법론이라 관심을 가지고 발표를 청취하였습니다. ADTR은 사전 학습된 Efficient Net을 기반으로 multi-scale feature 추출하고 이것을 Transformer의 feature token으로 사용하는데, 개인적으로는 ViT를 사용하지 않고 CNN과 Vanilla Transformer를 결합하여 사용한 이유에 대해 언급되었으면 좋겠다는 생각을 했습니다. 개인적으로 한 저자의 흐름있는 연구를 살펴보는 것을 좋아하는데 ADTR에서 UniAD로 이어지는 흐름도 매우 흥미롭다고 생각했기 때문에 오늘 발표도 재밌게 들었습니다. 좋은 발표 감사합니다.

이번 세미나에선 ADTR: Anomaly Detection Transformer with Feature Reconstruction 이라는 연구가 소개되었습니다. 논문에선 Image Anomaly Detection task에서 기존 CNN-based reconstruction 연구들이 가지는 identical mapping 문제를 다루고 있습니다. Identical mapping 문제는 모델이 입력 이미지를 재구축하는 과정에서 shortcut을 학습하여 불량 이미지까지 그대로 복원해내게 되는 것을 말합니다. ADTR에선 재구축을 수행하는 모델에 CNN이 아닌 Transformer형태를 사용하였고, attention layer의 query embedding이 identical mapping 학습을 어렵게 한다는 점을 수식과 실험을 통해 보입니다. MVTec AD 기준으로 reconstruction 기반 모델들의 성능이 feature matching 대비 떨어지는 것으로 알고 있는데 본 논문에서 그 차이를 많이 줄인 것으로 생각됩니다. 좋은 세미나 발표 감사합니다.

이번 세미나에서는 ADTR: Anomaly Detection Transformer with Feature Reconstruction라는 논문에 대해 다루었습니다. 메인 방법론을 다루기 전에 background에서 anomaly detection과 localization, projection-based 방법론과 transformer-based 방법론 등 이상치 탐치의 여러 가지 갈래와 그에 따른 모델들을 설명해주셔서 메인 방법론을 쉽게 이해할 수 있었습니다. 메인 방법론인 ADTR이라는 모델은 기존의 reconstruction 방법론들에서 발생하는 identical mapping이라는 문제를 transformer 구조의 특성을 통해 해결합니다. 기존 방법론들의 convolution layer는 reconstruction 과정에서 shortcut을 학습할 가능성이 크지만, transformer의 query embedding은 구조적 특성상 identical mapping을 학습하는 것을 방해합니다. 모델의 효과성을 여러가지 실험들을 통해 입증한 점이 인상적이었습니다. 첫 대면 세미나였음에도 불구하고 발표를 깔끔하게 잘 해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 2023년 첫 오프라인 세미나를 시작하게 되어, 기존 세미나와 또 다른 느낌으로 시작했습니다. ADTR: Anomaly Detection Transformer with Feature Reconstruction 을 주제로 발표가 진행되었고, 개인적으로 이미지 이상치탐지가 많은 산학과제로 들어오고 있는 것같아, 실제로 활용관심도가 많이 늘어나고 있는것 같습니다. 기존의 reconstruction 방법론들에서 발생하는 identical mapping이라는 문제를 transformer 를 통해 해결하고자 했는데, 이를 cnn 과 비교를 통해서 비교를 했습니다. 이후 이러한 문제를 해결하기 위해 새로운 loss 함수를 적용하였고, 이를 이상치 탐지 case 로 확장했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 ADTR:Anomaly Detection Transformer with Feature Reconstruction 논문을 소개 해 주셨습니다. 해당 논문은 Reconstruction 기반의 방법론인 ADTR을 제안하고 있습니다. Reconstruction 방법론은 이상치 마저 잘 복원하여 Detection이 잘 수행되지 않는 문제가 계속해서 존재 하였으며, 해당 논문은 이를 Identical mapping으로 정의하여 풀어가고 있습니다. 실험을 통해 Convolution 기반 보다 Transformer 기반이 이 문제가 덜 발생한다고 말하고 있으며, 이는 트랜스포머의 어텐션 레이어의 쿼리 임베딩이 트랜스포머가 Identical mapping을 어렵게 하기 때문이라고 하고 있습니다. Identical mapping을 직접적으로 해결하고자 하는 접근이 인상 깊으며 여기서 그치지 않고 Anomaly가 학습 데이터에 포함되어 있는 경우를 가정하여 ADTR+ 까지 확장 시킨 부분 또한 인상 깊다고 생각 됩니다. 최근 학습 데이터에 일부 Anomaly를 포함시킨 경우를 가정하는 경우 혹은 실험을 보여주는 논문들이 늘어가고 있는데 이에 맞는 방법론들이 계속해서 나오지 않을까 하는 생각도 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 ADTR: Anomaly Detection Transformer with Feature Reconstruction 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Transformer를 기반으로 하여 Image anomaly detection task를 수행하는 모델을 다루고 있습니다. CNN 기반 Reconstruction 방법론들에서는 정상 데이터로만 학습한 모델들이 비정상 데이터 역시도 잘 재구축 해버리는 “Identical mapping” 문제가 발생하여, 이러한 문제가 발생하지 않는 Transformer기반 Image anomaly detection 방법론을 이용하고자 Pre-trained 된 Feature들을 재구축하는 데 Transformer를 이용합니다. 먼저 5개의 Layer를 통해서 Feature들을 뽑아낸 후, 이들을 각각 Resizing을 통하여 동일 크기로 만들어줍니다. 이렇게 동일한 크기로 만든 Feature map들을 Concat함으로써 Multi-scale feature map을 생성하는데, 이렇게 다양한 Feature들을 Concat함으로써 다양한 종류의 이상치를 탐지할 수 있게 됩니다. 이후, Auxiliary query embedding을 통하여 feature token을 재구축하는 Transformer를 이용하여 이상치 탐지를 진행하는 것이 전체적인 모델 구조라고 볼 수 있습니다. 또한, 해당 모델에서는 기본적인 이상치 탐지 모델과는 다르게 정상 데이터만을 이용하여 학습하는 경우와, 일부 이상치를 허용하는 경우 역시 제시하고 있습니다. 저도 Time series anomaly detection에 대해서 공부하고 있는데, 방법론을 생각해보는 와중 일부 이상치를 이상치라고 명시하여 같이 학습한다면 Decision boundary를 좀 더 확실하게 만들 수 있지 않을까 하는 생각을 해 보았기에 더욱 재미있고 유익하게 들을 수 있었습니다. 발표 자료를 깔끔하게 만들어주시고, 내용도 자세하게 설명해주신 덕분에 이해도 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "ADTR: Anomaly Detection Transformer with Feature Reconstruction"라는 논문에 대해 다루어주셨습니다. 기존 복원 모델 기반 이상치 탐지 방법론의 경우 학습하지 않은 비정상 데이터에 대해서도 잘 복원한다는 identical mapping 문제가 발생하여 이상치 탐지 성능이 저하되는 문제가 발생합니다. 이는 특히 CNN 기반 모델에 대해서 두드러지게 나타나는데 이를 해결하기 위해 본 논문에서는 Transformer 기반 모델을 활용하였습니다. 결국 CNN 기반 모델에서는 원본 이미지를 복원하는 shortcut을 학습하기 때문에 이러한 문제가 발생하는 것인데 Transformer 기반 모델에서는 왜 이러한 문제가 발생하지 않는 것인지 수식적으로 보여주어 identical mapping과 관련한 이해도가 높아졌습니다. 다만 사전 학습된 CNN 기반 모델로부터 multi scale feature를 학습하여 Transformer의 features token으로 사용한 부분에서는 다양한 이상치 종류를 탐지할 수 있음을 주장했는데 이 부분과 관련해서는 실험 결과가 조금 부족하다라는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나는 “ADTR: Anomaly Detection Transformer with Feature Reconstruction”으로 지난 최희정 박사과정의 세미나 논문의 기본 골조를 이루는 논문이었습니다. 해당 논문에서는 기존 CNN 기반의 방법론이나 Fully Connected Layer 기반의 방법론들이 Anomaly Detection에 사용될 때, 이상치 데이터 역시 그대로 복원하는 identical mapping 문제가 발생한다는 점을 지적하고 있습니다. 이를 ViT 등의 트랜스포머 기반의 모델들은 Attention 매커니즘을 통해 극복할 수 있다고 이야기하고 있습니다. 또한 이러한 점을 이용하여 학습 시 일부 비정상 데이터를 함께 학습할 수 있도록 하는 ADTR+ 역시 함께 제안하고 있습니다. 해당 방법론은 이전 최희정 박사과정의 세미나 논문의 구조에 대해 더 자세히 다루면서, 왜 해당 구조가 Anomaly Detection을 잘 수행할 수 있는지 잘 설명하고 있는 논문이라는 인상을 받을 수 있었습니다. 단순히 ViT가 더 잘되니 Anomaly Detection에선 ViT를 쓰자! 가 아니라 왜 Reconstruction 기반 방법론에서 ViT가 잘될까에 대한 설득력있는 논리 전개가 매우 좋은 논문 서술이라 생각합니다. 좋은 발표 잘 들었습니다. 감사합니다.

이번 세미나에서는 ADTR: Anomaly Detection Transformer with Feature Reconstruction 이라는 연구를 소개해 주셨습니다. 해당 연구에서 제안한 방법론인 ADTR은 ImageNet 데이터로 Pre-train된 EfficientNet-B4를 이용해 우선 Input Image에 대한 Feature Map을 생성합니다. 이후, Feature Map을 H x W 개의 Feature Token으로 나눈 후 Transformer 구조를 활용해 Feature Token을 Reconstruct합니다. CNN을 이용해 Reconstruction을 수행하지 않고 Transformer를 사용해 Reconstruction-based Anomaly Detection 방법론에서 중요한 문제인 Identical Mapping을 해결하고자 했습니다. Background에서 PaDim, InTra 등 명칭은 들어보았으나 어떤 구조인지 몰랐던 방법론들에 대해 소개를 해주셔서 감사했습니다. 2023년 첫 대면 세미나였기에 부담감이 있으셨을텐데 발표 자료 구성과 발표 모두 깔끔했습니다. 좋은 발표 감사드립니다.

이번 세미나는 transformer를 기반으로 하고, 이상치 일부를 허용하는 case에 대해서도 이상탐지를 수행하는 ADTR이라는 방법론을 주제로 진행되었습니다. 본 논문 설명에 앞서 다른 이미지 이상 탐지 모델들에 대해서 설명해주셨고, 여러 논문에서 사용하고 있는 synthetic anomaly를 생성하는 방법에 대해 설명해주셨습니다. ADTR은 일부 이상치 데이터를 이용하여 학습하는 방법을 사용하였으며, 이를 위해 새로 목적함수를 정의하였습니다. difference 값 중 상위 k개 값을 추출하고 평균을 내어 anomaly score를 산출하는 방식을 사용하였습니다. 시계열에서 anomaly detection을 연구하고 있는 사람으로써 해당 방식에 대해 참고하여도 좋을 것 같다고 생각되었습니다. 다만, 교수님께서 질문하신대로 임베딩에서 multi-scale feature map을 활용하는 점이 다양한 종류의 이상탐지가 가능해지는지는 저도 의문이 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 ADTR: Anomaly Detection Transformer with Feature Reconstruction 논문에 대하여 소개해주셨습니다. 해당 논문은 지난번 최희정 박사과정의 세미나에서 소개된 논문과 동일한 저자가 작성한 논문으로 방법론 또한 비슷한 주제를 가지고 작성되었습니다. 이번 논문에서 또한 identical mapping에 대한 내용을 위주로 학습에 사용되지 않은 unseen 데이터도 잘 생성하는 문제를 설명합니다. decoder에서 learnable query embedding을 사용하는것이 인상적이었지만 ViT를 사용하지 않은 이유가 따로 있었는지 궁금했습니다. 오늘도 좋은 발표 감사합니다.

이번 세미나는 이미지 이상 탐지 분야의 논문 ADTR: Anomaly Detection Transformer with Feature Reconstruction를 주제로 진행되었습니다. 기존 CNN 기반 reconstruction 방법론은 정상과 이상치를 구분하기 어려운 semantic한 정보를 포함하기 때문에 정상 데이터에 대해서도 재구축을 잘 수행하는 identical mapping 문제가 발생할 수 있습니다. 반면 transformer 기반 방법론들은 정상 데이터를 잘 재구축하지 못한다는 측면에서 높은 이상치 탐지 성능을 보인다는 장점이 있습니다. 이에 따라 본 논문에서는 사전학습된 CNN에서 multi-scale feature를 추출하고 transformer를 활용하여 사전학습된 feature들을 재구축합니다. 이 과정에서 auxiliary query embedding으로 feature token을 재구축하게 됩니다. 정상 데이터만을 이용하여 학습을 하는 경우에는 MSE Loss를 활용하며 이상치를 허용하는 경우 새로운 loss function을 도입하여 학습을 가능케했다는 장점이 있습니다. 개인적으로 비전 분야에 대한 배경 지식이 부족했음에도 발표자 분의 깔끔하고 직관적인 발표 자료를 통해 해당 task와 방법론에 대해 이해해볼 수 있었습니다. 유익한 발표 진행해주셔서 감사합니다.

금일 세미나는 Anomaly Detection Transformer with Feature Reconstruction을 주제로 진행되었습니다. 최근 최희정 박사과정이 진행했던 UniAD와 동일한 저자가 작성한 논문이었기에 두 논문을 함께 비교하며 이해할 수 있었습니다. 논문에서 Normal sample only, anomaly available case를 나누어 진행한것이 실용적인 접근이라 느껴졌습니다. 다만 anomaly available setting에서 normal data와 동일한 비율의 데이터를 사용하는 binary classification 모델을 구축한것은 비현실적인 접근법이라 생각되어 아쉬웠습니다. 본 논문에서 지적하는 내용은 reconstruction 기반 방법론에서 큰 문제가 되는 identical mapping을 해소하기 위해 cnn이 아닌 transformer를 활용 했습니다. 하지만 개인적으로는 이를 위한 추가적인 실험을 진행하여 논리를 구축해야 한다고 생각했습니다. 발표자분께서 정리를 잘해주셔서 쉽게 따라갈 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 기존의 CNN 기반 reconstruction 방법론에서 발생하는 Identical mapping 문제를 보완하기 위해 transformer 구조를 활용한 ADTR: Anomaly Detection Transformer with Feature Reconstruction 논문으로 진행되었습니다. Identical mapping이란 입력 이미지 재구축 시 정상 데이터뿐만 아니라 이상치 데이터도 잘 구축하는 현상으로, 해당 논문은 shortcut을 학습할 가능성이 있는 convolutional layer가 아닌 attention layer의 query embedding에 의해 identical mapping을 학습하는 것이 어려워진 Transformer 구조를 이용한 논문입니다. 모델의 구조는 Embedding단에서 Pre-traine된 CNN 백본모델을 이용해 multi-scale feature를 추출한 후, Transformer 구조를 기반으로 feature token을 재구축하는 방식으로 구성이 되며, 기본 구조에서 좀 더 확장된 ADTR+ 구조도 함께 제안하여 이상치가 일부 허용되는 case에 대해서도 이상치 탐지 task를 수행할 수 있습니다. 발표자의 자세한 백그라운드 설명과 깔끔한 발표 구성 덕분에 잘 모르는 분야임에도 발표에 집중해서 들을 수 있었던 것 같습니다. 좋은 발표 감사합니다!