금일 세미나에서는 CVPR 2022에 게재된 Towards Total Recall in Industrial Anomaly Detection에 대해 살펴보았습니다. 본 방법론에서는 layer별 local patch feature를 뽑아 coreset으로 사용합니다. 이후 coreset에서 greedy search를 통해 subsampling을 진행하고 뽑힌 sample들을 통해 anomaly detection과 segmentation을 진행하고 있습니다. Anomaly detection을 위해 faiss를 사용했다는 점도 흥미로웠습니다. 다만 교수님 말씀처럼 faiss 내부적으로 cluster를 고려하게 되는데, 그렇다면 coreset subsampling을 위해 cluster를 미리 고려하여 greedy search 대신 사용하는 건 어떨까 라는 생각이 들었습니다. 최근 연구들을 보면 vision anomaly detection 성능이 매우 높은데 또 다른 benchmark dataset이 등장할 시기가 아닌가 생각됩니다. 또한 wafet bit map과 같은 제조 데이터로의 transfer도 반드시 필요하다는 생각이 들었습니다.

이번 세미나에서 소개된 논문은 Towards Total Recall in Industrial Anomaly Detection입니다. 본 논문의 방법론인 PatchCore는 density 기반 이상치탐지 모델입니다. PatchCore는 선행 연구와 다르게 mid-level feature를 사용하며, interpolation과 global average pooling을 통해 local patch feature들의 coreset을 구성합니다. 이후 greedy search 방법으로 coreset subsampling을 수행하여 다양한 정상 feature를 고르게 선택합니다. 이후 test local patch query에 대해 faiss를 통해 거리 기반 anomaly score를 계산하고, image level과 pixel level로 anomaly score를 도출해 detection과 localization에 활용합니다. 개인적으로는 본 발표에서 mid-level feature를 사용했다는 점과 coreset을 구성하는 방법론이 신선했습니다. 마지막에 발표자분께서 이상치탐지 모델을 학습 구조에 따라 분류한 것을 공유해주셨는데, 발표자분의 논문 정리 능력과 이를 바탕으로한 개인 연구 아이디어 발전 능력이 정말 대단하다고 생각했습니다. 좋은 발표 감사합니다.

이번 세미나는 이미지 내 이상치 탐지를 주제로 한 Toward Total Recall in Industrial Anomaly Detection이라는 논문이 소개되었습니다. 우선 이상치탐지 알고리즘을 크게 세 가지로 나눌 수 있는데 밀도(density) 기반, 분류(classification) 기반, 재구축(reconstruction) 기반 등이 이에 해당 됩니다. 본 논문의 핵심 기법인 Patch Core는 밀도 기반의 방법론이고 선행 연구들 중 SPADE와 PaDiM이 이의 기반이 되고 있습니다. Patch Core가 시도하고자 하는 것은 충분치 않은 정상 데이터에서 local patch feature를 효과적으로 저장 및 추출하고자 하는 것입니다. Patch Core는 Local Patch와 Core set 이라는 개념에서 나온 것으로 각 layer 별로 가령 [채널 수 X 5 X 5]의 feature map에서 [3 X 3] 크리의 local patch를 형성하여 최종적으로 global average pooling을 적용하여 하나의 coreset [5X5X 클래스 수]를 생성하여 저장합니다. 이를 Greedy search를 통해 subsampling을 진행한 다음 Memory bank에 저장합니다. 동시에 Test image에 대해서도 local patch를 구하고 patch의 각 feature를 통해 memory bank의 nearest neighbor를 찾아 anomaly score를 계산하고 이를 바탕으로 test 이미지의 local patch feature에 detection과 localization을 수행하게 됩니다. 결과적으로 중간에 local patch feature를 사용함으로써 정보를 더욱 증폭시키는 것으로 보입니다. 마지막 장단점을 설명하실 때도 언급되었지만 task 수행 시간이 꽤나 오래걸릴 듯합니다. 그래도 큰 장점이 있는 듯한 방법론이기에 적절히 활용될 수 있을 것이라 생각됩니다. 좋은 발표 감사합니다.

금일 세미나에서는 Towards Total Recall in Industrial Anomaly Detection 논문을 다루어 주셨습니다. 해당 논문에서 제시하고 있는 PatchCore는 MVTec AD 데이터셋에서 SOTA를 달성했으며 PaDiM에서 patch level의 feature를 사용하는 점과 SPADE에서 memory bank를 사용하는 점을 결합하였다고 볼 수 있습니다. 우선 high-level feature가 아닌 mid-level feature를 이용하고, 해당 feature들로 중요한 값들만 뽑아낼 수 있는 coreset subsampling을 수행하여 memory bank를 구성합니다. 다음으로 test image의 feature들을 추출하여 memory bank에 query로 사용하고, (SPADE와 유사하게) nearest neighbor 방법을 통해 query와 coreset에 대한 거리를 지표로 anoamaly score를 계산하게 됩니다. 논문에 대한 자세한 설명뿐만 아니라 이상치 탐지 분야 학습 방법론들의 분류 정리, paper list 공유, 데이터셋에 대한 리뷰에 대한 부분도 있어서 이상치 탐지 분야에 관심이 있는 입장에서 매우 유용한 발표였던 것 같습니다. 좋은 발표 감사합니다!

금일 세미나는 "Towards Total Recall in Industrial Anomaly Detection"라는 주제로 진행되었습니다. 본 발표에서는 pre-trained model을 활용하여 별도의 학습 없이 이미지 이상치 탐지를 수행하는 PatchCore 모델이 소개되었습니다. PatchCore는 크게 Local patch features, Coreset Subsampling, Detection and Localization로 구성되어 있으며, 메모리를 기반으로 이상치 탐지를 수행합니다. 개인적으로는 PatchCore 모델이 pre-trained model을 활용하여 이상치 탐지를 수행하는 과정이 매우 직관적이라는 생각이 들었습니다. 발표를 들으면서 해당 모델이 메모리를 활용하기 때문에 비효율적일 수 있다는 생각이 들었는데, 실험에서 coreset 크기에 따른 inference 속도를 명시해주어 이러한 의문을 해결할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에선 CVPR 2022 에 게재된 Towards Total Recall in Industrial Anomaly Detection 라는 논문에 대해 소개되었습니다. 논문에서 제안한 방법은 PatchCore라고 하고 MVTec AD dataset을 사용하여 unsupervised anomaly detection을 수행합니다. PatchCore의 특이한 점은 target dataset에 대한 학습없이 ImageNet pertained feature 만으로 anomaly detection 을 수행한다는 점입니다. 제안된 방법에선 ImageNet class에 dependent한 high level feature가 아닌 middle level feature 를 사용하고, 정상 데이터만 포함된 학습데이터로 memory bank 를 구성합니다. 이 후 평가시엔 memory bank 에서 nearest neighbor 인 sample point와의 거리를 통해 anomaly score를 정의합니다. 실험 결과 중에선 coreset 의 sampling 비율을 1%만 사용하여도 기존 연구대비 높은 성능을 보인다는 점과 대량의 데이터로 사전학습된 모델을 잘 사용하는 것만으로도 task에 맞는 모델을 설계할 수 있다는 점이 인상깊었습니다. 다만 제안하는 방법에서 사용한 layer의 위치나 sampling 비율 등이 MVTec AD dataset 외의 다른 데이터셋에서도 효과적일지에 대해서는 의문이 남습니다. 새롭게 학습할 필요는 없더라도 feature 추출과 memory bank의 구성에서 많은 ablation study가 필요할 것이라 생각되고 발표자분께서 짚어주신 것처럼 flow 기반 방법대비 인퍼런스 속도도 느리다는 점 또한 산업에 사용되기에는 한계가 있지 않을까 하는 생각이 듭니다. 논문의 내용 뿐만 아니라 관련 연구들에 대한 소개까지 많이 배울 수 있는 세미나였습니다. 유익한 세미나 발표 감사합니다.

이번 세미나는 Towards Total Recall in Industrial Anomaly Detection을 주제로 진행되었습니다. 본 논문에서는 PatchCore라는 모델 구조를 제안하였습니다. PatchCore는 크게 local patch features, corest subsampling, detection and localization 세 가지 구조를 가지고 있습니다. Local patch는 pretrained encoder의 layer별 output을 사용하여 local patch features를 추출하고 GAP를 통해 layer별 local patch features를 coreset으로 구성합니다. 그렇게 구성된 coreset을 통해 greedy search 방법으로 subsampling을 수행하고 test image에 대한 local patch features를 추출하여 각 patch features를 memory bank에 query로 사용합니다. Nearest neighbor를 사용하여 query와 coreset의 distance를 통해 anomaly score를 산출하는 방법을 사용하였습니다. 해당 방법론에서 layer별 output을 통해 coreset을 구성하였다는 점과 memory bank를 통해 query를 수행하는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

본 세미나에서는 Towards Total Recall in Industrial Anomaly Detection 라는 주제의 논문을 리뷰하였습니다. Anomaly detection의 경우 현실적으로 비정상 데이터를 충분히 확보하지 못하는 상황이기 때문에 정상 데이터를 이용하여 얼마나 학습을 잘 하는지가 중요합니다. 본 논문의 경우 이러한 현실적 상황의 반영을 잘한 연구였다고 생각합니다.
본 논문에서 제안한 PatchCore라는 모델구조가 굉장히 인상적이었습니다. PatchCore는 local patch features, coreset subsampling, detection and localization으로 다시 나눌 수 있습니다. Local patch features 에서는 Mid-level feature를 local patch features로 사용합니다. 대부분의 이상치 탐지 모델의 경우 High-level feature를 사용하지만, 공간적 정보의 손실이 크고, imagenet classification task에 대한 bias가 많이 존재합니다. 이를 개선하기 위해 Mid-level feature를 사용합니다. 이렇게 추출된 local patch features의 gap을 통해 layer별 coreset을 구성합니다. 그 후 greedy search 알고리즘을 활용하여 subsampling을 진행하고 anomaly score를 산출합니다. 해당 방법론은 target dataset에 대한 학습 없이 imageNet pretrained feature만으로 anomaly detection을 진행한다는 점이 실용적이라고 생각됩니다.
본 논문에 대한 내용과 더불어 anomaly detection model에 대한 survey를 진행해주셔서 anomaly detection의 흐름을 알 수 있었습니다. 짧은 시간에 다양한 내용을 압축해서 구성해주셔서 감사합니다. 좋은 발표 감사합니다.

이번 세미나에서는 Image Anomaly Detection을 주제로 한 논문 Towards Total Recall in Industrial Anomaly Detection (CVPR 2022)을 소개해주셨습니다. 본 논문은 대량의 이미지로 잘 학습된 pre-trained model만으로 추가 학습 없이 정상 데이터의 feature를 추출하여 이상치 탐지를 수행합니다. 보통 연구들은 사전학습 모델을 적용하고자 하는 downstream task나 도메인에 맞게 fine-tuning과 같은 추가 학습 과정을 수행하는 반면, 본 논문에서는 사전학습 모델의 잠재성을 최대치로 끌어올려 활용했다는 점이 굉장히 인상 깊었습니다. 정상/비정상 데이터 비율이 imbalanced하다는 이상치 탐지의 특성 상 실현 가능했던 방법인 것 같습니다. 또한, 정상 이미지의 feature를 저장해두어 적은 양의 이미지 만으로도 높은 성능을 달성하였고, 해상도의 차이에도 적용 가능한 구조라는 점에서 활용성이 기대되는 방법론이라 생각합니다. 장표를 굉장히 깔끔하게 구성해주셔서 발표 흐름을 잘 따라갈 수 있었습니다. 앞으로 진행하실 이미지 이상치 탐지 분야의 연구 기대하겠습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에서는 Towards Total Recall in Industrial Anomaly Detection에 대해 살펴보았습니다. 본 방법론에서는 Mid-level feature 를 local patch featrures 로 사용하고, 이는 기존 모델들과 달리 공간적 정보손실문제와 bias 문제를 해결할 수 있는 이유가 됩니다. 이후 coreset subsampling 을 통해 랜덤 sampling 대비 중복이 적은 정상 feature 를 추출해 내었습니다. 마지막 survey 부분을 density, classification, reconstruction 3가지 방법론에 대해서 잘 정리하고, 관련된 모델들도 하나씩 정리해가는 과정이 계획적이며, 체계적으로 연구를 진행하고 있어 좋은 결과 있길 기대합니다!!

이번 세미나에서는 Towards Total Recall in Industrial Anomaly Detection 논문을 소개해 주셨습니다. 본 논문은 CVPR 2022에 게재된 것으로 사전학습 모델을 통해 추가적인 학습 없이 이미지 이상탐지를 수행하는 방법론을 제안하였습니다. 본 방법론은 밀도기반의 이상치 탐지 모델로 핵심이 되는 PatchCore는 선행연구인 PaDiM과 SPADE에서 각각 patch level의 feature를 사용하는 것, memory bank를 사용하는 것을 차용하였습니다. 선행 연구와 다르게 PatchCore는 mid-level feature를 사용하여 local patch에서 중요한 값들을 뽑아 coreset을 만들어 memory bank를 구성합니다. 본 논문에서 pre-trained model을 사용하여 이상치 탐지를 수행하는 경우를 처음 접하여 인상적이었으며, 그 과정이 직관적이라 잘 받아들일 수 있었습니다. 또한 메모리의 사용으로 모델의 소요시간이 길다는 점이 단점으로 지적되어 개선방안이 필요할 것 같습니다. 추가적으로 발표자께서 이상치탐지 모델의 분류를 설명해 주신 것이 큰 도움이 되었습니다. 좋은 발표 감사합니다.

금일 세미나는 Towards Total Recall in Industrial Anomaly Detection연구에 대해 진행되었습니다. 해당 연구에서 제안된 방법론을 줄여 patch core라고 부릅니다. 발표자분께서 지난 발표에서 전해주신 mvtecad 이미지 데이터에 대한 이상치 탐지 연구를 다뤄주셔서 연장선에서 잘 이해할 수 있었습니다. 본 연구는 normalizing flow 기반 방법론과 유사하게 pre-trained model을 활용하는 접근을 취합니다. 다만 normalizing flow를 활용할 때는 해당 NF 모델의 학습을 필요로 하지만, 본 patch core는 이러한 학습과정 조차 필요하지 않은 방법론입니다. 기본적으로 pre-trained model을 인코더로 활용해 중요 정보를 추출하고, 이 정보들을 대상으로 nearest neighbor 알고리즘을 활용해 이상치 여부를 탐색합니다. 이 과정에서 memory bank를 활용해 정상 데이터(일종의 학습 데이터)의 특징들을 잘 저장해 평가에 활용합니다. Spade, padim 등의 연구를 통해 보았을 때, 이처럼 patch 단위 정보에 대한 거리를 기반으로 이상치 탐지를 수행하는 연구도 역시 매우 좋은 성능을 낼 수 있음을 다시 한 번 확인할 수 있었습니다. 추론과 similarity 연산 과정에서의 시간 비용이 다소 높다는 점은 아쉽지만, 모델의 학습이 필요하지 않다는 점은 매우 흥미로웠습니다. 좋은 연구를 매우 자세하고 적절하게 설명해주신 발표자분께 감사드립니다.

이번 세미나는 “Towards Total Recall in Industrial Anomaly Detection”이었습니다. 해당 논문은 모델을 전혀 학습하지 않고, pretrained된 모델의 representation만을 이용해 Anomaly Detection을 수행하는 독특한 방식을 사용합니다. 이는 정상 데이터의 Hidden Representation의 분포와 비정상 데이터의 Hidden Representation의 분포가 다를 것이라는 가정을 기반으로 하는 것으로 이해했습니다. 이를 위해 해당 방법론은 각각의 Patch에 대해 Layer 별 Local Patch Feature를 GAP를 통해 합하여 Coreset을 구성하게 됩니다. 이후 이러한 Corset 의 수를 줄이기 위해 Greedy Search 기반의 방법론을 통해 가급적 공간 내 균일하고, 각각의 클러스터를 대표할 수 있는 Feature 만으로 Memory Bank를 구성하게 됩니다. 이후 Test 시점에는 입력된 데이터에 대해 해당 데이터의 Coreset을 FAISS 라이브러리를 통해 가장 가까운 Memory Bank 내 포인트를 찾게 됩니다. 이를 통해 기본적으로는 Pixel-level의 이상치 탐지가 가능해지고, Patch 단위의 anomaly score 중 최대값을 Image-level의 이상치 탐지에 이용할 수 있게 됩니다. 직관적이면서 단순하고, 효율적인 아이디어를 제시했다는 점이 상당히 흥미로웠습니다. 특히 Greedy Search를 통해 Memory Bank의 크기를 줄이는 방법이나, FAISS를 적용하여 Nearest Neighbor를 찾는 논리가 여러 방법론을 떠올리게 하면서, 좋은 연구는 다양한 분야를 탐색할 필요가 있다는 점을 다시 한번 느끼게 된 계기였습니다. 좋은 발표 감사합니다.

이번 세미나는 CVPR 2022에 억셉된 Towards Total Recall in Industrial Anomaly Detection 논문으로 진행되었습니다. 해당 논문은 Image Anomaly Detection 분야의 논문으로, Anomaly Detection을 위한 여러 비지도 학습 방법 중 정상 데이터의 분포를 통해 비정상 데이터를 탐지하는 Density-based method입니다. 해당 논문에서 제안한 PatchCore 모델은 사전 학습 모델을 활용하여 추가적인 학습 과정 없이 정상 데이터의 feature를 추출하여 비정상 이미지를 탐지하며, Local path features, Coreset Subsampling, Detection and Localization 총 3가지 과정으로 구성됩니다. 실험은 많은 관련 연구에서 사용되어온 MVTec AD 데이터셋으로 진행되었으며 PatchCore 모델은 정상 데이터의 특징을 효과적으로 저장하여 적은 양의 정상 이미지 만으로도 SOTA를 달성했다고 합니다. 잘 모르는 분야임에도 여러 시각적인 자료를 많이 준비해주셔서 방법론을 직관적으로 이해할 수 있었고, 비록 이상치 탐지 분야를 연구하진 않지만 마지막에 이상치 탐지 분야 논문을 세부 분야에 따라 정리해주신 자료는 이상치 탐지 연구자분들께 많은 도움이 될 것 같습니다. 좋은 발표 감사합니다!