Normalizing flow가 anomaly detection에 사용된 사례에 대해 소개해주셨습니다. 초반에 normalizing flow의 jacobian determinant를 쉽게 계산하기 위해 삼각행렬의 형태로 변환하는 additive coupling layer 구조에 대해 설명해주셔서 이해가 쉬웠습니다. 제안하는 CFlow는 pretrained cnn-based feature를 기반으로 local-pixel correlation 뿐 아니라 semantic content까지 반영하여 normalizing flow를 수행합니다. 구체적으로는 사전학습된 인코더의 계층별 representation마다 normalizing flow를 수행하고, 디코더에서는 additive coupling layer를 거쳐 원본 이미지 resolution으로 interpolation을 수행합니다. MVTec 데이터 중 헤이즐넛, cable 같은 클래스는 anomaly가 굉장히 fine-grained하게 표현됨에도 불구하고 많은 방법론에서 해당 데이터에 대해 매우 좋은 성능을 보이는 것이 신기했습니다. 동시에 학습 과정 중에 어떠한 bias가 개입되는지도 의심이 되었습니다. Diffusion model 기반 모델이 비전 쪽에서 많이 활용되면서 normalizing flow가 상대적으로 덜 사용되지 않을까 싶었는데 예상치 못한 anomaly detection에서 좋은 성능 및 추론 속도를 보여서 인상깊었습니다. 발표 잘 들었습니다.

금일 세미나에서는 conditional normalizing flow를 통해 anomaly detection을 진행하는 CFLOW에 대해서 살펴보았습니다. CFLOW에서는 condition으로 position encoding을 사용하였는데 저자들이 이렇게 접근한 이유가 궁금했습니다. GAN을 기반으로 하는 이미지 생성 기법을 생각해 본다면, positional encoding이 중요하다(zero padding을 통한 실험적 증명)는 연구는 존재하지만 positional encoding 자체를 condition으로 사용하는 경우는 많지 않은 것 같습니다. 이런 상황에서 어떤 기대로 이러한 정보를 사용하였는지 궁금하였고, layer별로 normalizing flow를 진행했음에도 연산 속도가 매우 빨라서 신기했습니다. 비교적 간단한 아이디어임에도 성능 향상 폭이 큰 것도 신기했습니다.

금일 세미나에서는 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 논문을 소개해주셨습니다. 본 논문은 Normalization Flow모델을 사용한 비지도학습 방식의 이상치 탐지 모델 얀구로, Image와 Pixel 단위의 Anomaly detection 수행이 가능하며, Real-time으로 적용할 수 있는 빠른 추론 속도를 가지고 있습니다. 기존의 Normalizing flow모델은 학습 방식에 따라 입력 이미지를 그대로 사용하면 local-pixel correlation에 영향을 크게 받는 문제점 존재하며, Semantic content를 반영할 수 없기 때문에 likelihood를 최대화 하는 것에 한계가 존재합니다. 본 연구는 사전 학습 모델을 feature extractor로 사용하여 semantic content를 반영한 후 Normalizing Flow를 적용하여 기존 문제를 해결합니다. 각각의 layer 별 feature embedding을 추출하고, 이를 positional encoding으로 추가혀, 이를 독립적인 normalizing flow model에 학습해줍니다. 상당히 간단한 접근을 통해 모델의 성능을 향상시킨 점이 매우 인상적이었던 연구인 것 같습니다. 좋은 발표 감사합니다!

금일 세미나는 "CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows"라는 주제로 진행되었습니다. 본 발표에서는 normalizing flow를 활용하여 이미지 및 픽셀 단위로 이상치를 탐지하는 CFLOW-AD 모델이 소개되었습니다. 시계열 이상치 탐지에서 normalizing flow를 활용한 모델이 제안됐었는데 이미지 이상치 탐지에서는 어떤 방식으로 normalizing flow를 활용하는지 궁금했기 때문에 관심을 가지고 발표를 청취했습니다. CFLOW-AD는 position encoding을 추가하고 각 layer에서 feature embedding을 추출하는 방식을 통해 독립적인 normalizing flow 모델을 학습했습니다. 개인적으로는 많은 모델에서 흔히 사용되는 position encoding을 normalizing flow의 condition으로 사용하여 좋은 성능을 도출한 점이 신선했습니다. 더불어 픽셀 단위로 anomaly score를 계산하여 픽셀 단위로 localization을 할 수 있다는 점이 설명력이 중요한 이상치 탐지에서 큰 장점이라고 생각했습니다. 좋은 발표 감사합니다.

금일 세미나에서는 CFLOW-AD 라는 이름의 비지도학습 방식의 이상치탐지 방법론에 대해서 소개되었습니다. 이름에서도 유추할 수 있듯이 이는 Normalizing flow를 이용한 방법론으로 특히 실시간(
real-time)에 가깝게 추론할 수 있는 것이 가장 큰 특징인 모델입니다. Normalizing flow란 생성모델에 있어 일종의 역함수를 거듭해서 학습해나가는 방법론을 의미합니다. 금일 소개된 CFLOW-AD에서 C는 conditional을 의미하고 position encoding을 추가해 normalizing flow를 수행한 것을 의미합니다. 보통 positional encoding을 언어모델에서 활용한 방법인데 이를 이미지에서 픽셀 차원에 적용을 한 것입니다. 이를 통해서 pixel 간 correlation에 영향을 크게 받는 것을 줄일 수 있게 됩니다. 더욱이 사전 학습된 모델을 통해 feature layer의 임베딩을 이용하게 되는데 이로써 semantic content를 반영할 수 있게 됩니다. Normalizing flow를 연구실 스터디에서 처음 내용을 접하였는데 꽤나 합리적이고 재미있는 주제라고 생각됩니다. 앞으로도 세미나에서 자주 다루어지기를 희망해봅니다. 좋은 발표 감사합니다.

이번 세미나는 normalizing flow를 활용하여 image에서의 anomaly detection task를 수행하는 CFLOW-AD를 주제로 진행되었습니다. 일반적인 normalizing flow를 그대로 사용하면 semantic content를 반영할 수 없다는 한계점이 있으나 본 방법론은 사전학습 모델을 feature extractor로 사용하여 semantic content를 반영한 후 normalizing flow를 적용하여 해결하고자 하였습니다. CFLOW-AD는 position encoding을 추가한 normalizing flow 방법인 conditional normalizing flow를 적용하고 Resnet, MobileNet 등을 pre-trained encoder로 사용하였으며, layer 별로 feature embedding을 추출한 뒤, RealNVP를 Decoder로 사용하였습니다. Normalizing flow가 생성모델로 좋은 성능을 내고 있고 time-series anomaly detection에도 적용한 방법론이 있는만큼 image anomaly detection에도 좋은 성능을 낼 것 같다라고 생각했는데 관련 연구에 대해서 들을 수 있어 좋았습니다. 아직 normalizing flow에 대해 많은 연구가 필요한 것 같지만 발전 가능성이 있는 연구인 것 같아 매우 흥미롭게 들었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 논문을 다루어주셨습니다. 기존의 normalizing flow는 입력으로 이미지를 사용하였을 때, local-pixel correlation에 영향을 크게 받고, semantic content를 반영할 수 없다는 한계점이 존재하였습니다. Conditional normalizing flow는 기존의 normalizing flow에 positional encoding을 추가한 것입니다. 여기에서는 레이어별로 feature 임베딩을 추출하여, semantic content를 반영할 수 있도록 하고 있습니다. 결과적으로 실시간 이상치 탐지에 사용하기에 적절한 성능이 확인되었습니다. Normalizing flow와 관련한 세미나는 처음 접해봤는데 background를 상세히 짚고 넘어가주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 논문을 주제로 실시간으로 필셀단위의 Anomaly Detection을 수행하는 CFLOW-AD모델을 소개해 주셨습니다. 먼저 논문에서 제안한 아이디어의 기본이 되는 Normalizing Flow를 설명해 주셨습니다. Normalizing Flow는 역계산과 Determinant계산을 수행하고 그를 Coupling Layer를 통해 연결하는 것으로 데이터의 분포를 Latent Space에 Mapping하는 모델입니다. 이를 Anomaly Detection에서 바로 적용하면 입력한 이미지가 Local 영역에서 픽셀간 Correlation이 크다는 영향을 강하게 받게됩니다. 또한 Semantic Content를 반영할 수 없기 때문에 Likelihood를 최대화 하는 것에 한계가 존재합니다. 이를 해결하기 위해 사전학습모델에서 미리 Feature를 뽑아 Semantic Content를 반영하고 Nomalizing Flow를 적용했다고 합니다. 논문에서는 이를 Positional Encoding으로 구현했는데, 레이어마다 Feature 추출을 수행해 Semantic Content를 반영합니다. 결과적으로 실시간으로 픽셀단위의 Anomaly Detection을 수행할 수 있으며, 실험결과 성능도 뛰어납니다. 특히 Anomaly Score가 픽셀단위로 나오기 때문에 바로 이상 영역을 파악할 수 있어 활용도가 매우 높아보입니다. Anomaly Detection 분야를 이제 막 공부하기 시작했는데, 최신의 기법을 소개받으니 더 신기하고 인상적이었던것 같습니다. 또한 요즘 음원 데이터를 다루며 실시간으로 활용이 가능한것이 중요하다는 것을 느끼고 있는데 이번 모델 설명을 들으며 간단한 아이디어로 그를 구현한 것이 매우 인상적이었습니다. 좋은발표 감사합니다.

이번 세미나에서 소개된 논문은 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows입니다. 본 논문에서는 normalizing flow를 사용하여 이미지, 픽셀 단위의 anomaly detection을 수행할 수 있는 모델을 제안하였습니다. Normalizing flow는 데이터의 분포를 latent space에 잘 mapping하도록 학습이 되는데, 이미지의 경우, semantc한 정보를 반영하기 어려워 기존의 flow model을 학습하듯이 likelihood를 최대화하는 것에 한계가 존재합니다. 따라서 본 논문에서는 사전학습 모델을 feature extractor로 사용하여 semantic 정보를 반영해주었고, 그 후에 normalizing flow를 적용하여 한계를 해결했습니다. CFLOW-AD에서는 사전학습 backbone encoder 이후에 condition으로 positional encoding을 추가했고 Layer 별 feature embedding을 추출하여 독립적인 Normalizing Flow 모델을 학습하는 구조를 취합니다. 배경과 핵심을 잘 짚어 주셔서 발표 내용을 잘 따라갈 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 normalizing flow를 기반으로 한 Image Anomaly Detection 모델인 CFLOW-AD 였습니다. 기존의 normalizing flow 기반 모델들이 픽셀 간 correlation에 큰 영향을 받는 한계점을 극복하고, semenatic content를 반영하기 위해 사전학습된 모델을 이용하여 Normalizing Flow를 적용한 모델이었습니다. 이를 통해 픽셀 단위의 anomaly detection이 가능해지고 그 결과 우수한 이상치 탐지 성능을 확보할 수 있었습니다. 최근 논문 스터디에서 허재혁 석사과정이나 김정섭 석사과정이 Normalizing Flow 기반의 다양한 모델들을 소개해주고 있어 흥미롭게 듣고 있는데, Normalizing Flow의 자세한 이론적 배경을 알 수 있어 좋은 시간이었습니다.

금일 세미나에서는 Normalizing Flow를 기반으로한 이상치 탐지를 하는 모델, CFLOW-AD에 대한 내용이었습니다. Normalizing Flow는 데이터의 분포를 Latent 공간에 매핑하기 적합한 모델이며, 사전 학습 모델을 통해 Feature 추출한 뒤 Semantic Content를 반영한 뒤에 Normalizing Flow를 활용합니다. 즉, Normalizing Flow 자체만을 활용하면 Local-Pixel Correlation에 영향을 받고 Likelihood를 최대화 하는 것에 한계가 존재하기에 전 단계에서 사전 학습 모델을 통해 보정한 뒤 사용하는 것입니다. 성능과 추론 속도 모두 이상치 탐지를 위해 사용이 가능하며, 이미지 단위가 아닌 픽셀 단위로 이상치 점수를 계산하기에 결과에 대한 Explanation 또는 Localization 또한 가능한 효과를 가져다 줍니다. 어려운 개념을 쉽게 풀어 설명해주셔서 감사합니다.

이번 세미나는 Normalizing flow 모델로 비지도 기반의 Anomaly Detection을 수행하는 CFLOW-AD를 주제로 진행되었습니다. Normalizing flow는 변수 변환을 기반으로 모델을 구성하여 데이터의 밀도를 추적해나가는 방식으로 학습을 진행하는 생성모델입니다. 이에 따라 데이터의 분포를 latent space에 매핑하기에 적합하며 보통 pre-trained 모델을 feature extractor로 사용하여 정보를 반영한 후 normalizing flow를 적용하는 식으로 활용되고 있습니다. NF는 비전 분야에서 제안된 모델이기에 이상치 탐지 중에서도 이미지와 픽셀 단위의 비전 이상치 탐지를 수행합니다. CFLOW-AD는 Position Encoding을 추가하고 layer 별 feature 임베딩을 추출하여 독립적인 NF 모델을 학습하는 conditional NF 구조를 제안합니다. 실시간으로 이상치 탐지를 수행할 수 있을 만큼 추론 속도가 빠르며 pixel 단위로 이상치 점수를 산출하기 때문에 이상 부분을 더 정확히 탐지할 수 있다는 장점을 가지고 있습니다. Normalizing Flow는 김정섭 석사과정의 세미나 이후 지속적으로 논문 스터디나, 파이토치 스터디에서 접하고 있는 주제입니다. 특히나 비전 이상치 탐지 분야에서는 이미 FastFlow라는 모델이 거의 100에 가까운 정확도를 보였다는 점에서 더욱 흥미롭게 보고 있습니다. 알기 쉽게 장표를 구성해주셔서 이해에 도움이 되었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에선 Normalizing Flow 를 Image Anomaly Detection 에 적용한 연구인 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 에 대해 소개되었습니다. 이전에 여러 번 소개 된 Normalizing Flow 에 대해 논문 소개 전에 간단히 정리해주셨고, 기존 Noramlizing Flow가 anomaly detection algorithm으로 적절하지 않았던 이유에 대해서도 다시 한 번 상기해볼 수 있었습니다. 기존의 NF model 은 semantic feature 를 잘 반영하지 못하고 이미지의 픽셀 단위 변화에 민감하다는 한계가 존재했습니다. CFLOW-AD 에선 이러한 NF 의 한계를 극복하고자 사전 학습 모델을 통해 추출한 semantic feature 를 positional encoding 과 함께 NF 의 입력으로 사용하는 방식을 제안합니다. Image Anomaly Detection 에선 reconstruction error를 anomaly score 로 하는 GAN, VAE 와 같은 형태가 많이 사용되어 왔는데, 또 다른 생성 모델인 NF 를 적용하여 기존보다 높은 성능을 달성했다는 점이 인상 깊었던 연구였습니다. 좋은 발표 감사합니다.

본 세미나를 통해 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 에 대한 내용을 리뷰하였습니다. CFLOW-AD의 경우 기존의 normalizing flow가 anomaly detection algorithm으로 적절치 못했던 부분을 보완하며 고안된 연구 입니다. 사전 학습 모델을 통해 Feature layer별 embedding을 추출하여 Conditional Normalizing Flow를 적용하였습니다. 또한 Pixel 단위로 Anomaly score를 계산하여 이상 부분에 대한 더 정확한 Localization을 가능하도록 설계하였습니다.
Background에서 기존의 연구인 Normalizing flow와 관련된 수학적 배경에 대한 자세한 설명이 이루어져 CFLOW를 이해하는데 굉장히 수월했습니다. 또한 Metric으로 AUPRO(Area Under the Per-Region-Overlap-curve)라는 생소한 지표를 사용하였는데, 수식적인 설명이 아닌 그림을 통한 설명으로 진행을 하여 이해가 빠르게 되었습니다. CFLOW의 주요한 point를 잘 뽑아 구성한 발표였다고 생각됩니다. 좋은 발표 감사합니다.

금일 세미나는 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 연구에 대해 진행되었습니다. 본 연구는 normalizing flow 기반 이상치 탐지 방법론을 제안하였습니다. 완전히 새로운 방법론은 아니었습니다. 물론, 비교적 최근에야 normalizing flow의 OOD detection 상에서 약점과 개선 방안(Image embedding을 별도로 추출하는 방법)이 확인 되었기에 이를 활용한 flow 기반 이상치 탐지 방법들이 나오기 시작했습니다. CFLOW는 다른 모델들과의 차이는 positional encoding을 조건부로 conditional flow 모델을 활용했다는 점 입니다. 이미지 데이터의 spatial information을 최대한 활용하기 위해 시도한 접근 같습니다. CS-Flow 같은 경우는 multi-scale의 image feature map을 Fusion해 학습시키는 접근으로 이러한 문제를 해결하고자 하는 데, CFLOW-AD의 접근은 신선했습니다. 연산 복잡도 면에서 CS-Flow와 직접적인 비교를 통해 효율성을 확인할 수 있다면 보다 좋은 비교가 될 수 있을 것 같았습니다. Flow 기반의 방법론이 매우 극적으로 MVTecAD 데이터의 이상치 탐지에서 높은 성능을 보이고 있습니다. 물론 pre-trained feature extractor를 활용했기 때문에, 본질적으로 한계를 갖고 있지만.. 그럼에도 불구하고 굉장히 눈에 띄는 성과라 생각합니다. 왜 Flow 모델이 잘하고, 어느 데이터에서 또 잘할 수 있는지 그리고 pre-trained feature extractor 없이도 할 수 있는 방법을 찾아보는 것이 필요할 것이라 생각합니다. 깔끔하고 좋은 발표해주신 발표자님께 감사드립니다. 잘 들었습니다!

이번 세미나는 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 논문으로 진행되었습니다. 해당 논문은 사전학습 모델을 통해 Feature Layer별 embedding을 추출하여 Conditional Normalizing Flow를 적용한 모델을 제안한 논문으로 Anomaly Detection 태스크를 위해 고안되었으며, 현재 MVTecAC 데이터셋 기준 7위의 성능을 보이고 있는 모델입니다. Normalizing Flow는 데이터의 분포를 Latent space에 mapping 하기 적합한 모델이지만 입력 이미지를 그대로 사용할 경우 local-pixel correlation에 큰 영향을 받는 문제점이 존재하는데 이러한 문제점을 위해 보통 사전학습 모델을 feature extractor로 사용하여 semantic content를 반영하고 normalizing flow를 적용한다고 합니다. 해당 논문은 “Conditional” Normalizing flow라는, 기존의 Normalizing flow를 수행함에 있어 position encoding을 추가한 방식을 제안하고, ResNet18, MobileNetV3 등을 이용해 layer별 feature embedding을 추출하여 독립적인 normalizing flow 모델을 학습합니다. Normalizing flow란 개념을 처음 접했는데 자세히 설명해주셔서 이해가 수월했던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 normalize flow 를 이용한 anomaly detection 관련 논문인 CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 을 소개해주었습니다. 우선 결론부터 확인하면, feature layer 별 임베딩을 추출한 conditional Normalizing flow 를 제안하였고, 성능과 추론 속도측면에서 실시간으로 이상치 탐지에 적절한 모델입니다. 또한 pixel 단위로 anomaly score 를 계산하여 localization 부분에서도 정확한 성능을 냅니다. normalize flow 에 대한 지속적인 세미나를 통해 어느정도 개념이 있었지만, 적용사례를 통해 조금 더 이해가 잘되었습니다. 특히 한계점으로 지목된 semantic content 반영 부분을 해결하기 위해 사전학습모델과 결합하여 이미지 이상치탐지를 수행합니다.
최근에 비교적 관심을 많이 받는 방법론들을 빠르게 적용하는 것 만으로도 좋은 연구가 될 수 있을 것 같고, 정확한 개념이해를 통해 다양한 도메인에서도 이처럼 이용될 수 있는 연구가 나오면 좋겠습니다. 감사합니다.

이번 세미나는 "CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows"라는 논문에 대해 소개해주셨습니다. 이는 normalizing flow를 기반으로 한 이상치 탐지 방법론을 제안하는데, 김정섭 석사과정의 세미나에서 소개해주셨던 OOD를 어느 정도 기억하면서 들었습니다. 우선 논문은 사전에 학습된 모델로 layer별 feature를 추출하게 되고, 이에 대해 조건부로 normalizing flow를 적용하게 됩니다. Feature를 사전학습된 모델로부터 추출하여 활용하게 되면 기존에 비해 데이터 분포를 모델링하는 데에 더욱 유리한 것 같습니다. Normalizing flow에 대해 아직은 개념적으로 많이 부족하지만, 김정섭 석사과정의 세미나와 이번 세미나 등을 통해서 점차 알아가는 느낌입니다. 앞으로도 좋은 발표 기대하겠습니다.

이번 세미나는 normalizing flow를 활용한 image anomaly detection 방법론인 CFLOW-AD에 대한 내용으로 진행되었습니다. CFLOW-AD는 기존의 normalizing flow가 semantic 정보를 반영할 수 없다는 한계를 극복하기 위해 pre-trained model을 통해 feature를 추출하도록 하였습니다. 또한 position encoding을 추가한 conditional normalizing flow를 사용하였으며, pre-trained encoder에서 layer 별 feature embedding을 추출하여 모두 사용하였습니다. 이미 시계열 이상치 탐지 분야에서 normalizing flow가 좋은 성능을 내고 있으며, normalizing flow를 활용하면 real-time detection이 가능하다는 점에서 CFLOW-AD 또한 현업에서 유용하게 쓰일 수 있을 것 같습니다. 좋은 발표 감사합니다.