[Paper Review] VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization

Paper Review
작성자
Jaehyuk Heo
작성일
2024-10-19 15:49
조회
1070

Topic


  • VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization

Overview


  • Multi-class 데이터를 단일 분포로 가정하고 학습하는 기존 방법과 달리 mixed Gaussian distribution을 가정하는 VQ-Flow 제안
  • VQ-Flow는 이미지의 concept을 반영하여 mixed Gaussian distribution을 반영할 수 있도록 두 단계 codebook을 사용함
  • Hierarchical Vector Quantization과 Concept-Aware Distribution Modeling을 통해 multi-class anomaly detection을 위한 normalizing flow 학습 방식 제안

발표자료 및 발표영상


  • 발표자료: 첨부 파일
  • 발표영상: 추후 첨부

참고문헌


  1. VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization (arXiv 2024.09.02)
전체 14

  • 2024-10-27 16:41

    금일 세미나는 최근 활발히 연구되고 있는 Multiclass Anomaly Detection 분야에서 Nomalizing Flow를 적용한 VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization을 중심으로 진행되었습니다. 기존의 Multiclass AD는 단일 모델에 대한 모든 클래스 정보를 한번에 학습하거나, 각 클래스 정보를 Learnable vector 형식으로 저장하여 활용하는 아이디어를 취하고 있습니다. 하지만 NF는 가우시안 분포를 가정하고 학습할 수 있기 때문에, 이를 응용하여 각 클래스를 별도의 가우시안 분포로 가정하는 Mixed Gaussian Distribution을 응용하고 있습니다. 구체적으로 coarse to fine grained 방식으로 활용하기 위해 두개의 codebook을 활용하고 있습니다. NF 방식이 AD에서 매우 장점이 많은 방향이라 알고 있는데, 이를 다시 한번 살릴 수 있는 좋은 연구인 것 같습니다. 좋은 발표 감사드립니다.


  • 2024-10-28 16:37

    이번 세미나는 그동안 많이 연구되지 않았던 Multi-Class Anomaly Detection 분야에서의 Density 기반 방법론, 그 중에서도 Normalizing Flow를 활용한 VQ-Flow라는 모델을 제안한 “ VQ-Flow :Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization”라는 논문에 대한 발표를 중심으로 진행되었습니다. VQ-Flow는 Hierarchical Vector Quantization, Concept-Aware Distribution Modeling, Pattern Conditional Normalizing flow 3단계로 구성됩니다. 먼저 HVQ의 경우 CNN 모델의 마지막 Stage에서 추출한 Semantic Feature를 사용해 매칭된 Concept별 분포에 따라 Normalizing Flow를 학습할 수 있도록 Conceptual Prototype Codebook (CPC)을 학습합니다. 이후 앞서 매칭된 Position별 Concept을 Normalizing Flow의 조건으로 제공하기 위해 Concept-Specific Pattern Codebook(CSPC)를 학습하게 됩니다. 마지막으로는 앞선 단계에서 계산했던 중간 Feature Map과 Concept-Specific Pattern을 조건으로 사용하여 입력 이미지의 Concept에 맞는 분포로 매핑되도록 Affine Coupling Layer로 구성된 Normalizing Flow를 학습하게 됩니다. Normalizing Flow 방식을 처음으로 자세하게 들을 수 있었는데, 이상치 탐지를 수행하는 데 있어 효과적인 방식 중 하나라는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.


  • 2024-10-29 16:01

    이번 세미나는 Multiclass Anomaly Detection에 Normalizing Flow를 적용한 'VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization' 논문을 주제로 진행되었습니다. VQ-Flow는 기존의 단일 가우시안 분포 가정에서 벗어나, Multi-class 데이터의 다양성을 반영하기 위해 Mixed Gaussian Distribution을 기반으로 한 접근을 제안합니다. 특히, Hierarchical Vector Quantization (HVQ)와 Concept-Aware Distribution Modeling을 통해 이미지의 개별 콘셉트를 반영할 수 있도록 두 개의 codebook을 도입한 점이 인상적이었습니다. CPC (Conceptual Prototype Codebook)를 통해 이미지의 콘셉트를 각각의 분포로 학습하고, CSPC (Concept-Specific Pattern Codebook)를 사용하여 이미지 내 다양한 패턴을 조건으로 활용하는 방식은 NF의 유연성을 최대화하는 데 큰 기여를 했다고 생각합니다. 본 연구는 특히 Multi-class 데이터가 포함된 환경에서 Anomaly Detection의 정확성을 높이는 데 유용한 기법을 제시한 것으로 보여, 이상치 탐지 분야에서의 활용 가능성이 높아 보입니다. 좋은 발표 감사합니다.


  • 2024-10-31 15:10

    금일 세미나에서는 Multi-Class Anomaly Detection을 위한 새로운 접근법으로 Normalizing Flow를 적용한 'VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization' 논문을 소개해 주셨습니다. 해당 연구에서는 기존의 단일 분포 가정에서 벗어나, 이미지 데이터의 다양한 특성을 반영하기 위해 Mixed Gaussian Distribution을 기반으로 한 다중 분포 학습을 제안하고 있으며 특히, Hierarchical Vector Quantization을 통해 두 개의 Codebook을 도입하여, Concept별로 학습된 Conceptual Prototype Codebook (CPC)과 이미지 내 패턴을 구체화하는 Concept-Specific Pattern Codebook (CSPC)을 활용해 정상화 흐름을 조건부로 최적화한 방식을 제시하고 있습니다. 해당 논문을 보며, 기존 일반적으로 우수하다고 알려진 Reconstruction based 방식에서 벗어나 Normalizing flow가 다시 활용되는 것을 보니, 다양한 분포가 존재하는 Multi-class AD에서 더욱 효과적으로 작용될 수 있지 않았나 생각이 들었습니다. 좋은 발표 감사드립니다!


  • 2024-10-31 20:17

    이번 세미나에서는 "VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 연구는 다중 클래스 이상 탐지를 위한 새로운 접근 방식을 제시하며, Hierarchical Vector Quantization를 통해 Normalizing Flow를 조절하는 방법론을 소개합니다. VQ-Flow는 특히 복잡한 이미지 데이터셋에서 각 클래스의 특성을 모델링하기 위해 두 단계의 코드북을 사용하는 방식을 채택합니다. Conceptual Prototype Codebook (CPC)는 이미지의 전반적인 개념을 코드북에서 매칭하여 각 개념에 대한 분포를 학습할 수 있도록 하고, Concept-Specific Pattern Codebook (CSPC)는 구체적인 이미지 패턴을 매칭하여 Normalizing Flow의 조건으로 사용합니다. 이런 접근법은 각 클래스의 다양성을 고려하여 보다 정확한 이상 탐지가 가능하도록 돕습니다. VQ-Flow는 기존의 Normalizing Flow와 다르게 여러 분포를 포함하고 있기 때문에 Multi-Class AD 상황에서 사용할 수 있다는 점이 직관적이었으며 이해하기 쉬웠습니다. 본 세미나를 통해 Normalizing Flow의 개념에 대해 익힐 수 있어 좋았고, 더욱 발전된 연구 방법론에 대해 접할 수 있어서 유익하였습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-10-20 03:53

    금일 세미나는 VQ-Flow :Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization 논문을 바탕으로 진행되었습니다. 대부분의 이미지 이상 탐지 모델들은 class 마다 서로 다른 모델을 학습하는 방식을 채택하지만, 해당 방식을 class 수만큼의 모델을 개별적으로 학습해야 한다는 단점이 존재합니다. 이에 multi-class를 기반으로 학습하고자 하는 Multi-class 관련 모델들이 등장하고 있습니다. 제안 방법론은 이런 Multi-class anomaly detection을 진행하고자, 두 가지 codebook을 이용하여 Mixed Gaussian Distribution을 근사하고자 합니다. 이는 크게 3 단계의 방법을 차용하고 있습니다. 가장 먼저 (1) Hierarchical vector Quantization에서는 Semantic features를 사용하여 매칭된 concept 별 분포에 따라 normalizing flow를 학습할 수 있도록 Conceptual Prototype Codebook (CPC)를 학습하며, (2) Concept-Aware Distribution modeling에서는 중간 feature map을 사용하여 매칭된 position 별 concept을 normalizing flow의 조건으로 제공하기 위해 Concept-Specific Pattern Codebook (CSPC)를 학습합니다. 마지막으로 (3) Pattern Conditional Normalizing Flows에서는 중간 feature map과 앞서 구한 concept-specific pattern을 조건으로 사용하여 입력 이미지의 concept에 맞는 분포로 매핑되도록 normalizing flow를 학습합니다. Mixed Gaussian Distribution을 이용하는 방법이 다양한 형태의 정상 데이터를 포함할 수 있는 이상탐지에 매우 적합한 방법이라는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.


  • 2024-11-02 23:30

    이번 세미나에서는 "VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization" 논문을 중심으로 Multiclass Anomaly Detection에서 Normalizing Flow의 가능성을 확장한 접근법을 다루었습니다. VQ-Flow는 이미지 데이터의 다양한 콘셉트를 Mixed Gaussian Distribution으로 효과적으로 학습할 수 있도록 두 가지 codebook을 활용하는 점이 인상 깊었습니다. 특히, Hierarchical Vector Quantization을 통해 각 콘셉트를 코드북으로 매핑하여 개별적인 분포를 학습하고, 패턴별 조건을 제공하여 Normalizing Flow를 보다 유연하게 적용할 수 있는 방식이 신선했습니다. 또한, Conceptual Prototype Codebook(CPC)과 Concept-Specific Pattern Codebook(CSPC)를 통해 Normalizing Flow의 조건부 학습을 최적화함으로써, 복잡한 패턴을 가진 데이터에서도 안정적으로 이상 탐지가 가능하도록 한 점이 매우 흥미로웠습니다. 좋은 발표 감사합니다 !


  • 2024-11-03 14:07

    이번 세미나에서는 "VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization" 논문이 소개되었습니다. VQ-Flow는 다중 클래스 이상치 탐지를 위해 고안된 정상화 흐름(Normalizing Flow) 기반의 모델로, 다중 범주 데이터를 혼합 가우시안 분포로 모델링하는 혁신적인 접근법을 제안합니다. VQ-Flow는 계층적 벡터 양자화(Hierarchical Vector Quantization)와 내용적 분포 모델링(Concept-Aware Distribution Modeling)을 사용하여 이상 탐지 모델의 효율성을 높입니다. 구체적으로, Conceptual Prototype Codebook (CPC)과 Concept-Specific Pattern Codebook (CSPC)을 활용하여 각 이미지의 개념과 패턴을 코드북에 맞춰 정량화하고, 이를 조건으로 사용해 이미지 분포에 맞게 학습합니다. 또한, 노이즈에 민감하지 않은 이상치 점수를 계산하고, 이미지와 픽셀 수준에서 별도로 평가하여 이상치 탐지 정확성을 높입니다. 실험 결과, MVTec-AD와 VisA 데이터셋에서 최고 성능을 기록했으며, AUROC 기준에서 이전 모델 대비 경쟁력 있는 결과를 보였습니다. 이번 세미나 발표를 통해 VQ-Flow가 다중 클래스 이상의 데이터를 효과적으로 처리하는 가능성을 확인할 수 있었습니다. 발표 준비해주셔서 감사합니다.


  • 2024-11-05 09:17

    이번 세미나에서는 “VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization” 논문을 소개해주셨습니다. Multi-Class Anomaly Detection 분야에서 제안된 VQ-Flow 모델은 기존에 많이 연구되지 않았던 Normalizing Flow 기반 방법론을 활용하며, Hierarchical Vector Quantization, Concept-Aware Distribution Modeling, 그리고 Pattern Conditional Normalizing Flow라는 3단계로 구성되어 있습니다. 첫 번째 단계에서는 Semantic Feature를 기반으로 Conceptual Prototype Codebook (CPC)을 학습하여, 각 개념별 분포에 맞춘 Normalizing Flow를 학습합니다. 두 번째 단계에서는 중간 Feature Map을 활용해 매칭된 위치별 Concept을 조건으로 제공하기 위해 Concept-Specific Pattern Codebook (CSPC)을 학습하며, 마지막 단계에서는 이러한 중간 Feature Map과 Concept-Specific Pattern을 조건으로 사용해 Affine Coupling Layer로 이루어진 Normalizing Flow를 학습하여 입력 이미지의 개념에 맞는 분포로 매핑됩니다. 이 논문은 Multi-Class 환경에서도 효과적인 이상 탐지를 가능하게 하는 모델을 제안하여, 여러 클래스에서 동시에 이상 탐지가 필요한 상황에 적합하다는 생각이 들었습니다. Mixed Gaussian Distribution을 근사하는 방법 또한 다양하고 복잡한 정상 데이터를 포함하는 데 효과적이라는 점이 특히 인상적이었습니다. 좋은 발표 감사합니다.


  • 2024-10-20 03:21

    이번 세미나에서는 "VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization" 논문에서 제안한 Multi-Class Anomaly Detection을 위한 Normalizing Flow 기반의 새로운 방법을 소개했습니다. 이 연구는 기존의 단일 가우시안 분포 가정에서 벗어나, Mixed Gaussian Distribution을 적용하여 클래스별로 다양한 분포를 학습할 수 있도록 설계되었습니다. VQ-Flow는 Hierarchical Vector Quantization (HVQ), Concept-Aware Distribution Modeling, Pattern Conditional Normalizing Flow라는 세 가지 주요 단계로 구성됩니다.

    먼저, HVQ는 이미지의 Semantic Feature를 추출하여 각 개념에 맞는 분포로 학습되도록 Conceptual Prototype Codebook (CPC)을 학습합니다. 이어서 중간 Feature Map을 활용해 매칭된 위치별 Concept을 조건으로 제공하기 위해 Concept-Specific Pattern Codebook (CSPC)을 학습하고, 이를 통해 Normalizing Flow의 조건부 학습을 최적화합니다. 마지막 단계에서는 앞선 중간 Feature Map과 Concept-Specific Pattern을 조건으로 사용해 Affine Coupling Layer 기반의 Normalizing Flow를 학습, 입력 이미지가 각 개념에 맞는 분포로 매핑되도록 합니다.

    본 연구는 복잡하고 다양한 클래스가 포함된 데이터 환경에서 Anomaly Detection의 정확성을 크게 향상시키며, 특히 Mixed Gaussian Distribution 기반의 접근이 여러 정상 패턴을 효과적으로 반영할 수 있어 매우 유용한 기법으로 보입니다. Normalizing Flow의 새로운 적용 가능성을 보여준 발표였습니다.


  • 2024-11-08 01:37

    이번 세미나는 Multiclass Anomaly Detection에서 Normalizing Flow를 활용한 "VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization" 논문을 중심으로 진행되었습니다. VQ-Flow는 단일 가우시안 분포의 한계를 넘어 각 클래스를 별도의 가우시안 분포로 모델링하는 Mixed Gaussian Distribution 접근을 제안합니다. 이를 위해 Hierarchical Vector Quantization을 통해 두 가지 codebook을 도입하여 각 클래스의 다양한 특성을 효과적으로 학습할 수 있게 했습니다. Conceptual Prototype Codebook (CPC)을 통해 각 개념별 분포를 학습하고, Concept-Specific Pattern Codebook (CSPC)을 활용하여 이미지 패턴을 조건으로 적용하여 Normalizing Flow의 성능을 최적화하는 방식이 매우 인상적이었습니다. 이 연구는 복잡한 다중 클래스 환경에서도 정확한 이상 탐지를 가능하게 하여 Anomaly Detection의 새로운 가능성을 제시한 흥미로운 접근으로 보입니다. 좋은 발표 감사합니다.


  • 2024-11-10 21:38

    이번 세미나에서는 "VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization"에 대해 소개해주셨습니다. 특히, Normalizing flow에 대해 설명해주셨는데, 복잡한 데이터 분포를 모델링하는 데 탁월하다는 점을 이해할 수 있었던 것 같습니다. 해당 연구에서는 이 normalizing flow를 활용하여 다중 클래스 이상 탐지를 해결하고 있으며, 이에 hierarchical vector quantization을 결합한 VQ-Flow 모델을 제안합니다. 해당 모델은 비지도 학습 환경에서 특정 클래스를 미리 알지 않고도 다양한 개념의 정상 데이터를 구분할 수 있다는 특징을 가집니다. 특히 벡터 양자화를 통해 각 클래스의 특징을 효과적으로 학습하고, 이를 통한 다중 클래스 환경에서의 우수한 이상탐지 능력을 갖습니다. 좋은 발표 감사드립니다.


  • 2024-10-19 22:07

    이번 세미나에서는 Multiclass Anomaly Detection을 위한 Normalizing Flow 기반 방식을 제안하는 ‘VQ-Flow : Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization’ 논문에 대해서 발표해 주셨습니다. 해당 방법론은 기존의 단일 분포 가정 대신 Mixed Gaussian Distribution을 이용하여 이미지의 여러 콘셉트를 반영하였습니다. 이를 위해 두 단계의 Codebook인 Conceptual Prototype Codebook (CPC)과 Concept-Specific Pattern Codebook (CSPC)을 활용하여, 이상 탐지 모델의 효율성과 정확성을 높였습니다. 그 중, CPC는 이미지의 콘셉트를 Codebook에서 매칭하여 각 콘셉트별로 분포를 학습할 수 있게 하며, CSPC는 이미지 내 패턴을 매칭하여 정상화 흐름의 조건으로 사용하였습니다. 이번 발표를 통해, Hierarchical Vector Quantization와 Concept-Aware Distribution 모델링을 통해 데이터의 다양성을 모델에 효과적으로 통합할 수 있다는 점을 알게 되었습니다. 흥미로운 주제로 좋은 발표해주셔서 감사합니다.


  • 2024-10-19 22:40

    이번 세미나에서는 “VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization” 논문이 소개되었습니다. VQ-Flow는 Multi-Class Anomaly Detection을 위해 설계된 Normalizing Flow 기반 모델로, 계층적 벡터 양자화(Hierarchical Vector Quantization)를 도입하여 각 클래스의 특성을 효과적으로 모델링합니다. 모델은 Conceptual Prototype Codebook(CPC)을 통해 추출된 Semantic Feature를 개념별 분포로 매핑하고, Concept-Specific Pattern Codebook(CSPC)을 사용해 각 위치별 패턴 정보를 추가 조건으로 제공합니다. 이를 기반으로 Affine Coupling Layer로 구성된 Normalizing Flow가 입력 데이터를 각 클래스의 분포에 맞게 학습합니다. 이 방법은 클래스 간 다양성을 반영하며, 기존 모델 대비 높은 이상 탐지 성능을 보였습니다. 특히, MVTec-AD와 VisA 데이터셋에서 AUROC 기준으로 우수한 결과를 기록하며 Multi-Class Anomaly Detection에서의 가능성을 입증했습니다. Normalizing Flow의 응용 가능성을 이해할 수 있었던 유익한 발표였습니다. 감사합니다!


전체 539
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 13408
관리자 2020.03.12 0 13408
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 12168
관리자 2020.03.12 0 12168
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 13129
관리자 2020.03.12 0 13129
536
[Paper Review] Safety Layers in Aligned Large Language Models: The Key to LLM Security (8)
Sunmin Kim | 2025.11.25 | 추천 0 | 조회 116
Sunmin Kim 2025.11.25 0 116
535
비밀글 [Rehearsal] 석사학위 논문심사 - 류승훈 (16)
관리자 | 2025.11.18 | 추천 0 | 조회 35
관리자 2025.11.18 0 35
534
비밀글 [Rehearsal] 석사학위 논문심사 - 손준영 (17)
Junyeong Son | 2025.11.18 | 추천 0 | 조회 39
Junyeong Son 2025.11.18 0 39
533
비밀글 [Rehearsal] 석사학위 논문심사 - 성시열 (18)
Siyul Sung | 2025.11.18 | 추천 0 | 조회 43
Siyul Sung 2025.11.18 0 43
532
비밀글 [Rehearsal] 석사학위 논문심사 - 남지훈 (19)
Jihun Nam | 2025.11.18 | 추천 0 | 조회 28
Jihun Nam 2025.11.18 0 28
531
비밀글 [Rehearsal] 석사학위 논문심사 - 천재원 (17)
Jaewon Cheon | 2025.11.18 | 추천 0 | 조회 40
Jaewon Cheon 2025.11.18 0 40
530
[Paper Review] Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data (13)
Suyeon Shin | 2025.11.18 | 추천 0 | 조회 192
Suyeon Shin 2025.11.18 0 192
529
[Paper Review] Fusionformer: A Novel Adversarial Transformer Utilizing Fusion Attention for Multivariate Anomaly Detection (13)
Sunghun Lim | 2025.11.07 | 추천 0 | 조회 244
Sunghun Lim 2025.11.07 0 244
528
[Paper Review] AXIS: EXPLAINABLE TIME SERIES ANOMALY DETECTION WITH LARGE LANGUAGE MODELS (13)
Hyeongwon Kang | 2025.10.29 | 추천 0 | 조회 435
Hyeongwon Kang 2025.10.29 0 435
527
Introduction to Discrete Diffusion Language Models. (14)
Jaehee Kim | 2025.10.24 | 추천 0 | 조회 440
Jaehee Kim 2025.10.24 0 440

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 김도윤: doyooni303@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호