이번 세미나에서는 normalizing flow와 관련된 내용을 이상치 탐지에 적용한 사례를 소개해주었습니다. normalizing flow는 베이지안 접근법과 다르게 모델의 입력데이터에 대해서 likelihood을 도출한 점이 frequentist의 기반의 문제를 해결하고자 하였습니다. 이러한 frequentist 접근법의 단점은 안전장치없이 데이터만 보고 모델을 학습하는 문제가 있습니다. 이상치 탐지 task의 경우 미래 시점에 대한 unknown 정보들이 많이 있다고 할 수 있기 때문에 기존에 베이지안 기반의 가우시안 프로세스와 같은 이상치 탐지방법과 정반대되는 특징을 가지고 있습니다. 그 결과, 이번 세미나에서는 normalizing flow가 이상치 탐지가 잘 되지 않는 부분에서 어느정도 공감이 되는 부분이 있고 관련된 자세한 실험내용들을 확인할 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Normalizing Flow를 Out of Distribution detection에 적용하고 개선방법들을 제안한 논문들을 소개해 주셨습니다. Normalizing Flow는 단순한 분포를 연속된 역변환 함수를 적용하여 복잡한 분포로 변환함으로써 확률분포를 예측하는 방식입니다. 따라서 Outlier Detection에서는 Normalizing Flow를 입력으로 활용한 Normal 데이터의 모 분포를 추정하는데 활용하고, 추정된 분포를 기반으로 sample 의 likelihood를 계산하여 outlier를 추출합니다. 하지만 Out of Distribution detection과 제에서 Normalizing Flow를 적용한 경우 좋은 성능을 보이지 못하는 경우가 대부분입니다. 그 이유로 "DO DEEP GENERATIVE MODELS KNOW WHAT THEY DON’T KNOW?" 논문에서는 Normalizing Flow의 수식이 distribution estimation보다 variation에 더 민감하기 때문인 것으로 추측하고 있습니다. 따라서 OoD(SVHN, MNIST) 데이터는 작은 분산을 갖고 있기 때문에 Likelihood가 높게 나온다고 주장합니다. 즉 Normalizing Flow를 사용할 때 Likelihood값을 기준으로 OoD Detection을 진행하는 것은 보다 신중해야 할 필요가 있다고 합니다. Normalizing Flow는 너무 어려운 주제라 이해하기 어려웠지만 발표자님의 상세한 설명 덕분에 감을 잡을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Out-of-Distribution Task에 Normalizing Flow를 적용한 사례에 대해 소개해 주셨습니다. Out-of-Distribution Task의 경우 Sample의 Likelihood가 낮다면 주어진 Class로 표현할 수 없는 데이터로 판정하는 Task를 의미합니다. Normalizing Flow는 정확한 Likelihood를 계산할 수 있다는 점을 강점으로 갖는 방법론에 해당되는데, OOD Detection에 대해서는, 한 번도 관측한 적 없던 Data에 대해 높은 Likelihood를 보이는 경향이 발견됨이 보고되었고, 이러한 현상이 발생하는 이유에 대해 설명해 주셨습니다. 이어서, 이러한 현상을 해결할 수 있도록 하는 Cycle-mask, Bottleneck 등을 도입한 시도에 대해 소개해 주셨습니다. 현상적인 상황으로부터 그 원인을 도출하고 해결책을 제시하는 흐름이 매우 짜임새 있게 느껴졌습니다. 감사합니다.

Explicit density를 활용하는 생성모델 중 하나인 normalizing flow는 역함수가 존재하는 함수를 gaussian으로부터 찾아내어 데이터를 생성하는 방법론입니다. 이 함수는 추가적으로 determinant 연산이 간단해야 합니다. Affine coupling layer를 디자인할 때 신경망 연산이 포함되더라도 첫 번째 partition을 항등함수로 만들어 신경망 output의 determinant 연산을 매우 간단하게 만든 것이 인상깊었습니다. 메인으로 소개해주신 논문에서는 여러 generative 모델이 ood data에 대해 높은 likelihood를 보이는 현상을 문제삼습니다. 그리고 목적함수 내 jacobian term의 regularizing factor가 없음을 지적하며 cv-glow라는 모델로 이를 검증하지만, volume term 역시 문제가 되지 않음을 확인합니다. 추가적으로 테일러 2차 전개를 통해 각 데이터 픽셀 간 분산이 중요함을 확인합니다. 즉, SVHN 데이터의 분산이 더 작게 나타나 ood임에도 불구하고 CIFAR 데이터 분산 내에 위치하여 log-likelihood이 더 크게 나타나는 것입니다. 이후 소개해주신 논문에서는 flow model의 목적식을 변형하여 ood sample에 대한 likelihood를 감소시키도록 유도하여 검출 능력을 향상시킵니다. 생성모델 중 diffusion model이 최근 많은 관심을 받고 있는데 normalizing flow는 이에 대비해서 어떠한 장점을 가질 수 있는지 궁금해졌습니다. 발표 감사합니다.

이번 세미나는 Normalizing flow에 대해 살펴본 후, 해당 방법론이 OOD에서 좋지 않은 성능을 보이는 이유에 대해 살펴보는 시간을 가졌습니다. 먼저 해당 방법론을 처음 접하게 되었는데, 이는 생성 모델 계열 중 하나로 likelihood를 정확히 계산해낼 수 있다는 큰 장점을 가지고 있습니다. 해당 방법론은 이미지 생성 연구에서 좋은 성능을 보이고 있으나, OOD detection에서 유난히 낮은 성능을 보여주고 있습니다. 따라서 세미나에서는 해당 방법론이 OOD detection에서 성능이 하락한 이유를 집중적으로 분석하고 있습니다. Normalizing Flow는 변수변환 공식을 사용하여 분포를 추청하는 모습을 보여주고 있습니다. 소개해주신 논문중 두번째 논문은 변수변환 공식이 성능에 직접적인 영향이 있는게 아닌지 확인하기 위해 latent distribution의 log likelihood와 volume term(=determinant of jacobian)으로 구분한 후 분석을 진행합니다. 결론적으로, 목적식을 살펴보았을 때 기존 식은 generalization 능력이 떨어진다는 것을 확인 한 후 CV glow라는 모델을 제안하여 해당 문제점을 수정하였음에도 불구하고 여전히 SVHN 데이터로 OOD를 수행한 경우 높은 likelihood가 도출되었습니다(데이터셋의 특성으로 결론지음). 이를 개선하기 위해 세번째 논문은 flow모델이 학습하는 inductive bias에 대해 다루었고, flow의 inductive biassms low-level feature에 집중되도록 학습된다는 것을 알게되었습니다. 처음 접한 개념이라 모델의 흐름과 의도가 잘 와닿지 않았었는데, 발표자분이 잘 설명해주셔서 새로운 모델을 알 수 있었습니다. 감사합니다

금일 세미나는 "Why Normalizing Flows Fail to Detect Out-of-Distribution Data"라는 주제로 진행되었습니다. 본 발표에서는 입력 데이터에 대한 likelihood를 계산할 수 있는 Normalizing Flow가 소개되었고, 해당 방법이 다양한 task에서 좋은 성능을 도출했지만 Out of Distribution Detection task에서는 좋은 성능을 도출하지 못하는 원인이 설명되었습니다. 본 발표에서는 두 개의 논문을 기반으로 해당 원인을 설명하였으며, 개인적으로는 두 번째 논문이 흥미로웠습니다. 두 번째 논문에서는 문제의 원인을 데이터 자체의 분산으로 지적한 첫 번째 논문과 다르게 Normalizing Flow가 학습하는 Inductive bias를 문제의 주된 원인이라고 지적하였습니다. 세부적으로는 이를 증명하기 위해 Normalizing Flow가 변환하는 latent representation을 시각화하였습니다. 해당 논문에서는 기존에 제시된 원인과 다른 시각으로 모델 자체에서 원인을 찾으려고 한 점이 인상 깊었고, 문제의 원인을 파악하고 이를 개선하기 위한 방법을 제시한 점도 인상 깊었습니다. 더불어 이번 세미나를 통해 Normalizing Flow를 처음 접하게 되어 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Normalizing flow에 대해서 살펴보았습니다. 연구실 세미나에서는 처음 다뤄지는 주제였는데 발표자님의 준비 덕분에 쉽게 이해할 수 있었습니다. 발표해주신 두 논문에서 normalizaing flow가 왜 Out-of-distribution data 탐색에 적합하지 않은지에 대해서 설명하고 있으며 DO DEEP GENERATIVE MODELS KNOW WHAT THEY DON’T KNOW? 에서는 데이터에 문제가 있음을, Why Normalizing Flows Fail to Detect Out-of-Distribution Data 에서는 모델이 본연적으로 가지는 inductive bias 때문임을 설명하고 있습니다. 개인적으로는 두 논문 모두 주장과 실험 결과가 잘 맞고 실험이 잘 진행되었다고 생각됩니다. 또한 다른 선행 연구들과 충동이 있는 부분도 없는 것 같아서 합리적인 결론이라고 생각하였습니다. 이후 연구들은 어떤 식의 문제를 제기하고 또 풀어나갈지 궁금합니다.

이번 세미나는 normalizing flow를 사용한 Out of Distribution Detection 관련 논문 두가지에 대해서 진행되었습니다. normalizing flow는 변수 변환 공식을 기반으로 변수와 latent variable의 분포를 직접 매핑하는 방식을 취하며, likelihood를 직접 계산할 수 있다라는 점이 다른 generative model들과의 차이점 입니다. 하지만 normalizing flow를 사용하였을 때, OoD likelihood가 높게 계산되는 문제점이 나타났으며, 그에 대한 원인 분석을 다루고 있습니다. 첫번째 논문은 normalizing flow가 데이터의 분산에 큰 영향을 받는 것을 원인으로 들고 있으며, 데이터의 분포가 작을 수록 OoD의 likelihood가 높게 측정되고 따라서, likelihood를 기준으로 OoD Detection을 진행하는 것에 대해 경계해야 한다고 주장하고 있습니다. 두번째 논문은 normalizing flow가 학습한 inductive bias가 문제라고 주장하고 있습니다. normalizing flow가 학습한 inductive bias는 low-level feature에 집중하도록 학습되었다는 것을 문제로 들고 있으며, 성능 개선을 위해서 cycle mask를 사용한 masking 정책 변화와 bottlenect을 사용하여 coupling layer transformation 변화를 주거나, image embedding을 활용하여 inductive bias의 변화를 꾀하는 방법에 대해 소개하고 있습니다. 발표자분께서 normalizing flow에 대한 기초 소개부터 자세하고 찬찬히 잘 설명해주셔서 생소한 개념에도 이해가 잘되었습니다. 좋은 발표 감사합니다.

한 주간의 세미나를 통해 생성모델 계열 중 하나인 Normalizing Flow가 소개되었습니다. 대게 Deep Generative Model이라하면 GAN과 VAE만을 생각했었는데 Normalizing Flow는 정말 처음 들어보는 모델이기에 새롭고 흥미로웠습니다. Normalizing Flow의 큰 아이디어는 Bijective, 즉 역함수가 존재하는 여러 mapping 함수를 통해 가우시안 분포 속에서 좀 더 복잡한 모분포를 추정하는 것입니다. 이를 통해 여느 생성모델과 달리 추정된 분포의 likelihood를 구할 수 있고 일정 기준보다 낮은 likelihood를 갖는 데이터를 OOD 샘플로 예측할 수 있는 것입니다. 허나 OoD와 상관없이 likelihood가 높이 산출되는 경향이 나타나기도 하는데 이는 모델이 학습한 inductive bias의 영향이라는 연구에대해서도 소개되었습니다. 이에 대한 핵심은 low-level feature에 집중되어지는 inductive bias로 인해 더 높은 차원의 특징들이 확인되지 못하게 되는 것입니다. 따라서 inductive bias의 변화를 꾀하기 위해 cycle mask와 bottle neck 방법이 적용됩니다. VAE와 GAN처럼 Normalizing Flow가 각광을 받을지 기대가 됩니다. 유익하고 풍성한 세미나를 준비해주셔서 감사합니다.

Normalizing Flows란 Deep Generative Model 중 하나로 변수 x와 잠재 공간을 나타내는 변수 z의 분포를 직접 매핑하는 방식을 통해 타겟 분포 x를 얻어냅니다. 이는 Latent 분포에서 어떻게 변수의 분포에 연결하는 지에 대한 Coupling Layer를 활용하여 진행하며 이를 통해 OoD에서는 입력 데이터의 모 분포 추정을 통해 Likelihood가 threshold 이하인 경우, OoD로 간주합니다. 이론 상으로는 가능하지만 실제로는 그 성능이 낮아 원인을 탐색하는 논문을 본 세미나에서 다루며 첫 번째 논문은 데이터 자체의 분산 때문이라 지적합니다. 좀 더 자세하게는 Jacobian Determinant가 문제라고 생각될 수 있지만 실질적인 원인은 분산임을 밝혀낸 것입니다. 두 번째 논문에서는 OoD에 대해 높은 Likelihood를 산출한 원인을 다른 시각에서 제시하며 Normalizing Flow 모델 자체가 학습하는 Inductive Bias가 원인이라 주장합니다. 감사합니다.

오늘 세미나는 explicit하게 입력 데이터의 분포를 학습하는 생성 모델 normalizing flow에 대한 내용으로 진행되었습니다. 특히 이미지 생성에 비해 OOD detection에서 좋지 않은 성능을 보이는 이유에 대해 자세히 설명해주셨습니다. 소개해주신 두 논문을 통해서 normalizing flow가 데이터 분산에 영향을 크게 받으며, low-level feature에 주로 집중하도록 학습하게 하는 inductive bias가 그 원인일 것이라는 것을 짐작할 수 있습니다. 두번째 논문에서 cycle masking 등을 도입하여 inductive bias에 변화를 주어 문제를 해결하려고 한 것이 인상깊었습니다. 두 번에 걸친 세미나를 통해 normalizing flow가 무엇인지, 특정 task에 어떻게 적용할 수 있는지 자세히 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Normalizing flow가 어떤 것인지에 대해, 그리고 OOD Detection에서 normalizing flow의 성능이 좋지 않은 이유에 대해 소개되었습니다. Normalizing flow는 generative model 중 하나로 Bijective mapping function을 학습하고, GAN이나 VAE 대비 likelihood를 정확하게 계산할 수 있는 Explicit한 방법론입니다. Likelihood를 직접 계산할 수 있다는 점에서 OOD Detection 성능도 뛰어날 것 같지만 Normalizing flow는 OOD Detection 성능이 좋지 못하고, 이 원인을 다룬 두 가지 논문이 소개되었습니다. 첫 번째 논문인 "DO DEEP GENERATIVE MODELS KNOW WHAT THEY DON’T KNOW?" 에서는 Normalizing flow 자체의 목적함수 뿐 아니라 데이터의 분산이 원인이 될 수 있음을 실험적으로 보여주고, 두 번째 논문인 "Why Normalizing Flows Fail to Detect Out-of-Distribution Data" 에선 Normalizing flow가 학습하는 inductive bias가 semantic content와는 거리가 있음을 좀 더 직관적으로 보여줍니다. 두 번째 논문에선 이에 대한 해결책으로 세 가지를 제시하고 이를 통해 모델이 학습하는 inductive bias를 semantic한 방향으로 개선합니다. 개인적으로 모델이 학습하는 inductive bias라는 다소 추상적인 개념을 시각화해서 보여준 두 번째 논문이 재밌었고, Normalizing flow라는 방법론 자체에 수식설명이 많이 포함되어 있었는데 이를 두 번의 세미나를 걸쳐 찬찬히 설명해 주셔서 어느정도 이해할 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 normalizing flow가 왜 OOD Data를 detection 하는 데에 실패하는지에 대한 논문을 소개해 주셨습니다. Normalizing Flow는 bijective mapping 함수를 바탕으로 가우시안 분포의 latent로부터 알지 못하는 복잡한 형태의 분포를 찾아내는 기법을 의미합니다. 하지만, “Doo deep generative models know what they don’t know?” 논문에서는 Normalizing Flow기법으로 OOD를 수행할 때, OOD 데이터에 대해서 likelihood가 높게 계산되는 문제점을 제안합니다. 이 문제점은 데이터의 분산의 차이에서 비롯된 것으로, 특정한 테스트 데이터 (SVHN, MNIST)는 작은 분산을 가진다는 점이 높은 likelihood의 원인이었습니다. 두번째 논문인 “Why normalizing flow fail to detect OOD Data?” 논문에서는 이 높은 likelihood의 원인을 보다 자세히 분석한 논문으로, inductive bias 측면에서 OOD를 잘 하도록 NF 모델을 학습시키고자 했습니다. 본 논문에서는 inductive bias로 semantic content를 학습하도록 하여 OOD 데이터를 잘 구분하도록 합니다. 그 방법으로는 cycle-mask의 도입, bottleneck의 도입, pretrained network를 활용한 image embedding 사용하는 것을 제안하여 inductive bias를 강제합니다. 다소 어려운 논문이었으나 두 시간의 세미나를 걸쳐 수식적으로, 실험적으로 자세히 풀어 설명해주신 점이 좋았습니다. 최근 들어 현행 방법론의 문제를 새롭게 정의하고 분석하는 논문들이 세미나에서 자주 다뤄지는 것 같은데, 나름 대로 생각해볼 거리가 많아서 유익한 것 같습니다. 좋은 발표 감사합니다.

Normalizing Flow는 deep generative model 계열 중 하나로, 변수 변환 공식의 아이디어에 기반하며 변수 x와 잠재공간을 나타내는 변수 z의 분포를 직접 mapping하는 접근을 취합니다. Normalizing Flow는 다른 생성모델과는 다르게 직접적으로 모델의 입력 데이터에 대한 likelihood를 계산해낼 수 있다는 점에서 ‘tractable’하며, 이러한 특징으로 인해 모델을 다양하게 활용할 수 있다는 장점이 존재합니다. 하지만, Normalizing Flow는 OOD(Out of Distribution Detection) 데이터에는 좋은 성능을 보이지 못한다는 단점을 안고 있습니다. 금일 세미나는 왜 Normalizing Flow가 이런 OOD 과제에 대해서는 좋지 않은 성능을 보이는가에 대한 논문들을 2개 소개해 주셨습니다.

첫번째 논문인 은 OOD 데이터가 높은 likelihood를 갖는 중요한 원인으로 데이터 자체의 작은 분산이라는 것을 실험적으로 도출합니다. 두번째 논문인 는 OOD 데이터에 대해 높은 likelihood가 산출되는 다른 원인을 제시합니다. 이는 바로 Normalizing Flow 모델 자체가 학습하는 Inductive bias가 문제의 주된 원인이라고 지적하며 (1) Checkerboard Masking 방식의 변화 (2) st-network에 bottleneck도입 (3) CNN에서 얻어낸 image embedding feature을 통해 개선시키고자 하였습니다. 수식들이 많아 어려웠지만 2번에 걸쳐 세미나를 진행해 주셨을 뿐만 아니라 inductive bias관련된 연구라서 재밌게 잘 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 Normalizing Flow에 대한 소개와 Out of Distribution(OOD) task에서 Normalizing Flow가 좋은 성능을 보이지 못하는 이유에 대해 설명하는 논문에 대한 리뷰로 진행되었습니다. Normalizing Flow는 생성모델로서, 변수 x와 잠재공간 z의 분포를 매핑하는 bijective mapping function을 학습한 후, 가우시안 분포로부터 x에 대한 분포를 찾아내는데에 목적을 둡니다. 다른 생성모델에 비해 likelihood를 정확하게 계산할 수 있다는 점에서 다른 생성모형과 차이점을 가집니다. 이런 장점에도 불구하고 OoD 데이터셋에 대해 likelihood가 높게 도출이 된다는 한계점에 대한 원인을 탐색하고자 2편의 논문을 소개해주셨습니다. 첫번째 논문에서는 데이터가 갖고 있는 분산이 작음을 원인으로, 두번째 논문에서는 Inductive bias를 높은 likelihood의 원인으로 지적했습니다. 이미지 이상탐지 관련 연구를 수행하면서 읽었던 CFLOW-AD 논문을 떠올리며, Normalizing Flow와 그 한계점에 대해 연관지어 들을 수 있어 유익했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 두번에 걸쳐 Normalizing Flow에 대한 전반적 소개와, 해당 방법론이 OOD 과업에서 성능이 좋지 않은 원인을 논하였습니다. 우선 Normalizing Flow는 생성계열 모델로서, Bijective Mapping을 기반으로 역변환 함수 이용해 확률분포를 예측하는 방법론입니다. Likelihood를 계산할 수 있는 특성을 가지는데, 문제는 OOD 데이터셋에 대해 추론 시 likelihood가 오히려 증가하는 상식적으로는 이해하기 어려운 현상이 있었고, 이것에 대한 원인을 탐색하고자 하는 논문을 소개해주셨습니다. 해당 논문에 따르면 데이터 자체가 갖는 분산이 작다는 것을 원인으로 지적하며, 다른 논문의 경우 inductive bias를 문제 삼습니다. 즉 Normalizing Flow는 이미지 데이터에 대해서 local pixel corr와 같은 특징에 중점을 둔다는 부분입니다. Normalizing Flow는 아직도 굉장히 낯선 개념인데, 생성모델 계열 중에서도 나름 활발히 연구가 되는 분야인 것 같아서 흥미롭게 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Normalizing Flow라는 새로운 개념과 이 모델이 Out of Distribution detection 문제를 해결하지 못하는 이유를 주제로 진행되었고, 총 2가지 논문을 소개해셨습니다. Normalizing Flow란 생성모델의 한 계열로 변수 변환의 아이디어에 기반하여 변수 x와 잠재 공간을 나타내는 변수 z의 분포를 직접 mapping하는 접근을 취합니다. Bijective 매핑 함수를 직접 학습하여 가우시안 분포로부터 새로운 분포를 찾아내고자 합니다. explicit하고 tractable하기 때문에 likelihood값을 정확히 계산할 수 있다는 장점이 있다는 점에서 다른 모형과의 차이가 있습니다. 하지만 본 normalizing flow 모델은 out of distribution을 해결하지 못한다는 실험 결과가 제시되었으며, 소개해주신 두 논문은 각각 데이터의 분산과 모델이 학습하는 inductive bias를 주요 원인으로 주장하고 있습니다. 우선 첫번째 논문 DO DEEP GENERATIVE MODELS KNOW WHAT THEY DON’T KNOW?은 OoD likelihood가 높게 계산이 되는 실험 결과를 관측하였고 이는 분포의 추정치보다 분산에 더 민감하기 때문이라고 주장했습니다. 두번째 논문 Why Normalizing Flows Fail to Detect Out-of-Distribution Data은 OoD의 높은 likelihood 원인으로 모델이 학습한 inductive bias 때문이라고 주장하며 detection의 결과를 개선하기 위해 chekerboard masking 방식을 변화시키고 CNN에 얻어낸 image embedding feature를 활용하는 등의 방안을 제시했습니다. Normalizing Flow라는 생소한 개념을 연구실 구성원들이 이해할 수 있도록 상세하고 꼼꼼하게 준비해주셔서 진심으로 감사드립니다.

이번 세미나에서는 최근 주목해야할 방법론으로 많이 거론되는 normaling flow 에 대한 발표였습니다. GAN/VAE 와 달리 데이터의 분포를 좀 더 명확하게 구별하는 느낌을 받을 수 있었다. normalizing flow 는 가우시안 분포에 invert 한 연산을 통해 확률분포를 모델링 하는 방법론이다. 이를 활용하여 첫 논문에서 Normalizing Flow기법으로 OOD를 수행할 때, OOD 데이터에 대해서 likelihood가 높게 계산되는 문제점을 개선하고자 했고, 두번째 논문에서는 Normalizing flow가 학습하는 inductive bias가 문제가 있음을 보여주며 이를 해결하고자 했습니다. 새로운 개념이라 상당히 다른 자료를 찾아보며 발표를 들었는데, 발표자의 내용이 매우 상세하게 step by step 으로 설명해주셔셔 논문의 핵심을 이해하는데 도움이 많이 됬습니다. 이러한 내용의 적용은 코드를 보며 좀 더 직관적으로 습득해야할 것 같으나, 관련내용으로 좋은 아이디어로 접목해서 좋은 연구 결과 있길 바랍니다. 감사합니다.

이번 세미나는 normalizing flow를 활용한 OOD detection 방법론에 대한 세미나입니다. 우선 첫번째 논문은 기존의 문제점들에서 흔하게 발생하는 원인과 같이, Normalizing Flow의 목적함수 의 Volume Term(Determinant of Jacobian)이 문제의 원인이라고 주장하지만, 하지만 정확한 원인은 Volume term이 아닌 데이터 자체의 분산임을 끝으로 보여주는 논문입니다. 두번째 논문은 학습할 때 발생하는 Inductive bias가 문제의 원인이라고 주장하는 논문입니다. 모델을 문제의 원인으로 지적한 것으로서, checkerboard masking대신 cycle mask를 사용하는 대안을 제시하였는데, 발표 시 질문드렸듯이, 논문의 주장대로 flow의 inductive bias가 이미지의 low-level feature를 추출하는 역할이면, in distribution data의 latent representation of flows를 시각화했을 때 이 역시도 edge와 같은 low-level feature를 잘 추출해야 하지만, OOD data와는 다르게 해당 feature를 추출하지 못하는 문제점이 있었고, 이에 대해 언급이 없는 논문이라는 것이 아쉬웠습니다. 두 논문 모두 결과부터가 아닌, 연구자들이 갖고 있던 생각 흐름으로 설명해주셔서 이해하기 쉬웠습니다. 감사합니다.

이번 세미나는 OOD Detection 관련 논문을 소개해주셨습니다. 구체적으로는 OOD Detection 분야에서 Normalizing flow를 활용한 방법론이 왜 통하지 않는지에 대한 원인을 파악하는 연구였습니다. Normalizing flow는 OOD Detection을 하는데 있어 수학적 이론을 탄탄하게 제공해주기 때문에 이전에도 이를 통해 OOD Detection 문제를 해결하고자 한 논문을 본 기억이 있습니다. 해당 논문에서는 NF가 효과적으로 적용되어 OOD Detection 분야에서 가능성이 있고, 다른 GAN이나 AE기반 혹은 Generative 모델 기반의 OOD Detection 모델과 비교하여 수리적 배경을 제공한다는 장점이 존재하는 것을 소개한 논문이었습니다. 하지만 이번 세미나에서는 그에 반대되는 이야기를 해주어 흥미로웠습니다. 정리해보면 NF의 성능이 저하되는 요인은 데이터 자체의 작은 분산과 inductive bias 때문이었습니다. 소개해주신 두 개의 논문에서 각각을 지적하였는데 두 논문이 주장하는 논리적 흐름을 step by step으로 차근차근 설명해주셔서 이해가 수월하였고, 특히 두 번째 논문에서 문제를 해결하기 위해 masking 방식을 제안한 것이 인상깊었습니다. 좋은 발표 감사드립니다.

오늘 소개해주신 내용은 normalizing flow는 왜 out-of-distribution(OOD) 데이터를 detection하는 것에 적합하지 않는가? 라는 주제로 두 가지 논문에 대해 소개해 주셨습니다. Noramlizing flow에 대해 이전부터 설명해 주셔서 세미나 내용을 이해하기 수월했습니다. 이번 세미나에서는 normalizing flow가 다른 모델과 달리 tractable 하게 입력 데이터의 likelihood를 계산할 수 있다는 점에서 장점이 되지만 새로운 데이터에 대해서 likelihood를 계산할 시 학습 데이터와 크게 구분하지 못하는 단점을 지적합니다. 이러한 근거로 두 가지 논문은 원인이 되는 부분을 데이터와 모델 측면에서 살펴보았습니다. 결과적으로 normalizing flow는 모델의 특성상 OOD 데이터에 적합하지 않는 구조지만 이러한 문제를 해결하면 tractable 한 장점을 살려서 OOD에 대한 설명을 나타낼 수 있는 좋은 모델이 될 수 있지않을까 생각했습니다. 오늘도 좋은 발표 감사합니다.