금일 세미나 시간에는 Deep Hybrid Model for Out-of-Distribution Detection이라는 주제로 Out-of Data를 탐지하는 task인 OOD task의 최신 논문을 다루어 보았습니다. OOD task는 이를 수행하는 방법에 따라 uncertainty based, representation based 그리고 Outlier Exposure 혹은 self-supervised 기반의 방법 등으로 나누어 볼 수 있는데, 금일 소개한 논문에서는 DNN 모델과 최근 많은 연구들에서 활용되고 있는 Normalizing Flow (NF) 모델을 결합한 Hybrid 모델을 통해서 OOD Detection에서 SOTA의 성능을 달성하였다고 합니다. 여기서 주목할 점은 OOD Detection task에서 비교적 난이도가 높은 설정인 “CIFAR10 VS CIFAR 100” task 에서 AUROC 기준 1의 성능을 달성하였다는 점인데, 이는 기존 연구들에서는 도달하지 못하였던 성능이라고 합니다. 하지만, 정확한 코드 및 실험결과를 오픈하고 있지는 않은 상황이라 재현에는 어려움이 있다고 발표자는 말하였습니다. 해당 논문에서는 기존의 Uncertainty를 Data Uncertainty + Dstirbutional Uncertainty + Model Uncertainty로 factorization하는 개념을 제안하였는데, 이과정에서 앞서 언급한 Normalizing Flow를 통해 Distributional Uncertainty를 활용하였습니다. Normalizing Flow의 개념은 과거 GAN과 VAE 그리고 Flow-based model을 이해할 때 잠시 접하였는데, 이번기회를 통해 다시금 알아가는 기회를 가졌습니다. 개인적으로는 AUROC기준 1.0의 성능이란 것이 결국 OOD Detection이 정복되었다는 느낌을 받았기에 해당 task에서 앞으로 어떠한 후속 연구들이 가능할지도 기대가 되었습니다.

금일 세미나는 "Deep Hybrid Model for Out-of-Distribution Detection"라는 주제로 진행되었습니다. 본 발표에서는 OOD detection에 적합한 uncertainty factorization 개념을 제안한 Deep Hybrid Model이 소개되었습니다. Data uncertainty에 집중한 기존의 방법론들과 다르게 Deep Hybrid Model은 normalizing flow 모델을 활용하여 distributional uncertainty를 함께 고려하였습니다. 다양한 분야에서 normalizing flow가 활용되고 있지만 OOD 분야에서 해당 모델이 적용된 사례는 처음 접해서 흥미로웠습니다. Deep Hybrid Model은 ID와 OOD의 거리가 input space에서 실제로 가까울 수 있고 target class 정보인 y에 대한 semantic information을 알 수 없기 때문에 normalizing flow가 OOD에서는 성능이 저조하다는 한계점을 보완하기 위해 기존 DNN과 normalizing flow를 결합하였으며, 세부적으로는 ID target class의 semantic information을 반영하기 위해 input에 normalizing flow를 적용하는 것이 아니라 DNN이 산출한 representation vector에 해당 모델을 적용하였습니다. 모델링 부분에서는 매우 간단한 방법으로 normalizing flow의 적용 성능을 향상시켰지만, 이를 수식으로 자세하게 증명한 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Deep Hybrid Model for Out-of-Distribution Detection이라는 논문을 다루었습니다. 이 논문은 OOD detection을 다루는데, ood detection은 학습데이터 다른 데이터 분포를 감지하는 것을 의미합니다. 이 task에 대해 저자들은 deep hybrid model(DHM)을 제안합니다. DHM은 uncertainty factorization을 통해 p(x,y)를 세 가지 불확실성 요소로 분해함으로써, 학습 데이터와 의미적으로 다른 데이터를 탐지할 수 있는 능력을 보입니다. 계산효율성을 위해 학습 과정에서 weight normalization step을 추가한 것 또한 인상적이었습니다. 실험 결과에서는 ood detection task에서 100%의 성능을 달성했습니다. 다만 이 논문에서는 코드를 공개하지 않고 있다고 말씀해주셔서 개인적으로 진짜인지 아닌지는 생각해봐야 한다는 생각을 하였습니다. Ood detection이 개인적으로 익숙하지 않은 task였기 때문에 내용을 100% 이해하기는 어려웠지만 발표자분께서 내용을 단계별로 자세하게 설명해주신 덕분에 핵심 내용은 이해할 수 있었던 것 같습니다. 또한 수식 증명을 자세하게 설명해주신 점이 굉장히 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나는 OOD detection에 적합한 uncertainty factorization 개념을 제안한 “Deep Hybrid Model for Out-of-Distribution Detection”에 대해 다뤄 주셨습니다. 해당 논문에서 제안하는 방법론인 Deep hybrid Model (DHM)은 DNN 모델과 Normalizing Flow 모델을 결합한 Hybrid Model을 통해 OOD Detection task에서 SOTA를 달성했습니다. 해당 방법은 Residual DNN에 Spectral Normalization을 적용하고, Normalizing Flow 모델을 사용한 것으로 input x와 그에 대한 DNN의 representation vector h에 대해 p(x) ~ p(h)를 가능케 하였으며, 이를 증명하고 있습니다. Input 데이터에 대해 DNN을 통해 Feature를 추출하고 Normalizing Flow를 이용하여 확률 분포를 추정한다는 점이 Anomaly Detection 방법론 중 하나인 AST와 유사해 보인다라는 생각이 들었으며, 이를 직접적으로 L-bi-Lipschitz mapping을 통해 증명됨을 보여준다는 것이 놀라웠습니다. 또 일반적인 신경망과 Normalizing Flow를 합친 것을 Deep Hybrid Model이라 부르는 것을 처음 알았고, 새로운 개념을 알게 되는 시간이었던 것 같습니다. 결국에는 어떻게 하면 In distribution을 잘 학습하냐가 포인트라 생각되는데 이는 OOD detection 뿐만 아니라 다른 Task에서도 중요한 것 같습니다. 좋은 발표 감사합니다.

본 세미나에서는 Deep Hybrid Model for Out-of-Distribution Detection 라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문에서 제안한 구조인 DHM은 DNN 모델과 Normalizing Flow 모델을 결합한 Hybrid Model을 통해 OOD Detection task에서 SOTA를 달성하였습니다. 본 논문에서는 OOD detection에 적합한 uncertatinty factorization을 제안하였습니다. 또한 기존 hybrid model이 p(x)를 p(h)로 근사하는 부분에 대한 문제를 제기하며, 이를 위해 residual block 기반의 DNN에 SN을 적용하면 근사가 가능하다는 사실을 수학적으로 증명하였습니다. 결론적으로 vision & text domain에서 AUROC 기준 1.000의 가장 높은 OOD detection 성능을 달성하였습니다. SN을 적용하는 것이 어떻게 p(x)를 p(h)로 근사가 가능한지 수학적으로 증명하는 부분이 굉장히 까다로웠는데, step-by-step으로 설명해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Deep Hybrid Model for Out of Distribution Detection 논문을 바탕으로 발표를 진행해주셨습니다. 발표자분은 지속적으로 Out-of-Distribution Detection Task를 다루어 주시고 있는데, 이번 발표 역시 OOD Data Detection을 목적으로 OOD Score를 산출하는 방법론 중 하나인 Uncertainty Based Hybrid model에 관하여 다루어 주셨습니다. 해당 논문에서 제시하는 Deep Hybrid Model은 DNN 모델과 Normalizing Flow 모델을 결합한 Hybrid 모델로, OOD Detection에서 압도적인 성능으로 SOTA를 달성한 모델입니다.해당 모델에서는 OOD Detection에 적합한 Uncertainty factorization 개념을 제안하고 있습니다. 기존 모델들에서 Data Uncertainty에만 치중하는 모습을 보였다면, DHM에서는 Normalizing Flow를 이용하여 Data Uncertainty와 Distributional Uncertainty, Model Uncertainty를 모두 고려하고 있었습니다. 해당 내용을 모두 고려하기 위하여 DHM은 Residual DNN with Spectral Normalization, Normalizing Flow 의 형태를 가지고 있으며, 이와 같은 형태를 가짐으로써 Input과 DNN의 Representation vector를 근사시킬 수 있다는 것을 수식적으로 잘 정리하고 있습니다. 이를 통하여, 결론적으로 해당 논문에서는 Residual DNN with Spectral Normalization, Normalizing Flow 의 형태를 사용한다면 Data Uncertainty와 Distributional Uncertainty, Model Uncertainty를 모두 고려할 수 있다는 것을 증명하고 있습니다. Official code를 보고 실험 결과가 재현되어야 하겠지만, Vision 및 Text Domain에서 AUROC 기준 1.000의 높은 OOD Detection 성능을 달성한 것이 매우 놀라웠고, 전체적인 증명 과정을 설명해주시기 위하여 발표자분이 많은 시간과 노력을 들였다는 생각이 들었습니다. 좋은 논문 소개 및 발표 정말 감사드립니다.

금일 세미나는 "Deep Hybrid Model for Out-of-Distribution Detection" 논문을 주제로 진행되었습니다. 해당 논문에서 제시된 Deep Hybrid Model (DHM)은 DNN 모델과 Normalizing Flow 모델의 결합으로 Out-of-Distribution Detection 과제에서 탁월한 성능을 보여주었습니다. DHM은 Uncertainty factorization이라는 새로운 개념을 제시하였으며, 이는 기존의 데이터 불확실성에 치중하는 대신, 데이터, 분포, 모델의 불확실성을 모두 고려하는 혁신적인 접근 방식입니다. 아울러, Spectral Normalization (SN)을 적용하여 p(x)와 p(h)가 근사화하는 가정을 개선한 점은 본 논문의 또 다른 주요 기여입니다. 이 부분은 본 논문에서 수학적으로 탄탄하게 증명되었으며, 이런 방식을 통해 본 연구가 OOD detection에서의 성능 향상을 이루었음을 볼 수 있습니다. 이러한 연구 결과를 보고서 Vision과 Text 도메인에서 AUROC 기준 1.000이라는 높은 OOD Detection 성능을 보여준 것은 매우 인상적이었습니다. 발표자의 자세한 설명 덕분에 이 복잡한 주제를 보다 쉽게 이해할 수 있었습니다. 끝으로, 논문에서 제시된 접근법과 연구 결과가 앞으로의 OOD Detection 연구에 큰 도움이 될 것이라는 점을 명심하며, 이번 발표가 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나 주제는 Out-Of-Distribution(OOD) Detection 였습니다. OOD는 데이터가 target dataset 에 없는 class를 가질 때의 상황을 의미합니다. 그래서 특정 데이터가 OOD 데이터인지 탐지하는 연구 주제가 OOD detection 입니다. 이에 여러 갈래가 존재하는데, 이번 세미나에서 소개된 방법론인Deep Hybrid Model(DHM)은 uncertainty 기반의 방법론입니다. 세부적으로는 Data uncertainty, Distributional Uncertainty, Model Uncertainty 세 가지를 함께 고려합니다. 특히 distributional uncertainty 를 추론하기 위해 Normalizing flow를 사용한 점이 주요 특징입니다. Normalizing flow는 주어진 데이터의 확률 밀도 분포를 우리가 다룰 수 있는 어떠한 feature로 mapping 하는 방법입니다.

한편, 본 방법론은 Normalizing flow에 더해 Spectral Normalization 도 함께 적용합니다. 워낙 내용이 어렵다보니 완벽히 이해할 수는 없었지만 각각의 개념에 대해서 정리된 내용을 확인할 수 있어서 좋았습니다. Normalizing Flow는 잘 알아두면 많은 적절하게 잘 사용될 수 있는 유익한 개념인 것 같습니다. 발표 잘 들었습니다.

이번 세미나에서는 Deep Hybrid Model for Out-of-Distribution Detection 논문을 다루어 주셨습니다. 본 논문에서 소개하고 있는 Deep Hybrid Model(DHM)은 DNN 모델과 Normalizing flow (NF) 모델을 결합한 Hybrid Model을 이용하여 OOD detection 테스크에서 SOTA를 달성하였습니다. 여기서 이용하고 있는 Spectral Normalization(SN)은 GAN의 discriminator를 안정적으로 학습시키기 위해 spectral norm값으로 각 layer를 정규화하는 것을 의미합니다. 최종적으로 DNN은 activation function과 layer들간의 합성 함수이므로 SN을 적용하면 Lipschitx Norm이 1이하인 Lipschitz Continuous한 함수가 되어 gradient가 발산하는 것을 방지하고 있습니다다. 이러한 방법론을 적용하게 되면, p(x)와 p(h)가 유사하게 되고, DNN을 통한 mapping전후의 분포 정보가 보존되게 됩니다. 이와 함께 uncertainty factorization 개념을 제안하고 있는데 기존 방법론에서는 uncertainty만을 반영하고 있다면, DHM에서는 uncertainty와 distributional uncertainty, model uncertainty를 반영하여 함께 고려하였다는 점에서 차이점이 있습니다. 실험 부분에서 log-P(x)의 값을 시각화한 결과 ID와 OOD가 확연하게 구분되는 모습을 확인할 수 있었으며, 기존에 가장 어렵다고 알려진 실험 상황(Cifar10, Cifar100)에서 AUROC, AUPR 기준 1의 성능을 달성하고 있습니다. 계속적으로 OOD detection과 관련한 논문들을 다루어 주시고 계시는데 덕분에 관련 연구의 흐름이 잘 정리되는 것 같습니다. 좋은 발표 감사합니다!

이번 세마나에서는 “Deep Hybrid Model for Out-of-Distribution Detection”이라는 연구를 소개해주셨습니다. 해당 연구에서는 Normalizing Flow와 DNN을 결합해 OOD Detection Task에 활용한 방법론인 Deep Hybrid Model(DHN)을 제안했습니다. 해당 방법론은 기존 선행 Hybrid Model의 한계를 Residual Block 기반의 DNN에 Spectral Normalization을 적용함으로써 극복했습니다. 또한 단순히 p(y|x, theta)를 통해 Data에 대한 불확실성만 고려하는 것이 아니라, Distributional Uncertainty, Model Uncertainty을 함께 고려하여 OOD Detection Task에 적합한 Uncertainty Factorization도 제안했습니다. [CIFAR10 vs CIFAR 100] 실험 세팅에서 AUROC와 AUPR 지표 기준 1.000의 성능을 달성하기도 하며 실험적으로도 해당 방법론의 효과성을 보여 OOD에서 완벽한 성능을 보인 점이 매우 인상적이었습니다. Normalizing Flow에 대한 개략적인 이해도만 가지고 있었기에 해당 방법론을 완벽히 이해하지는 못했지만, 발표자 분의 자세한 설명 덕에 많은 도움을 받을 수 있었습니다. 좋은 발표 감사드립니다.

해당 세미나에서는 “Deep Hybrid Model for Out-of-Distribution Detection”이라는 주제로 진행되었습니다. 오늘 소개된 논문은 OOD에서 DNN모델과 Normalizing Flow 모델을 결합하여 SOTA를 달성한 방법입니다. 해당 논문은 SOTA뿐만 아니라 uncertainty factorization개념을 제안하였습니다. 기존에 NF를 사용한 방법들은 OOD task에서 좋지 않은 성능을 보였습니다. 그 원인은 OOD와 input space X 사이의 거리가 실제로 가까울 수 있고 P(x|D)자체만으로는 target class의 semantic information을 알 수 없기 때문이라고 보았습니다. 따라서 Normalizing Flow를 이용하여 data uncertainty, distributional uncertainty, model uncertainty를 모두 고려하도록 제안하고 있습니다. spectral normalization을 추가하여 gradient가 발산되지 않는 효과까지 보였습니다. 저에게는 굉장히 생소한 내용이었지만 발표자분께서 단계별로 설명을 잘 해주셔서 이해 하는 데에 수월했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Deep Hybrid Model for Out-of-Distribution Detection 논문을 소개해 주셨습니다. 본 논문은 OOD(Out of Data)를 탐지하는 과업을 위한 것으로 uncertainty factorization 개념 제안하여 그를 달성하고자 합니다. 논문에서 제안하는 uncertainty 는 Data Uncertainty, Dstirbutional Uncertainty, Model Uncertainty를 함께 반영하는 것으로 Normalizing Flow를 통해 데이터에 따른 분포의 uncertainty를 계산하여 활용합니다. 무엇보다 이번 세미나에서 인상이 깊었던 점은 이번 논문의 모델이 1.0의 AUROC를 달성했다는 점인 것 같습니다. 사실 사람이 task를 수행하여도 만점을 받는 것은 어려운데, 이번 논문 하나로 갑자기 task가 정복이 되었다는 것은 약간 믿기가 어려운 것 같습니다. 실제로 코드를 공개하고 있지 않아 약간은 검증이 필요한 상황이라고 하니, 주의 깊게 살펴볼 필요가 있는 것 같습니다. 만약 정말로 1.0의 성능이 제대로 나온 것이라면 당장은 새로운 모델을 만들어 내기 보다는 더 어려운 데이터를 어떻게 만들지가 연구될 필요가 있지 않을까 생각을 해봅니다. 좋은 발표 감사합니다.

금일 세미나는 Normalizing Flow를 기반으로 OOD Detection을 제안하는 "Deep Hybrid Model for Out-of-Distribution Detection" 이었습니다. 이전 연구인 Hybrid Model for Open Set Recognition은 단순히 DL 모델에 NF를 적용한데 반해 해당 논문에서는 NF 적용을 통해 OOD Detection을 위해서는 p(z)와 p(x)가 일치해야 한다는 점을 지적하고 있습니다. 이를 위해 NF를 단순히 적용하지 않고, Spectral Normalization을 통해 두 분포가 일치하도록 하고 있습니다. 실제로는 Spectral Normalization을 적용한다면, DNN이 Lipshitz Constraint를 만족시킬 수 있음을 증명하고 있습니다. 이를 실제 실험을 통해서도 매우 압도적인 성능을 보여주고 있으며, 시각화 결과에 있어서도 p(x)를 제대로 모델링할 수 있게 되면서 In Domain과 OOD의 분포 차이를 확인할 수 있었습니다. 기존의 NF 적용이 단순히 representation에 대한 분포를 고정시키는 역할에 그쳤다면, 해당 논문에서는 분포를 입력 데이터부터 고정하기 위해 단단한 수식 전개를 통해 증명하는 모습이 인상적이었습니다. 이미지 데이터의 경우 픽셀을 데이터로 삼기 때문에 연속적인데, 이러한 실험 결과가 discrete한 텍스트 데이터에도 적용될 수 있을 지 향후 개인연구를 통해 확장시켜보고 싶습니다. 감사합니다.

본 세미나는 박경찬 발표자님께서 "Deep Hybrid Model for Out-of-Distribution Detection"이라는 주제로 진행해주셨습니다. 해당 paper는 classification task에서 out-of-distribution data가 들어왔을 때 이를 탐지하는 세부 task를 바탕으로 소개되었습니다. 특히 기존 방법론들이 data uncertainty에 집중하고 있다는 문제점이 있어, DNN과 Normalizing flow model을 결합한 Hybrid Model을 제안하여 해결하고자 합니다. 이에 따라 background model로 DHM이 소개되어 Spectural normalization을 적용하여, DNN 모델을 Lipschitz continuous한 함수를 가지도록 바꿔줍니다. 이 효과는 Lipschitz norm이 1이하인 Lipschitz Continuous한 함수가 되어, gradient가 발산하는 것을 방지하는 특징이 있습니다. 또한 residual blocks기반 모델에 Spectural Normalization을 적용하면 DNN은 L-bi-Lipschitz mappng이 되기에, mapping 전후의 분포 정보가 보존되는 효과가 있습니다. 해당 세미나를 들으면서 수식이 굉장히 많고, 가정에 따른 증명 과정이 많았는데 상세하게 설명해주셔서 이해하기 쉬웠습니다. 마지막으로 OOD라는 문제점은 Computer vision 뿐 아니라, NLP에서도 충분히 발생할 수 있는 문제이기 때문에 해당 논문을 기반으로 아이디어를 생각하여 적용하면 좋을 것 같다고 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 Deep Hybrid Model for Out-of-Distribution Detection를 주제로 진행되었습니다. Deep Hybrid Model(DHM)은 OOD task를 위해서 DNN 모델과 normalizing flow를 결합한 모델입니다. 기존에 ‘Hybrid Models for Open Set Recognition’라는 모델에서도 DNN과 normalizing flow를 결합한 모델을 제안하였었지만 단순히 DNN이 산출한 representation vector에 normalizing flow를 적용하였고 여기서 representation vector의 확률이 input의 확률을 만족한다는 것을 보장할 수 없었습니다. 이를 해결하여 두 확률이 유사하도록 spectral normalization을 적용한 모델을 제안하였습니다. spectral normalization을 적용하면 lipschtiz continuous한 함수가 되어 gradient가 발산하는 것을 방지하고 이를 통해 normalizing flow가 근사적으로 Input x에 대한 p(x|D)를 추정함을 증명하였습니다. 수식적으로 굉장히 어려웠지만 OOD task에서 만족해야하는 가정에 대해 심도있게 접근하여 해결하려한 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나는 "Deep Hybrid Model for Out-of-Distribution Detection"에 대해 소개해주셨습니다. Out of distribution이란 OOD로도 불리며, target dataset에 속하지 않은 class를 갖는 data를 의미합니다. 이를 잘 탐지하기 위한 모델 중, Deep Hybrid Model(DHM)은 DNN 모델과 normalizing flow 모델을 결합한 것으로, OOD detection task에서 SOTA를 달성한 모델입니다. 기존 방법론들과 DHM은 process 중 핵심 고려 사항이 다릅니다. 기존 방법론들은 data uncertainty에 집중하는 특징이 있으나, DHM은 normalizing flow 모델을 활용하여 distributional uncertainty까지 함께 고려하는 모델입니다. 해당 논문은 AUROC 기준 1.000의 최고 성능을 달성하였습니다. 세미나 시간에도 논의가 있었듯이, 이 성능이 정말 믿을만한 것인지, 만약 그렇다면 왜 이후 인용이 활발히 진행되지 않고 있는 것인지 두 부분에 대해 의문이 생겼던 것 같습니다. 낯선 분야이기에 어려움이 있었으나, 발표자분께서 편안히 발표를 진행해주셔서 이해에 도움이 되었던 것 같습니다. 좋은 발표 준비해주셔서 감사드립니다.

금일 세미나는 OOD detection을 주제로 한 논문 Deep Hybrid Model for Out-of-Distribution Detection을 주제로 진행되었습니다. 발표자 분께서 꾸준히 OOD detection과 관련한 논문을 소개해주셔서 흥미롭게 듣고 있습니다. OOD detection이란 classification 과업에서 target dataset에 존재하지 않는 class를 갖는 OOD 데이터를 탐지하는 과업입니다. 본 논문에서는 Deep Hybrid Model (DHM)을 제안하여 residual based DNN과 spectral normalization에 이어 Normalizing Flow 모델을 결합한 구조를 통해 OOD 탐지 과업에서 SOTA 성능을 달성하였습니다. 또한, OOD detection에 적합한 uncertainty factorization 개념을 제안함으로써, NF 모델을 활용하여 distributional uncertainty를 함께 고려하도록 하였습니다. p(x|D)를 추정할 수 있음을 증명하기 위한 수식이 많아 까다로운 논문이었지만, 그만큼 중요한 기여점을 가진다는 것을 알 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 CVPR 2022에 억셉된 Deep Hybrid Model for Out-of-Distribution Detection 논문으로 진행되었습니다. Out-of-Distribution Detection이란 Target 데이터셋에 속하지 않은 class를 갖는 데이터를 탐지하는 것을 목적으로 하는 과업으로, 금일 소개해주신 세미나 논문은 OOD Data를 탐지하기 위해 DNN 모델과 Normalizing Flow (NF) 모델을 결합한 하이브리드 모델을 통해 SOTA를 달성한 논문입니다. DNN+NF 하이브리드 모델을 제안한 이전 연구에서 p(x)≈p(h)가 만족한다는 것을 전혀 보장하지 못한다는 한계를 DNN에 Spectral Normalization을 적용하여 p(x)≈p(h)를 만족함을 보였으며, Data Uncertainty에만 집중한 이전 연구들과 달리 Data Uncertainty + Dstirbutional Uncertainty + Model Uncertainty를 모두 고려했습니다. 특히 CIFAR10 vs CIFAR 100에서 AUROC 기준 1.0을 달성한 점이 매우 인상깊었습니다. 수식이 와닿지 않아 직관적으로 이해를 하진 못했지만 OOD detection 분야에서의 연구 흐름을 알기 좋은 세미나였습니다. 좋은 세미나 감사합니다!

이번 세미나에선 Deep Hybrid Model for Out-of-Distribution Detection 이라는 연구가 소개되었습니다. 논문에선 OOD detection에 적합한 uncertainty factorization 방식을 제안하고 있으며 이는 p(y,x,θ|D)를 세 가지 요소로 분해하여 여러 uncertainty 를 반영할 수 있게 합니다. 제안 방법론인 DHM은 residual block 기반 DNN과 spectral normalization을 함께 적용한 hybrid model이며 p(x)~p(h) 가 성립함을 증명하여 ood detection 성능 면에서도 여러 도메인에서 auroc 1.0을 달성하였습니다. 결론 부분에서 발표자님이 정리해주신 것처럼 몇 가지 한계는 존재하지만 DHM은 이론과 실험 모두에서 연구로서의 가치가 높다는 생각이 들었습니다. 더불어 Normalizing Flow가 생성 모델을 넘어 여러 분야에서 활용되고 있다는 점이 인상 깊었고 유사한 방식으로 diffusion도 활용될 수 있지 않을까 하는 생각이 들었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 Deep Hybrid Model for Out-of-Distribution Detection 주제로 진행되었습니다. OOD Detection 에 적합한 uncertainty factorization 의 수식이 상당히 복잡했는데, 해당부분을 상세하게 잘 설명해주었고, 실험결과의 값이 auroc 기준 1.000 이라는 수치를 보여주며 엄청난 결과를 보여주었습니다. 하지만 교수님께서 지적하신대로 어떻게 citation 과 코드가 없는 부분이 재현에 문제가 있을것으로 생각이 들며, 해당논문을 통해 후속연구를 어떻게 진행 할 수 있을지는 의문입니다. 계속해서 해당 분야의 연구를 하고있기 때문에 관련 내용과 연결지어 좋은 연구 결과있길 바랍니다.

금일 세미나는 "Deep Hybrid Model for Out-of-Distribution Detection" 논문을 주제로 진행되었습니다. 해당 논문은 OoD 데이터를 탐지하는 과업을 다루며, DNN과 Normalizing Flow (NF)를 결합한 Deep Hybrid Model (DHM)를 활용하여 OoD task에서 AUROC 1.0을 기록하며 SOTA를 달성하였습니다. 해당 연구는 Spectral Normalization (SN)을 적용하여 기존 모델의 한계를 개선하였습니다. 그 과정에서, 단순히 실험적인 방법으로 해당 방법론의 유의성을 증명하는 것 뿐만 아니라, 수리적인 증명을 매우 탄탄하게 구성하였습니다. 즉, 합성함수로 이루어진 DNN에 SN을 적용하면 Lipshiz continuous한 점을 증명하는 것이었는데, Change of Variable과 제약이 가해진 Jacobian 행렬을 이용하여 SN이 적용된 DNN으로부터 도출된 결과가 p(x)~p(h) (h: representation vector) 가정을 만족하는 것을 보였습니다. 따라서, 기존 모델이 p(x)와 p(h)이 근사한다는 점을 단순 가정한 방법론을 제안한 반면, 본 연구는 이를 수리적으로 탄탄하게 입증합니다. 그 결과, DNN, NF, SN이 적용된 본 연구의 방법론은 CIFAR 10, 100의 OoD task에서 SOTA 성능을 달성하였습니다. 이전 Active Learning와 마찬가지로 주어진 데이터 셋에 더욱 강건한 성능을 보이기 위한 방법론에 대해 배워볼 수 있어서 유익했습니다. 다만, 코드가 공개되어 있지 않은 점과 놀라운 실험 결과를 재현해볼 수 없는 점이 큰 아쉬움으로 남습니다. 좋은 발표 감사합니다.

금일 세미나는 Deep Hybrid Model for Out-of-Distribution Detection 논문을 주제로 설명해주셨습니다. 해당 논문은 이전 out-of-detection(OOD) 분야와 달리 pretrained weights를 사용하지 않고도 해당 논문에서 제안한 DHM 만으로 in-distribution(ID)로 CIFAR10을 학습했을 때 OOD로는 SVHN과 CIFAR100에 대해서 AUROC 1.0에 달하는 성능을 보였습니다. 기존 pretrained weights를 사용했을 때는 어느정도 사전학습 시 사용한 데이터의 분포가 반영되어있기 때문에 OOD task를 수행 시 ID로 CIFAR10을 학습했더라도 CIFAR10의 분포만 모델에 반영된것은 아니라 cheating에 가깝다고 볼 수도 있습니다. 그러나 DHM은 이러한 과정 없이도 normalizing flow(NF)와 spectral normalization(SN)을 사용하여 완벽한 성능을 나타내었습니다. NF는 이전에도 세미나에서 자주 소개된 내용이고 최근에도 이상치 탐지 쪽에서 많이 활용되는 방법이라 익히 알고 있었지만 SN의 경우 활용되는 사례를 처음 알게되어 재밌게 들었습니다. DHM에서 가정하는 것은 OOD에서 중요한 것은 데이터 x의 분포 p(x)와 semantic information이 반영된 z의 분포 p(z)가 같아지도록 학습하여 OOD를 탐지하는 것 입니다. 모델에서 사용하는 NF는 change of variable을 통해 loss function을 구성하여 x에 대한 likelihood가 커지는 방향으로 학습합니다. 그러나 NF 만으로는 p(x)와 p(z)가 같다고 보기 어렵기 때문에 SN을 통해 이 가정을 만족하도록 합니다. 해당 논문은 비록 코드는 공개되어 있지 않아서 재현성 확인은 어렵지만 논문에 수식적으로 잘 구성하여 설명해서 나름의 이해를 하였습니다. 좋은 발표감사합니다.