이번 세미나에서는 OOD Detection을 주제로 한 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 논문이 소개되었습니다. OOD(Out-Of-Distribution)는 학습시 사용된 훈련 데이터에서 등장하지 않은 새로운 클래스의 데이터를 의미합니다. 따라서 OOD 데이터를 잘 찾아서 OOD 데이터를 모델의 평가에 포함되지 않도록 찾아야(detection) 하는 것이 중요합니다. 개인적으로는 OOD detection이 실제로 어떻게 활용될 수 있는지에 대해 질문을 가지고 있습니다. 또한 언뜻 보면 anomaly detection과 비슷해 보이기도 하는데, 둘의 어떤 차이가 있는지에 대해서도 궁금증이 있습니다. 본 논문은 ICLR 논문 답게 통계의 수식을 통해 OOD detection을 수행하는 방법을 제안하였습니다. 내용 중 Simes Test 라는 개념을 처음 접하였는데 보통 Fisher test와 함께 각각 sparse 한 distrubition과 dense 한 distribution에서의 가설검정을 진행한다고 합니다. 두 개념 모두 잘 알아두어야할 것 같습니다. 쉽지 않은 내용임에도 간단 명료하게 잘 설명해주신 발표자 분께 감사드립니다.

이번 세미나는 “A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks
“ 논문에 대해 소개해주셨습니다. 이번 발표 내용에서 새로웠던 점은 통계적 가설검정을 활용한다는 점이었습니다. 최근 anomaly detection에서 또한 학습과정에서 데이터에 대한 모델의 가중치를 추가로 업데이트하지 않고 사전학습 모델만을 사용하여 좋은 결과를 보이는 방법들이 많은데 adversarial detection에서 또한 이와 유사한 방향으로 통계적 가설검정을 통해 좋은 결과를 보인점에서 인상깊게 보았습니다. 오늘도 좋은 발표 감사합니다.

이번 세미나에서는 발표자께서 꾸준하게 관심을 가지고 있는 out of distribution (OOD) 분야의 논문인 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks에 대하여 살펴보았습니다. 본 연구와 유사한 "Zero-Shot OOD Detection with Feature Correlations"에서는 gram matrix를 통하여 feature별 상관관계를 파악하는 방법을 제안하였습니다. 해당 연구는 성능이 매우 높았지만 그 이유를 해석하지 못했다는 이유로 ICRL 2020에서 reject 되었습니다. 본 연구에서는 이러한 설명력을 위해 통계 검정 방식의 OOD 방식을 제안합니다. 결국 모델의 feature들로부터 검정 통계랑 t와 그로부터 p-value를 구하게 되는데 이러한 방향이 매우 자연스럽다고 생각했습니다. 성능 또한 ResNet을 사용하는 경우 매우 좋은 것을 확인하였습니다. 개인적으로는 CIFAR10-CIFAR100과 같은 near OOD에서는 어떤 성능을 보이는지 궁금했습니다. 발표자께서 평소에 OOD는 더이상 성능을 올리기가 어렵다는 말을 많이 했는데 이러한 상황에서 논문을 작성할 수 있는 방향을 제안하는 좋은 논문이라 생각합니다.

이번 세미나에서 소개된 논문은 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 입니다. 본 연구에서는 통계 검정 기반의 OOD detection 방법론을 제안하는데, dnn을 통해 도출된 검정 통계량 T를 바탕으로 p-value를 계산하게 됩니다. Spatial Reduction, Channel Reduction, Layer Reduction을 통해 test 데이터 X에 대해 각 class별 검정 통계량을 계산하여 OOD detection을 통계검정을 통해 수행할 수 있게 됩니다. 통계적 검정 과정이 체계적인 사고를 통해 이루어져있는데, OOD socre를 도출하는 과정에 이를 응용한 점이 매우 흥미로웠습니다. 또 비교적 간단한 연산들로 인해 OOD score를 계산하는 시간이 다른 방법론 대비 훨씬 적은 것이 인상깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 논문을 다루어 주셨습니다. 해당 논문에서는 통계 검정을 이용하여 OOD detection을 할 수 있는 방법론을 제시하고 있는데, 구체적으로는 DNN의 MSP 값을 OOD score로 이용해서 out-of-distribution data를 탐지합니다. 이때 OOD score를 이용하게 되면 신뢰구간과 p-value를 계산할 수 있게 됩니다. 검정통계량을 구할 때는 test 데이터에 spatial reduction, channel reduction, layer reduction으로 각 데이터의 class별 검정통계량을 구하게 됩니다. spatial reduction에서는 max pooling 또는 average pooling을 이용하고, channel reduction에서는 two-sided p-value를 계산합니다. 마지막으로 Fisher statistic 또는 Simes statistic을 활용하여 검정 통계량을 계산하여 각각 dense signal과 sparse signal을 검출합니다. 또한 세미나에서 다루어 주신 것처럼 해석을 제공하는 것이 얼마나 중요한지 생각해보게 되었습니다. 좋은 발표 감사합니다!

이번 세미나에선 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 라는 연구에 대해 소개되었습니다. 논문에선 Out of Distribution Detection 이 가능한 통계 검정 기법을 제안하고 여기엔 학습된 DNN의 hidden layer feature가 사용됩니다. 제안된 방식은 Spatial reduction, Channel reduction, Layer reduction을 통해 test 데이터에 대해 class 수 만큼의 conditional p-value를 계산하고 이를 통계 검정에 사용합니다. 이미 학습된 hidden feature를 사용하는 Anomaly detection 연구들이 세미나에서 소개되었었는데 비슷하지만 다른 OOD detection task에서도 이렇게 hidden feature를 사용하였다는 점과 제안된 방식이 유의미한 통계 검정임을 증명하는 과정이 인상적이었던 논문이었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 ‘A Statistical Framework for Efficient OOD Detection in DNN’을 주제로 진행되었습니다. 기존의 Outlier Exposure를 활용한 Out of Distribution Detection 기법들이 높은 성능을 달성하여 성능 개선의 여지가 매우 적을 것이라는 연구의 현상황에 대해 분석하며, 후속 연구를 위해서는 엄격한 unsupervised 환경을 가정하거나, 기존 연구와는 다른 무언가가 필요하다고 언급하셨습니다. 본 세미나로 설명해주신 논문은 통계 검정의 형태호 OOD Detection이 가능한 방법론을 제안하였습니다. 각 layer의 hidden features로부터 spatial, channel, layer reduction을 통해서 각 class 별 검정 통계량을 구하고 OOD인지 판별하게 됩니다. 단순히 모델을 통해 OOD인지 아닌지를 구별하는게 아닌 검정 통계량을 도출한다는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

금일 세미나는 “A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks”연구에 대해 진행되었습니다. 평소 관심을 갖고 있던 토픽인 OoD detection과 관련한 연구여서 보다 흥미롭게 들을 수 있었습니다. 무엇보다도 통계 검정 관점에서 다루고 있다는 부분이 매우 인상적이었습니다. 모델의 산출 값이 사실은 통계적 관점에서 T통계량으로 해석될 수 있다는 시각이 가장 큰 방향이었던 것 같습니다. 이에 따라서, 자연스럽게 모델의 산출값을 그대로 통계적 검정에 병합해 활용할 수 있었던 것 같습니다. 더불어 P-value를 계산하는 과정에서 여러 유형의 reduction을 수행해주는 점도 인상적이었습니다. Outlier exposure를 활용해 사실 OoD detection 분야에서는 성능이 발표자께서 지적해주신 것처럼 극한까지 높아진 상황에서, 이처럼 새로운 시각으로 좋은 연구를 할 수 있다는 점이 매우 인상적이었습니다. 좋은 발표 해주신 발표자분께 감사드립니다.

이번 세미나는 OOD Detection 분야에서 통계 검정 방법을 도입하여 비교적 간단한 알고리즘을 제안한 "A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks " 이었습니다. 해당 논문은 2D, 채널, 레이어 별로 각각 훈련 혹은 검증 데이터로부터 얻은 통계치를 이용하여 테스트 데이터에서 OOD Detection을 수행합니다. 이 과정은 자연스레 별도의 학습과정이 도입되지 않고, forwarding 과정으로만 구성되게 됩니다. 특히, 통계치를 계산할 때, 각 클래스 별로 계산되므로, 테스트 데이터의 오분류 여부와 OOD 여부를 검정할 수 있다는 점이 흥미로웠습니다. 최근 허재혁 석박사 통합과정의 세미나을 통해 Anomaly Dectection에서도 이와 같이 모델 학습이 존재하지 않는 프레임워크들이 제시되는 것을 살펴보았는데, OOD Detection 분야에서도 도입되는 것을 보면서 모델 활용의 방법이 상당히 다양하다는 것을 느낄 수 있었습니다. 좋은 발표 감사합니다.

본 세미나에서는 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 이라는 주제에 대한 논문의 리뷰를 진행하였습니다. 본 논문의 가장 큰 contribution 중 하나는 OOD detection을 통계적 기법을 활용하여 하였다는 부분 입니다. 본 논문에서 제안한 test statistic MaSF는 통계적 방법론을 기반으로 제안이 되었고, 다른 벤치마크 모델과 비교하여 높은 detection 성능을 기록을 하였습니다. Detection 성능과 더불어 computation cost 또한 타 벤치마크 모델과 비교하였을 때 훨씬 적어 효율성을 입증하였습니다. 통계적 방법론을 적절히 적용하면 좋은 성능을 낼 수 있는 곳이 많다는 것을 다시 한 번 느꼈습니다. 또한 OOD detection의 다양한 방법론들을 기초적인 내용부터 잘 정리해주셔서 OOD detection 연구의 흐름을 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 ICLR 2022년에 억셉된 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 논문으로 진행되었습니다. 해당 논문은 Out of Distribution Detection, 즉 딥러닝 모델이 학습하지 못한 다른 정답 class를 갖는 데이터들을 탐지하는 task를 다루는 논문으로 귀무 가설을 기각하는데 있어 신뢰 구간과 p-value를 계산할 수 있는 통계 검정 기반의 OOD Detection 방법론을 제안했습니다. 본 논문에선 앞서 소개해주신 GRAM 방법론과 마찬가지로 hidden layer features 값을 이용해 Spatial Reduction, Channel Reduction, Layer Reduction 구조를 거쳐 test 데이터에 대해 각 class별 검정 통계량을 계산했고, 이와 같은 방법을 통해 여러 OOD 벤치마크 데이터셋에 대해 높은 성능을 달성하면서도 낮은 computation cost를 보이며 모델의 효율성을 입증했다고 합니다. 처음 접하는 분야기도 하고 잘 모르는 용어도 많아서 이해가 어려웠지만 설명을 잘해주신 덕분에 재미있게 들을 수 있었던 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 "A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks"라는 주제로 진행되었습니다. 본 발표에서는 통계 검정 기반의 OOD Detection 방법론이 소개되었습니다. 해당 방법론은 hidden layer features를 활용하여 검정 통계량을 계산한 후, empirical cumulative distribution을 통해 검정 통계량의 분포를 추정하여 p-value를 계산하는 방법을 제안하였습니다. 본 논문에서는 검정 통계량과 유사한 개념인 OOD score가 p-value를 계산할 수 없기 때문에 해당 방법론을 제안하게 되었다고 언급하였는데, 논문에서 이러한 부분을 이론적으로 증명한 점이 좋았습니다. OOD detection이 anomaly detection과 관련이 많기 때문에 이러한 아이디어를 anomaly detection에도 적용할 수 있을 것 같다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks 논문을 중심으로 진행되었습니다. 본 논문은 ICLR 2022에 소개된 논문으로 OOD detection 문제를 통계적 검정 관점에서 접근하여 해결하는 방법을 제안합니다. 모델의 output이 바로 통계량으로 사용될 수 있는 구조이며, 특히 DNN의 hidden layer features를 통해 OOD score를 계산할 때 통계량이 각 class 마다 따로 계산 이루어집니다. 덕분에 각 p-value를 활용이 가능합니다. OOD 모델을 통계 검정의 관점에서 접근하는 것으로 간단한 구조임에도 더 높은 성능을 낼 수 있다는 점이 놀라웠고, 발표자께서 참고 문헌에 적어 두신 Zero-Shot OOD Detection with Feature Correlations이 높은 성능에도 해석이 부족하여 reject 되었다는 것과 이번 논문을 함께 소개받으니 설명 가능한 연구를 하는 것이 매우 중요하다는 것을 다시 느꼈습니다. 어려운 내용 꼼꼼히 잘 설명해 주셔서 감사합니다.

이번 세미나는 OOD Detection을 통계 검정 관점에서 풀어낸 연구 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks(ICLR 22)를 주제로 진행되었습니다. 발표자분께서 세미나를 통해 지속적으로 OOD 관련 연구들을 소개해주시고 계셔서 이번에도 흥미롭게 들을 수 있었습니다. OOD란 단어 그대로 학습 데이터에 포함되지 않은 class가 test 데이터에 존재하는 경우를 말합니다. 이 경우, 분류 결과가 나오지 않도록 사전에 OOD를 탐지해야 합니다. 본 논문은 통계 검정의 형태로 OOD를 detection하는 방법론을 제안합니다. OOD score를 정의하여 신뢰구간과 p-value를 계산하여 귀무 가설 기각(OOD Detection) 여부를 결정하도록 했습니다. 이때 검정 통계량은 spatial redution, channel reduction, layer reduction과 같은 hidden layer feature로부터 산출됩니다. 이를 통해 Outlier Exposure 없이 높은 OOD Detection 성능을 달성하였습니다. 일전에 통계검정을 딥러닝 연구에 활용할 수 있는 방안에 대해 고민한 적이 있었는데, 이번 세미나에서 소개해주신 논문을 보며 새로운 관점을 배울 수 있어 매우 유익한 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나는 OOD detection 관련 연구에 대해 소개해주셨습니다. 논문 A Statistical Framework for Efficient Out of Distribution Detection in Deep Neural Networks에서는 OOD Detection task를 통계 검정의 형태로 해결할 수 있는 방법론을 제안하였습니다. 기존 OOD score는 분포 추정이 불가하여 통계 검정이 불가능했던 반면에 본 논문에서 제안한 방법론은 eCDF를 계산하여 p-value를 계산함으로써 이를 가능하게 하였습니다. 실험 결과 다른 방법론들과 비교하여 적은 inference time에도 불구하고 높은 성능을 달성한 점이 인상 깊었습니다. 또한 각각의 reduction 과정에 따른 실험 결과를 통해 OOD example이 갖는 특성에 대해서도 이해할 수 있었습니다. 좋은 발표 감사드립니다.