이번 세미나는 이미지 데이터를 대상으로 한 이상치탐지 과업이 주제로 진행되었습니다. 소개해주신 방법론은 Knowledge distillation이 기반인 방법론 입니다. 궁극적으로 Teacher 모델과 Student 모델의 출력 값의 차이를 바탕으로 anomaly score를 산출합니다. 소개해주신 방법론의 경우 Teacher 모델은 Normalizing Flow 모델로 설정하고 student 모델은 일반 CNN 모델로 설정해서 서로 다른 모델 구조의 쌍(asymmetric Student-Teacher) 이 학습할 수 있도록 진행합니다. 더욱이 3D 이미지를 대상으로 과업을 진행할 수 있는 것이 본 방법론의 큰 강점이기도 합니다. 실험 이미지의 결과를 공개하면서 이에 대해 확실히 파악할 수 있었습니다. 이제는 Knowledge Distillation의 궁극적인 목표였던 본 모델보다 작지만 성능이 유사한 모델의 학습이 무의미해지는 경향인 것 같습니다. 사실 상 서로 다른 두 모델을 같이 활용하는 앙상블의 개념에 좀 더 가까워지고 있다는 생각이 듭니다. 발표를 너무 자연스럽게 깔끔하게 잘 해주신 덕분에 재밌게 잘 들었습니다. 다음 발표도 기대합니다! 감사합니다.

이번 세미나는 Teacher-Student 모델 간 비대칭 구조를 이용한 Image Anomaly Detection 구조를 제안한 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection이었습니다. 해당 논문은 Normalizing Flow와 Teacher-Student 구조를 혼합하여 사용하고 있습니다. 이는 OOD Input에 민감한 Normalizing Flow의 특징을 이용하여 Teacher 모델을 구성하고, Teacher 모델과 Student 모델의 구조를 비대칭적으로 구성하여, Teacher와 Student 간 예측 분포를 다르게 유도하여 OOD Input에 대해 다른 예측값을 도출하도록 하고 있습니다. 이를 통해 Anomaly에 민감한 teacher와 둔감한 student 간의 분포 차이를 직접적인 anomaly score로 이용하는 방법론을 제안합니다. Teacher-Student의 구조가 전혀 다르고, Teacher보다 Student의 capability가 훨씬 큰 모습은 기존의 Knowledge Distillation 분야에서 사용되는 Teacher-Student의 여러가지 직관들을 벗어나는 모습을 보인다는 점이 매우 흥미로웠습니다. 또한, Distillation 뿐만 아니라 Anomaly Detection을 위해 기존 방법론을 빌려와 해당 태스크에 적합하도록 전체 프레임워크를 설계한 점에서 연구에 대한 많은 점을 배울 수 있었습니다. 기존의 목적에 갇히지 않고, 다양한 실험을 통해 수행하고자 하는 태스크에 적합한 모델 구조를 찾고자 하는 노력이 돋보였던 연구인 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나는 Asymmetric student-teacher networks for industrial anomaly detection 논문을 바탕으로 진행되었습니다. 발표자분은 꾸준히 Knowledge distillation 기반의 Vision anomaly detection 모델을 다루어주고 계시는데, 이번에 발표해주신 논문에서 제시하는 모델은 기존 저희가 알고 있는 그대로의 Knowledge distillation 방법론과 함께 Student의 Undesired Generalization 문제를 해결하고자 Teacher와 Student간의 비대칭 구조를 제안하면서, Teacher 모델에서 OOD input에 대해 민감하게 반응하도록 Normalizing flow를 도입한 모델입니다. Normalizing flow는 Deep Generative model 방법론 중 하나로, 어떤 쉬운 분포(Gaussian)에 Invertible한 Transformation function f를 이용하여 복잡한 확률 분포를 모델링하는 방법으로, Input 데이터를 Gaussian latent space로 mapping하는 함수 f를 학습한 후, f의 역함수를 이용하여 Gaussian latent space로 부터 Input 데이터의 샘플을 생성하는 방법이라고 볼 수 있겠습니다. 해당 모델의 Train 과정은 두 가지 Step으로 구성되어 있습니다. 먼저, Step1에서는 Teacher를 학습하는데, 이때 Teacher 모델로는 Affine coupling layer로 Normalizing flow를 구성하고 있습니다. Step2에서는 Teacher와는 달리 간단히 Residual block을 사용하는 간단한 FCN을 사용하며, Teacher와 유사한 Output을 만들도록 학습하고 있었습니다. 이후 Test 과정에서는 대부분 Knowledge distillation방법과 유사하게 Teacher와 Student의 output간의 Distance차이를 Anomaly score로 사용하여 Anomaly detection을 진행하고 있습니다. 해당 방법을 통하여 2D Image 뿐만 아니라, 3D Image 데이터로 Task를 확장하여 Anomaly detection을 수행하도록 확장했다는 것이 놀라웠습니다. 발표자분이 메인 방법론이라고 할 수 있는 Normalizing flow에 대하여 수식 하나하나 자세하게 설명해 주셨으며, 전체적으로도 장표를 꼼꼼하게 작성해주셨기에 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

금일 세미나에서는 "Asymmetric student-teacher networks for industrial anomaly detection"라는 주제로 흥미로운 논문을 소개해주셨습니다. 본 발표에서는 기존 이상치 탐지 모델에서 발견된 문제점들을 지적하고, 이를 해결하기 위한 새로운 접근 방식을 제시하였습니다. 특히, teacher-student 구조에서 발생하는 대칭 문제를 비대칭 구조를 사용하여 해결하는 방법이 인상적이었습니다. 또한, Normalizing Flow를 통해 out-of-distribution 입력에 대한 예측력을 높이는 방법을 도입하였으며, 이를 통해 모델의 성능을 크게 향상시킬 수 있었습니다. 또한 발표자분이 다양한 관련 연구를 체계적으로 정리하고 세미나를 진행해주신 덕분에, 이번 세미나를 통해 많은 배움과 도움을 얻을 수 있었습니다. 이번 발표를 통해 논문에 대한 명확한 이해와 함께, 이상치 탐지 분야의 최신 동향과 연구 방향에 대해 알 수 있어 매우 만족스러운 시간이었습니다. 감사합니다.

이번 세미나에서는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection 논문을 소개해 주셨습니다. 본 논문의 특징은 크게 비대칭의 Student-Teacher Network(AST)를 사용했다는 점과 3D image Anomaly detection을 수행한 것이라고 생각이 됩니다. 본 논문에서 다루고 있는 핵심적인 contribution인 AST는 기존의 Knowledge distilation의 목적이었던 더 복잡한 모델이 가진 지식을 더 간단한 모델로 전달하여 활용한다는 것에서 벗어나, 비정상 데이터일 수록 teacher model과 student model이 다른 output을 낸다는 것에 주목하여 Anomaly detection을 수행합니다. 기존의 대칭 Student-Teacher Network의 경우 구조적으로 유사하기 때문에 Anomalies임에도 두 network가 유사한 output을 산출하지만, 두 network가 다른 AST라면 output의 차이가 커진다는 것입니다. 추가로 Teacher가 Anomlies에 더 민감하게 반응하도록 Normalizing flow까지 적용합니다. Anomaly detection의 경우 어떻게 anomaly score를 정의할지가 핵심이 되는데, 본 논문의 아이디어는 마치 완전히 새로운 문제가 주어졌을 때, 배우지 못한 문제의 경우에 학생들은 틀리나, 선생님들은 그나마 그럴 듯한 답을 내며 차이가 커진다는 것으로 직관적으로 받아 들여지는 방식인 것 같습니다. 추가로 본 논문에서는 일반적인 image AD에서는 잘 다루지 않는 3D 이미지까지 실험을 수행했는데, 점점 성능이 포화 되고 있는 분야에서 계속해서 더 어려운 task에 도전하는 것은, 실험실의 기술이 현실에 가까워지는 한 걸음이라 생각이 되어 멋진 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Teacher 모델을 normalizing flow로 사용한, Asymmetric Student-Teacher Networks for Industrial Anomaly detection 논문에 대해 진행되었습니다. 이는 knowledge distillation 기반으로, teacher와 student의 차이를 바탕으로 비정상 데이터를 탐지하는 방법입니다. 기존에 알고 있던 teacher-student 구조는 대부분 teacher가 student 보다 훨씬 큰 모델이었고, 이에 따라 teacher의 지식을 student가 전달 받는 것을 목적으로 하였습니다. 그러나 해당 논문에서 언급된 방법론에서는 모델 자체의 경량화 측면 보다는 두 output의 차이를 기반으로 한 학습을 통한 성능 향상에 더 큰 목적을 가지고 해당 용어를 언급하고 있는 것으로 이해했습니다. 해당 부분에서 의문을 가지게 되었으나, 발표자 분이 이해하신 바를 잘 전달해주시어 쉽게 받아들일 수 있었던 것 같습니다. Anomaly detection의 새로운 내용을 접할 수 있어 좋았습니다. 매끄러운 발표 진행과 질의 응답을 통해 발표자 분의 노력을 알 수 있었고, 확실한 이해를 바탕으로 하는 설명의 중요성을 알 수 있었던 것 같습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection라는 논문을 다루었습니다. 해당 방법론은 knowledge distillation 기반의 anomaly detection 모델로 teacher 모델과 student 모델 간의 비대칭 구조를 제안했으며, teacher model로 normalizing flow를 사용한 모델입니다. 본 논문의 저자는 기존 방법론들의 세 가지 문제점을 지적합니다. 첫 번째로는 teacher-student의 대칭적 구조로 인한 undesired generalization 문제이며 이를 해결하기 위해 teacher와 student에 서로 다른 구조의 모델을 활용합니다. 두 번째로는 ood input이 반드시 ood output을 산출한다는 보장이 없다는 문제이며 이를 해결하기 위해 ood input에 민감한 Normalizing flow를 teacher로 사용합니다. 마지막으로는 아무리 완벽한 density estimator라도 완벽한 anomaly detection을 보장할 수 없다는 문제이며 이를 해결하기 위해 anomaly score로 teacher-student distance를 사용합니다. 실험 부분에서는 2d 이미지에 대한 실험 뿐만 아니라 3d 이미지에 대한 실험도 수행한 것이 인상적이었습니다. 좋은 발표 자료와 구성 그리고 밀도 있는 발표를 통해 anomaly detection 분야에서 knowledge distillation이 어떻게 사용되는지 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에선 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection 라는 연구에 대해 소개되었습니다. AST는 발표자분께서 이전에 진행해주셨던 세미나 논문처럼 Anomaly Detection task에 대해 Knowledge Distillation 방식으로 접근하고 있습니다. 논문에서 지적한 기존 방식의 문제는 teacher와 student 모델로 같거나 거의 유사한 구조를 사용한다는 점입니다. 이 경우 학습되지 않은 abnormal sample에 대해서도 student가 의도하지 않은 일반화 성능을 가지게 되어 teacher output과의 차이로 계산하는 anomaly score가 낮아질 수 있게 됩니다. 논문에선 이러한 문제를 해결하고자 teachers는 normalizing flow, student는 CNN의 구조를 사용합니다. Anomaly Detection에 Knowledge Distillation을 사용한 다른 연구들은 anomaly score를 설정하는 데 있어 실험적이라는 느낌이 강하다 생각되었는데, AST는 normalizing flow가 OOD에 민감하다는 점을 이용한 부분과 teacher, student를 다른 구조로 사용한 점에 대해 비교적 명확히 설명하고 있다고 생각되었습니다. 발표자분께서 이전에 발표해주신 내용과 비슷한 주제에 대한 세미나라는 점과 직접 구성한 paper roadmap이 인상적이었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 "Asymmetric Student-Teacher Networks for Industrial Anomaly Detection"라는 논문에 대해 소개해주셨습니다. 해당 논문은 student-teacher 구조를 활용하여 anomaly detection을 수행하는데 student와 teacher의 대칭적 구조로 인해 비정상 sample을 잘 구분하지 못한다는 구조적 한계를 지적하였습니다. 따라서 비대칭적 구조를 차용하기 위해 teacher 모델로 normalizing flow 기반의 모델을 사용하였습니다. Normalizing flow를 사용함으로써 student와 teacher간의 구조적 비대칭성을 확보할뿐만 아니라 ood input에 대해 ood output을 생성하도록 하였습니다. 또한 distance 기반의 anomaly score를 활용한 점도 인상 깊었습니다. 마지막으로 anomaly detection 관련하여 관련 연구들을 정리해주셔서 향후 관련 연구들을 찾아볼 때 큰 도움이 될 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection을 주제로 진행되었습니다. 발표 내용 중 인상깊었던 것은 symmetric student teacher pair 로는 이상치에 대한 부분도 유사한 output 을 만드는것 과 asymmetric 구조에서는 그 차이가 극명하게 나는 점을 toy 실험으로 보여준 것 이였습니다. 해당 방법론이 ditilation 을 사용하는 구조라 이러한 부분을 디테일하게 실험했다는 것이 인상깊었고, 최근 이상치 탐지에서 계속해서 KD 관련된 방법론을 적용하는데, 연구흐름 따라가기 좋았습니다. 끝으로 연구실의 이미지 이상치에 관련된 논문을 계속해서 정리하고, 앞으로 논문들을 쌓아가는 정리과정은 배워야할 점으로 생각하고, 앞으로도 좋은 발표들 기대하겠습니다.

이번 세미나에서는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection이라는 연구를 소개해 주셨습니다. 해당 연구에서는 Teacher Model과 Student Model 간 비대칭적인 구조를 제안해 Student가 의도치 않게 이상치 데이터도 Teacher Model과 유사한 Output을 만들어내는 문제를 해결하고자 했습니다. OOD Input이 들어올 경우 Teacher Model과 Student Model의 Output 간 충분한 차이를 만들기 위해 OOD Input에 민감한 모델인 Normalizing Flow를 Teacher Model로 사용하였습니다. Student Model의 경우 Residual Block을 이용한 비교적 단순한 구조의 CNN을 이용했습니다. 일반적인 Knowledge Distillation 과정과 동일하게 이미 Train이 완료된 Teacher Model을 Freeze한 채로 Student Model을 Train 시키는 과정을 거치게 됩니다. 해당 방법론에서 주요한 포인트가 Teacher와 Student를 비대칭적인 구조로 사용한다는 것인데, 실험 결과에서 Teacher와 Student 구조를 대칭 구조로 이용한 경우 성능 저하가 이루어지는 것을 함께 보인 것을 통해 방법론의 타당성을 명확히 보였습니다. 2D 이미지 뿐만 아니라 3D 이미지에도 활용한 방법론을 처음 접하게 되어 흥미롭게 들을 수 있었습니다. Knowledge Distillation에 관심이 있었는데, 발표자 분께서 이전 세미나에 이어서 이번에도 참신한 방법론을 소개해 주셔서 개인적으로 유익한 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection 논문을 소개해 주셨습니다. 본 논문에서는 teacher-student 구조로 anomaly detection을 수행하고 있는 방법론을 제안하고 있습니다, Teacher 모델로는 affine coupling layer로 normalizing flow를 구성하고 student에서의 undesired generalization 문제를 해결하기 위해 teacher-student간 비대칭 구조를 제안하고 있습니다. 이때 Teacher에는 OOD input에 민감한 normalizing flow를 이용하고 있으며 student로는 CNN모델을 이용하여 값을 예측하도록 하고 있습니다. Normalizing flow에 수식적인 부분이 많아 처음 접하게 되면 어려움이 있을 수 있는데 잘 풀어내어 설명해 주셔서 추후 발표 내용도 잘 따라갈 수 있었던 것 같습니다. Teacher 모델을 학습시킬 때에는 input data의 확률을 최대화하기 위한 목적으로 student network의 target을 만들기 위해 pretext task로 이용하였습니다. 다음으로 student network을 학습시킬 때에는 residual block을 사용하는 간단한 Fully Convolution Network를 이용하였습니다. Student가 학습되는 과정 중에는 Teacher가 학습되지 않고, teacher와 동일하게 feature map을 input으로 사용하고 teacher의 output과 맞춰주기 위해 down sampling은 진행하지 않으며 input과 output의 모양이 동일하게 됩니다. anomaly score를 산출함에 있어서는 test sample에 대해 teacher와 student의 output간 distance를 이용하고 있습니다. 데이터셋으로는 3D 이미지를 이용하고 있는데 전처리 단계에서 foreground masking, pixel unshuffle등을 이용한다는 점이 인상적이었습니다. 매번 세미나에서 공개된 이상치 탐지 방법론들에 대해 마인드맵을 같이 발표해주시고 있는데 이후에 다른 방법론들을 정리하는데 많은 도움이 되고 있습니다. 좋은 발표 감사합니다!

이번 세미나는 knowledge distillation 기반의 student-teacher 구조로 anomaly detection 과업을 수행한 논문 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection을 주제로 진행되었습니다. 본래 knowledge distillation은 잘 학습된 큰 teacher 네트워크의 지식을 작은 student 네트워크에 전달하는 것을 목적으로 합니다. 이상치 탐지 과업에서는 student가 정상 데이터로 학습된 teacher 네트워크의 지식을 학습하는 형태로 KD 구조를 차용합니다. 본 논문은 teacher와 student가 유사한 구조를 가질 때 발생할 수 있는 undesired generalization 문제를 해결하기 위해 teacher-student간 비대칭 구조를 제안하였습니다. 또한, OOD(out-of-distribution) input에 민감하게 반응할 수 있도록 teacher 모델로 normalizing flow를 채택하였습니다. 제안하는 방법론은 기존 rgb로 이루어진 기존 2D 이미지 외에도 3D 데이터로 확장 가능하다는 이점을 가집니다. 발표자분께서 상당히 오랜 시간 공을 들여 준비하신 것 같아 매우 유익하게 잘 들었습니다. 이상치 탐지와 KD는 모두 익숙하지 않은 주제였음에도 꼼꼼하고 명확한 설명 덕분에 연구 동향과 흐름을 캐치할 수 있었습니다. 고생 많으셨습니다.

금일 세미나에서는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection라는 주제의 논문 대한 리뷰를 진행하였습니다. 본 논문에서는 기존의 Teacher-Student 구조의 모델들에서 student가 undesired generalization이 되며 Anomalies임에도 불구하고 teacher와 유사한 output을 만드는 부분을 지적하고 있습니다. 따라서 이러한 부분을 해결하기 위해 Teacher와 Student가 비대칭적인 구조를 사용하는 AST를 제안하였습니다. Teacher와 Student의 비대칭적 구조를 만들기 위해 Normalizing flow를 사용하였습니다. 또한 AST는 2D 이미지 뿐만 아니라 3D 이미지도 적용이 가능하다는 장점이 있습니다. Image anomaly detection, Normalizing flow 등 다양한 배경지식을 알기 쉽게 설명해주셔서 세미나의 내용을 깊게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 WACV 2023에 게재된 Asymmetric student-teacher networks for industrial anomaly detection 논문으로 진행되었습니다. 해당 논문은 knowledge distillation 기반의 Anomaly Detection을 수행한 논문으로 Teacher-Student 구조를 제안합니다. Teacher-Student을 유사한 구조를 사용하는 경우 학습한 normal data 뿐만 아니라 학습되지 않은 anomaly data까지 유사하게 예측할 수 있다는 Undesired Generalization 문제를 해결하기 위해 Teacher-Student 간 비대칭 구조를 제안했고, Out-of-distirbution input에 민감하게 반응할 수 있도록 Teacher Model로 Normalizing flow를 사용했다고 합니다. 특히 Anomaly Detection task에서 2D data에 대한 성능은 어느 정도 정점을 찍은 것으로 알고 있는데 해당 논문에서 제시한 구조의 모델은 3D data에 까지 확장이 가능하다는게 큰 contribution인 것 같습니다. 발표자분께서 knowledge distillation에 기반한 Anomaly Detection task에 관심이 있다고 들었는데 그런 만큼 background부터 방법론 설명까지 자세하게 진행되어서 유익한 발표였던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection를 주제로 진행되었습니다. 제안하고 있는 방법은 knowledge distillation을 통해서 teacher와 student의 output 차이를 통해서 둘이 비슷한 feature를 추출했으면 normal, 다른 경우 abnormal로 분류하는 방법을 사용합니다. 해당 논문에서는 기존의 knowledge distillation을 사용했을 때 teacher와 student의 대칭적 구조로 인해서 anomaly data 또한 유사하게 예측하는 문제가 있음을 제시하며 비대칭 구조를 사용해야함을 언급하고 있습니다. 또한, teacher, student의 output이 ood input에 대해서 큰 차이를 만들 것이라는 보장이 없기 때문에 ood data에 민감한 normalizing flow를 사용해서 이를 해결하고자 하였습니다. 마지막으로 기존의 normalizing flow를 사용한 방법론들은 likelihood를 anomaly score로 사용하는데 이는 잘못된 likelihood 추정으로 이어질 가능성이 크기 때문에 단순하게 teacher, student의 distance를 anomaly score로 사용하는 방법을 택하였습니다. Vision anomaly detection 연구들에서 많이 사용하는 MVtec2D 데이터셋의 경우 이제 거의 모든 연구들이 너무 잘해서 개선이 힘들정도가 되었는데 해당 논문에서는 MVtec3D를 통해서 모델 성능에 대해서 설명하는 점이 인상 깊었습니다. 다만 교수님께서 말씀하신대로 teacher보다 student 모델이 더 크고 복잡해진 이 상황이 과연 knowledge distillation인지 의문이 들기도 하였습니다. 좋은 발표 감사합니다.

해당 세미나는 임훈 발표자님께서 "Asymmetric student-teacher networks for industrial anomaly detection"라는 논문을 바탕으로 진행되었습니다. 본 논문은 Anomaly Detection Task에서 사용되는 Teacher-Student 구조에 Normalizing flow와 비대칭 구조를 적용한 것을 중점적으로 소개하고 있습니다. 기존 Teacher-Student의 대칭적 구조로, 학습한 Normal data 뿐만이 아닌 학습되지 않은 Anomaly까지 유사하게 예측한다는 점이 문제점으로 여겨지고 있었습니다. 또한 Out-of-distribution input이 Teacher, Student output에서 큰 차이를 만들 것이라고 보장할 수 없어, Normalizing flow를 Teacher로 사용하여 민감하게 반응하도록 하였습니다. 이에 따라 Teacher, Student에 서로 다른 구조 모델을 사용하여 유사하지 않은 output을 생성하도록 하고, Teacher에 Normalizing flow를 적용하여 output 간 큰 차이를 만든 점이 큰 기여점이라고 생각하였습니다. 추가적으로 Likelihood간 아닌 Teacher와 Student output간 distance를 Anomaly score로 사용하여 MVtec3D dataset에 대해 높은 성능 향상을 가져온 점이 색다른 접근 방법이라고 생각하였습니다. 비록 Image-level detection에 치중되어 있어 pixel-leval detection에서는 성능 향상을 가져오지 못했지만 Teacher와 Student간 차이를 anomaly의 기준점으로 잡은 개선점에 대해서 생각해볼 수 있는 좋은 논문이었습니다. Task에 대한 소개와 개선점에 대한 상세한 설명 덕분에 이해하기 쉬웠습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 Asymmetric student-teacher networks for industrial anomaly detection 논문에 대해 소개해주셨습니다. 해당 논문은 Normalizing Flow를 기반으로 하여 Teacher model을 구성하고 CNN 모델을 기반으로 student model을 사용하여 서로 다른 방법의 두 모델 간 차이를 통해 anomaly detection을 수행하는 모델을 제안하였습니다. 세미나 시간에는 사전 배경으로 Knowledge Distillation 구조를 통해 anomaly detection을 수행하는 내용들과 Normalizing Flow가 anomaly detection에 적용되는 과정 그리고 이유에 대한 언급을 해주셨습니다. Knowledge Distillation의 원래 목적은 주로 경량화에 초점이 맞춰져 있지만 세미나에서도 언급해주셨다싶이 점점 두 가지 모델의 특징 차이를 활용하여 다양한 sub-task를 수행하는 것으로 다양하게 활용되고 있는 것 같습니다. Anomaly detection에서 또한 Teacher와 Student 두 모델 간 서로 다른 특징 가지게끔 가정하여 활용하고 있습니다. 하지만 이러한 구조로 인해 더이상 teacher와 student 라는 단어가 적절한가라는 생각도 들지만 일반적으로 정의된 단어를 통해 제안 방법에 대한 이해를 돕기위해서는 어쩔 수 없나라는 생각도 들었습니다. 조만간 이러한 구조에 대한 새로운 단어가 나오지 않을까라는 생각도 듭니다. Normalizing Flow에 대한 내용에서는 처음에 이해하기 어려운 개념일 수 있지만 이전 관련 세미나 자료를 통해 보다 쉽게 잘 설명해주셨다는 생각이 들었습니다. 실험 부분에서는 기존 이상치 탐징에서 자주 사용되는 MVTec AD 뿐만 아니라 MVTec 3D 또한 함께 사용하였습니다. 다른 anomaly detection 논문을 보았을 때 간간히 실험에 사용된 데이터였지만 제대로 데이터셋에 대한 내용을 확인하지 않고 있었는데 이번 시간에 소개해주셔서 도움이 되었습니다. 3D 데이터라는 점에서 voxel 단위로 모델을 학습하는 방법만 있는 줄 알았으나 이번 논문에서 사용하는 방법과 같이 2D image과 3D depth를 함께 활용한다는 점이 인상깊었습니다. 좋은 발표 감사합니다.

이번 세미나는 Asymmetric student-teacher networks for industrial anomaly detection에 대해 소개해주셨습니다. 저자는 reconstruction based 이상치 탐지 task에서 anomalous data의 anomaly score가 항상 크지는 않다는 점에 주목하여, 비대칭적인 구조를 갖는 normalizing flow 기반의 teacher와 student의 출력값의 차이를 anomaly score로 사용하였습니다. Anomalous data의 anomaly score를 크게 출력하도록 모델을 학습할 수 있다면 false positive를 최소화하는 효과도 있지 않을까 개인적으로 생각도 들었습니다. 결국, 효율적인 Anomaly score를 고안하여 적용하는 것은 효율적인 모델을 구성하는 것만큼이나 중요하다는 점을 배우게 되었습니다. 특히 시계열 이상치 탐지를 공부하며 유사한 모델 아키텍쳐를 가지면서도 다른 anomaly score와 post-processing step을 통해 성능의 비약적인 향상을 거둔 케이스처럼, 해당 연구 같은 anomaly score를 사용한 TSAD 연구가 있는지 궁금하기도 했습니다. 특이하게, 논문 자체는 knowledge distillation을 구조를 가지고 있지만, student model이 되려 teacher model보다 많은 파라미터를 가지고 있습니다. 따라서, 목표가 모델 경량화가 아닌데도 Teacher student이라는 표현을 사용해도 되는지는 의문으로 남을 것 같습니다. pixel level anomaly detection이라는 새로운 task도 배우게 되었는데 구체적으로 이미지의 어떠한 region이 정상적이지 않은지 파악할 수 있어 모델 결과의 interpretability를 높혀주는 부분인 것 같습니다. Task와 방법론에 대한 상세한 설명을 통해 많은 점을 배울 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Asymmetric student-teacher networks for industrial anomaly detection"라는 주제로 진행되었습니다. 본 발표에서는 기존 이상치 탐지 모델의 세 가지 문제점을 지적하고 이를 해결한 모델이 소개되었습니다. 개인적으로 세 가지 문제점을 해결하기 위한 해결책들을 잘 조합하여 간단한 구조의 모델을 제안했다는 생각이 들었습니다. 특히 teacher-student의 대칭 구조 사용으로 인해 발생하는 undesired generalization 문제를 해결하기 위한 비대칭 구조 사용를 사용하기 위해 teacher 모델로 ood input에 대한 ood output 생성이 보장된다는 문제를 해결할 수 있는 normalizing flow 모델로 채택하여 해결책들을 잘 융합한 점이 인상 깊었습니다. 제안된 방법론이 knowledge distillation의 기존 목적인 모델 경량화는 배제하고 성능 향상을 위해 해당 테크닉을 쓴 점에 대한 의문은 들었지만, 문제 지적 및 해결 방법 제안 부분에서는 배울 점이 많은 논문이었습니다. 좋은 발표 감사합니다.

금일 세미나는 knowledge distillation 기반의 anomaly detection에 대한 논문으로 “Asymmetric student-teacher networks for industrial anomaly detection”을 소개해주셨습니다. 발표자분께서 해당 논문에서 언급된 세가지 문제점과 해당 논문에서 어떻게 극복하고 있는지에 대해서 명확하게 설명해주셨습니다. 실험 결과 기반으로 제시된 문제점들로서 앞으로 어떻게 문제를 정의해야 할지에 대해서 배우게 되었습니다. 먼저, teacher와 student를 보통 같은 모델로 사용하게 되는데 구조적 유사성으로 인한 문제점을 언급하며 해당 논문에서는 비대칭 구조를 사용하게 되었습니다. 두번째로, OOD input에 대한 문제를 극복하기 위해 normalizing flow를 teacher모델로 사용하였습니다. 마지막으로 likelihood로 인한 불완전 학습에 대한 문제를 제기하며 anomaly score를 사용하여 teacher-student distance기반의 loss를 이용하여 학습하였습니다. 또한 현재 anomaly detection 벤치마크 데이터셋으로 MVtec2D는 다른 연구들에서 100까지의 성능을 달성하였으며, 해당 데이터셋으로는 연구의 유의미성을 증명하기 어렵다고 느꼈습니다. 하지만, 해당 논문은 MVtec3D를 사용하여 3d 이미지까지의 확장성을 보여주었고 해당 연구분야의 새로운 길을 열었다고 느꼈습니다.

이번 세미나는 Asymmetric Student-Teacher Networks for Industrial Anomaly Detection을 주제로 진행되었습니다. 제목대로 소개해주신 모델은 teacher와 student 간 비대칭 구조이며 두 모델의 Output간의 차이를 활용하여 anomaly detection을 수행하는 직관적인 구조를 가집니다. 하지만 논문에서 undesired generalization의 문제를 보여주기 위해 toy 실험을 진행하는 과정에서 실험에 사용한 데이터를 구체적으로 언급하지 않아 아쉬웠습니다. 하지만 저자들은 기존 모델들의 한계점을 제시하고 문제를 해결하기 위해 논리구조를 구성했다는 점이 발표를 통해 납득되었습니다. 또한 이번 세비나를 통해 MVTec 3D를 알게되었고 기존 데이터와의 차이점을 구체적으로 설명해주셔서 좋았습니다. 뿐만 아니라 발표자분께서 다양한 related work를 정리하여 세미나를 구성해주셔서 많은 도움이 되었습니다. 좋은 발표 감사합니다.