이번 세미나는 "Anomaly Detection via Reverse Distillation from One-Class Embedding" 논문에 대하여 설명해주셨습니다. 본 논문에서 제안하는 방법은 기존 knowledge distillation을 활용하지만 동일한 입력을 teacher와 student 모델이 받는것이 아닌 teacher의 output을 decoding 하는 방식으로 student 모델을 구성한 점이 인상깊었습니다. 어떻게 보면 AutoEncoder와 같은 구조를 통해 knowledge distillation을 수행했다고 볼 수 있을 것 같은데 이를 anomaly detection을 수행하기 위한 방법으로 제안한 점이 좋았습니다. 첫 발표임에도 관심 주제에 대한 명확한 방향과 knowledge distillation 그리고 이를 활용한 지금까지의 road map을 잘 정리해주셔서 많은 도움이 되었습니다. 앞으로도 좋은 발표 기대하겠습니다. 감사합니다.

이번 세미나에서는 Anomaly Detection via Reverse Distillation from One-Class Embedding 논문을 다루어 주셨습니다.Teacher 모델로는 pre train된 모델을 이용하고 있고 student 모델은 teacher에서 추출된 feature들을 regression하도록 학습을 진행하고 있습니다. Reverse distillation에서는 이전 distillation 모델들과 다르게 teacher와 student 모델의 구조를 encoder-decoder 구조로 다르게 설계하고 결과적으로 두 모델의 representation 차이를 증대시키고자 하고 있습니다. 또한 논문에서 제안하고 있는 모델에서는 student가 low-level feature를 잘 regression하지 못한다는 한계를 해결하기 위해 multi-feature fusion block(MFF)을 이용하여 multi-scale feature들을 합쳐주는 block을 도입하게 됩니다. 추가로 anomaly feature가 student model로 전파되는 것을 막아주기 위해 one-class embedding block (OCE)을 이용하게 되며 해당 블록은 student model에 필요한 feature만을 남기는 filter 역할을 하게 됩니다. 결과 부분에서 MvtecAD의 각 카테고리에 대한 이상치 score를 시각화하여 보여준 자료가 인상적이었고, Inference 시간, memory를 지표로 복잡도를 분석하고 해석한 점도 새롭게 다가왔습니다. Conclusion 부분에서 다양한 모델들의 관계를 다이어그램으로 나타내어 한눈에 흐름을 정리해볼 수 있는 좋은 기회가 되었고,직접 다시 그린 figure가 인상적이었습니다. 좋은 발표 감사합니다!

이번 세미나에서 다룬 논문은 Anomaly Detection via Reverse Distillation from One-Class Embedding입니다. 본 연구에서는 서로 다른 아키텍쳐를 갖는 teacher-student 모델을 제안하여 student 모델이 teacher의 one-class embedding을 받아 multiscale representation을 생성하도록 reverse distillation을 수행합니다. 특히, one-class embedding block을 통해 anomaly feature가 student model로 전파되는 것을 막아 teacher-student 간의 feature 차이를 증대시킴으로써 정상 패턴을 학습하는 과정이 인상깊었습니다. Knowledge distillation을 AD에 사용한 연구를 접할 수 있어 흥미로웠고, 발표자료 구성이 매우 좋았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 knowledge distillation를 통해 image anomaly detection을 진행하는 Anomaly Detection via Reverse Distillation from One-Class Embedding에 대해 살펴보았습니다. 본 연구에서는 student model의 구조를 decoder 형태로 사용하고 있습니다. 기존의 방법론들에서는 teacher와 student 구조 모두 encoder를 사용하고 있는데, decoder 구조의 student network를 사용하는 것이 흥미로웠습니다. Image level에서의 loss는 왜 계산하지 않는지 궁금했지만, 아이디어나 loss term들은 충분히 직관적이고 합리적이라 생각됩니다. Background 부분도 잘 다뤄준 발표라 생각합니다.

본 세미나에서는 Anomaly Detection via Reverse Distillation from One-Class Embedding이라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문에서는 Knowledge distilation 기반의 image anomaly detection 구조를 제안하였습니다. 이미 이전에 다양한 Knowledge distilation 기반의 image anomaly detection 구조가 제안되었으나 본 논문에서는 1) Teacher와 student 간의 동일 혹은 유사한 구조, 2) 동일한 data flow의 문제를 지적합니다. 이렇게 Teacher와 student가 유사한 구조를 갖게되면 결국 student model이 teacher model의 파라미터를 그대로 복사해올 것이고 이는 anomaly score의 차이가 발생하지 않는다는 것을 의미합니다. 이러한 문제를 해결하기 위해 본 논문에서는 reverse distillation framework를 제안하였습니다. Reverse 구조를 갖기 때문에 teacher, student의 data flow가 다르게 됩니다. 추가로 one-class bottleneck embedding module을 도입함으로써 student가 효과적으로 normal pattern을 학습할 수 있도록 구조를 구성하였습니다. Distillation 기반의 다양한 image anomaly detection model에 대한 깔끔한 정리로 해당 분야에 대해 많은 지식을 얻을 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 Anomaly Detection via Reverse Distillation from One-Class Embedding라는 논문을 다루었습니다. 본 논문은 기존 knowledge distillation 방법론들은 teacher와 student가 유사한 구조와 data flow를 가지고 있기 때문에 이상치에 대한 feature 차이가 발생하지 않는다는 문제점을 지적하며 이를 해결하기 위한 방법론을 제안합니다. 본 논문의 방법론은 reverse distillation을 통해 teacher와 student 간의 representation 차이를 크게 만들어 data flow를 다르게 만들어주고, one-class bottleneck embedding module을 통해 student가 효과적으로 normal pattern을 학습할 수 있도록 만들어줍니다. 이번 세미나를 통해 knowledge distillation이 anomaly detection 분야에서 어떻게 활용되는지 알 수 있었습니다. 또한 background 설명을 통해 대략적인 흐름을 알 수 있었습니다. 발표 자료 구성이 좋았고, 이 분야에 대한 발표자의 관심을 알 수 있어서 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 Anomaly Detection via Reverse Distillation from One-Class Embedding 논문을 바탕으로 진행되었습니다. 해당 논문은 잘 학습된 큰 네트워크(Teacher)의 지식을 더 작은 네트워크(Student)에 전달하는 것을 목적으로 하는 Knowledge distillation을 바탕으로 Anomaly detection을 진행하는 방법론에 대해서 말하고 있습니다. 해당 논문에서의 핵심은 Reverse Distillation이라고 할 수 있는데, 기존 Teacher와 Student가 유사하거나 아예 동일한 구조를 가짐과 동시에 Data가 흘러들어가는 과정이 같아서 발생하는 Student와 Teacher간 feature 차이가 크게 존재하지 않는다는 문제점을 해결하고자 제시되었습니다. 이에 Teacher와 Student가 모두 Encoder 형태를 가지던 기존 구조에서, 해당 논문에서 제시한 모델은 Student를 Decoder로 사용하는 Reverse Distillation 구조를 가지고 있습니다. 또한, Data가 흘러들어가는 과정도 그 이전에는 Teacher와 Student 모두에 같이 동일한 데이터가 Input 되었으나 해당 논문의 모델은 Teacher를 통해 나온 data를 Decoder인 Student가 받는 형태로 구성되어 더 효과적으로 Anomaly detection을 수행하고 있습니다. 해당 발표를 통하여 Knowledge distillation을 바탕으로도 Anomaly detection이 진행되고 있다는 사실을 알 수 있었고, 이를 다른 분야에도 좀 더 확장시키면 어떨까 하는 생각이 들었습니다. 발표 자료도 깔끔하게 만들어 주셨고, 방법론에 대해서도 자세히 설명해 주셔서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 “Anomaly Detection via Reverse Distillation from One-Class Embedding”이었습니다. 해당 논문은 기존의 Distillation 기반 Anomaly Dectection 방법론들이 1) 동일한 모델 구조 2) 동일한 입력 형태로 인해 Teacher-Student 간 학습 효과가 크지 않다고 주장합니다. 이를 개선하기 위해 AutoEncoder와 유사하게 Teacher가 Feature Extranctor로 역할을 수행하고, 생성된 Latent Vector를 입력으로 student가 다시 입력 이미지를 복원하는 태스크를 수행합니다. 이때, Student 모델이 Teacher 모델로부터 풍부한 정보를 전달받되, Normal 이미지를 복원하는데 도움이 되는 정보만 받을 수 있도록, MFF와 OCE 모듈을 도입하고 있습니다. 또한, 실제 distiilation을 위한 Loss 함수에서도 픽셀 단위의 loss를 사용함으로써 Student 모델이 다양한 정보를 학습하도록 유도하고 있습니다. 이를 통해 실제 Inference 시에 적은 메모리 사용량과 빠른 속도를 가지고 기존의 방법론에 비해 좋은 성능을 보일 수 있습니다. AutoEncoder 구조와 유사한 구조를 사용하면서도 Distillation을 이용하는 점이 매우 분명한 목적을 가진 모델 구조라는 생각이 드는 논문이었습니다. 좋은 논문과 모델이란 결국 강한 목적에 부합하는 모델 구조, 학습 알고리즘, loss 함수를 통해 구성된다는 점을 다시 한번 생각할 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에선 Anomaly Detection via Reverse Distillation from One-Class Embedding 라는 연구에 대해 소개되었습니다. 논문에선 Image Anomaly Detection에 knowledge distillation 구조를 사용하고 있고, distillation을 anomaly detection에 사용했던 기존 연구들과는 다르게 student를 decoder의 역할로 사용하고 있다는 점이 가장 큰 특징입니다. Teacher, Student로 구성된 구조에서 teacher는 freezed pre-trained model이 사용되고 teacher의 multi-level feature는 Multi-Feature Fusion과 One-class embedding 구조를 통해 normal feature만 효율적으로 encoding 할 수 있게 됩니다. Teacher-student 구조의 distillation 방식을 사용하면서 teacher의 output feature를 student의 입력으로 사용하는 reversed 구조가 참신했던 연구인 것 같습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 “Anomaly Detection via Reverse Distillation from One-Class Embedding.” 논문을 소개해 주셨습니다. 기존 Knowledge Distillation 기반 Anomaly Detection 방법론들은 Teacher Network와 Student Network가 동일하거나 유사한 구조를 사용하고 동일한 Input Data를 사용했습니다. 이로 인해 Student의 파라미터가 Teacher의 파라미터를 거의 그대로 따라해 Anomaly에 대한 Teacher 및 Student 간의 차이가 발생하지 않게 됩니다. 해당 논문에서 제안한 방법론은 Teacher는 Encoder로, Student는 Decoder를 사용하여 구조적 차이를 보였습니다. 또한 기존 방법론들과 달리 Teacher Network에서 나온 Output을 One-class Bottleneck Embedding Module에 넣어 나온 Output을 Decoder에 넣어 Data Flow 관점에서도 차이를 보였습니다. NLP에서 Large PLM을 활용하는 방법에 대해 찾아보는 과정에서 Knowledge Distillation이라는 연구 분야를 처음 접했는데, 이번 세미나를 통해서 비록 적용 분야는 다르지만 여러 Knowledge Distillation 방법론에 대해 들을 수 있어서 좋았습니다. 발표 자료 중 2019년 연구부터 2022년 11월 연구까지 KDAD 관련 연구들의 흐름을 Roadmap으로 직접 작성해주신 부분에서 발표 자료에 많은 노력을 기울였음이 느껴졌습니다. 좋은 발표 감사드립니다.

이번 세미나는 이미지 데이터를 대상으로 한 이상치 탐지(Anomaly detection) 과업에 대해서 소개되었습니다. 그 중에서도 distillation이 중점적으로 다뤄졌는데 재밌게도 knowledge distillation이 아닌 reverse distillation이 주인공이었습니다. Reverse distillation은 처음 듣는 개념 및 과업인데, 기존의 distillation과 다르게 Teacher의 Encoder + Student의 Decoder 구조를 따르게 됩니다. 이것의 핵심이자 목표는 teacher와 student 모델의 표현의 차이를 크게 하는 것입니다. Teacher내 여러 layer에서 나온 output feature를 종합하는 MFF(Multi-Feature Fusion) 블록과 이를 통해 나온 결과물을 다시 저 차원 공간으로 mapping 하는 OCE(One-Class Embedding) 블록을 통해 해당 목표를 이루어내는 모습을 확인할 수 있습니다. 발표자분께서 Knowledge Distillation을 활용한 Anomaly Detection에 대해서 잘 정리해주신 덕분에 많은 정보 얻을 수 있었습니다. 감사합니다.

이번 세미나는 Anomaly Detection via Reverse Distillation from One-Class Embedding을 주제로 진행되었습니다. Anomaly detection에서 knowledge distillation를 사용하는 경우의 세팅이 흥미로웠습니다. Teacher는 fixed pretrained model을 student model은 normal image에 대해서 학습을 진행하여 두 모델의 차이를 통해 이상치를 탐지했습니다. 제가 살펴봤었던 AD 모델들은 Fixed Pretrained model로 feature를 추출해내거나, normal 데이터로만 학습한 모델을 개별적으로 활용하는 구조였는데 해당 세팅은 두가지 장점을 모두 포함하는 방법론이라 생각됩니다. 하지만 이러한 방법론은 teacher와 student 간의 유사성으로 인해 큰 차이가 나타나지 않는다는 문제점이 있었습니다. 오늘 소개해주신 Reverse distillation은 encoder teacher, decoder student 구조이며 두가지 아웃풋 차이를 명확히 만들어낸다는 특징을 가집니다. encoder-decoder 구조의 모델에 knowledge distillation 개념을 접목해 논문을 재미있게 풀어낸 연구였습니다. 좋은 발표 감사합니다.

이번 세미나는 Anomaly Detection via Reverse Distillation from One-Class Embedding 논문을 주제로 진행되었습니다. 해당 방법에서는 Teacher 와 student 가 추출한 feature 차이를 이용해 이상치를 탐지하는 방법을 사용합니다. 모델 경량화 쪽으로만 생각했던 부분을 이상치 탐지에 적용하는 시작아이디어가 인상깊었습니다. 이 또한 사전 학습된 teacher 와 그렇지못한 student 를 활용하는 것 같아 최근 연구흐름과 상당히 유사한것 같습니다. student 는 정상적인 feature 추출이 불가능 하여 이 차이를 이용해 detection 과 localization 을 수행합니다. 전체적인 flow 는 사실 encoder-decoder 구조라 일반적으로 knowledge distillation 과는 좀 다르지만 구조를 잘 풀어낸 논문으로 이했습니다. 좋은 논문발표 감사합니다.

이번 세미나는 "Anomaly Detection via Reverse Distillation from One-Class Embedding"라는 논문에 대해 소개해주셨습니다. Anomaly detection을 위해 student 모델을 만들고 teacher 모델에 대한 feature regression을 통해 이상치를 탐지하는 논리는 매우 직관적이었습니다. 그런데 이 경우 마치 reconstruction 기반의 모델들처럼 학습하지 못한 이상치에 대해서도 student 모델의 regression 성능이 높을 수 있다는 한계점이 존재합니다. 결국 학습에서 특수한 제한을 걸어주지 않는다면 student 모델은 teacher 모델과 유사할 것이기 때문입니다. 따라서 본 논문에서 reverse distillation을 진행하여 이를 해결하였습니다. Reverse distillation은 기존의 정상 distillation 과정보다 student 모델이 학습하지 못한 이상치 데이터에에 대해 높은 regression 성능을 낼 수 없기 때문입니다. 우선 input부터 teacher 모델과 다르기 때문에 student 모델은 분명 학습하지 못한 이상치 데이터에 대해 굉장히 낮은 regression 성능을 보일 가능성이 높습니다. distillation이라는 방법론이 이상치 탐지 관점에서 활용되고 있다는 것을 잘 몰랐는데 이번 세미나를 통해 새롭게 알게되어 좋았습니다. 좋은 발표 감사드립니다.

금일 세미나는 "Anomaly Detection via Reverse Distillation from One-Class Embedding"라는 주제로 진행되었습니다. 본 발표에서는 knowledge distillation을 활용하여 teacher 모델과 student 모델의 anomaly region에 대한 표상의 차이를 기반으로 이상치 탐지와 localization을 수행하는 reverse distillation 방법론이 소개되었습니다. 개인적으로 해당 방법론에서 student 모델이 효과적으로 정상 데이터의 분포를 학습할 수 있도록 one-class bottleneck embedding module을 도입한 점이 흥미로웠습니다. 해당 모듈은 multi-feature fusion block과 one-class embedding block으로 구성되어 있는데 논문에서 두 모듈을 추가한 이유를 언급한 것이 인상 깊었고, 특히 teacher 모델의 높은 capacity로 인한 고차원 feature가 student 모델이 정상 feature를 학습하는데 필요 없는 정보를 포함하고 있다는 것을 인지하고 anomaly feature가 student 모델로 전파되는 것을 막기 위해 student가 필요한 feature만을 남기는 필터 역할을 하는 one-class embedding block을 추가한 점이 크게 와닿았습니다. 좋은 발표 감사합니다.

이번 세미나는 이상치 탐지 분야에서 Knowledge Distillation(KD) 기법을 활용한 논문 Anomaly Detection via Reverse Distillation from One-Class Embedding을 주제로 진행되었습니다. 최근 KD를 활용한 이미지 이상치 탐지 방법론이 다수 발표되고 있으며, 보통 사전학습된 Teacher 모델과 Student 모델로 구성됩니다. 본 논문은 Teacher 모델과 Student 모델의 anomaly region에 대한 representation 차이를 이용하여 이상치 탐지와 localization을 수행하였으며, 두 representation 차이를 키우기 위한 목적으로 reverse distillation 프레임워크를 제안하였습니다. 이름에서 알 수 있듯이 teacher와 student의 구조를 달리 하여 data flow에 차이를 두었으며, one-class bottleneck 임베딩 모듈을 도입하여 student가 효과적으로 정상 패턴을 학습하도록 유도했습니다. 발표자분의 첫 발표였음에도 불구하고 방대한 자료조사와 깔끔한 구성이 인상 깊었습니다. 연구실 세미나를 통해 점차 이미지 이상치 탐지 관련 연구를 소개받을 일이 많아지고 있는 것 같습니다. 다음 발표도 기대하겠습니다. 고생하셨습니다.

이번 세미나는 CVPR 2022에 억셉된 Anomaly Detection via Reverse Distillation from One-Class Embedding 논문으로 진행되었습니다. 해당 논문은 Teacher와 Student가 추출한 feature의 차이를 이용해 이상치를 탐지하는 Knowledge distillation based anomaly detection 분야의 논문으로, 기존 Knowledge Distillation 방법론들의 Student Model이 Teacher Model의 파라미터를 거의 그대로 따라간다는 문제점을 해결하기 위해 Teacher-Student의 representation 차이를 증대시키고자 Teacher Encoder, Student Decoder, One-class bottleneck module로 구성된 Reverse Distillation Framework를 제안했습니다. 이러한 Reverse 구조를 통해 Teacher와 Student의 구조를 달리해서 data flow를 다르게 하고, One-class bottleneck embedding module을 도입하여 Student가 효과적으로 normal pattern을 학습할 수 있도록 했다고 합니다. 첫번째 발표임에도 불구하고 발표 자료도 깔끔하게 구성하시고, 특히 Knowledge distillation based Anomaly Detection 분야의 로드맵을 정리하신게 인상 깊었던 것 같았습니다. 좋은 발표 감사합니다.

이번 세미나는 CVPR 2022에 게재된 Anomaly Detection via Reverse Distillation from One-Class Embedding 논문을 소개해 주셨습니다. 본 논문은 임지 anomaly detection에 대한 것으로 Teacher 모델과 Student 모델의 Anomaly region에 대한 representation 차이를 이용해 Anomaly Detection과 localization을 수행합니다. 위와 같은 방법론의 성능을 확보하기 위해선 두 모델 사이 representation 차이가 크도록 해야하는데, 본 논문에서는 Teacher encoder 와 Student decoder 형태의 구조에 One-class embedding module을 추가함으로써 Student가 normal pattern만 잘 학습 하도록 하였습니다. 이런 과정은 Reverse distillaton 프레임 워크에 포함되며 추가로 student 모델에서 low-level 특징들을 잘 표현하지 못하는 것을 완화하기 위해 multi-feature fusion block을 추가하였습니다. 본 논문에서 인상 깊었던 점은 일반적으로 같은 data를 input 받는 Teacher-student 구조가아닌 teacher의 output을 student가 이어받아 decoding했다는 점입니다. 위와같은 설정에서는 teacher의 anomaly가 student에 전파 될 위험이 있다고 생각했는데, 논문에서는 설명한대로 One-class embedding module을 추가하여 그를 해결했습니다. 본 논문 자체 뿐아니라 knowledge distillation 관련 연구들의 현황을 정리해 주셔서 이해하기 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 Anomaly Detection via Reverse Distillation from One-Class Embedding를 주제로 진행되었습니다. 해당 논문은 image anomaly detection task에서 knowledge distillation을 다루고 있습니다. 이전 knowledge distillation의 경우 teacher와 student 모델이 유사한 구조와 동일한 data flow를 가지고 있기 때문에 student가 teacher의 파라미터를 거의 그대로 따라하면서 feature간의 차이가 발생하지 않는 한계점이 있었으며 해당 한계점을 개선하기 위해서 본 논문은 student 모델이 teacher 모델의 reverse된 구조를 가짐에 따라 이를 해결하고, one-class bottleneck embedding module를 통해 효과적으로 normal pattern을 학습하도록 하였습니다. 이미지 anomaly detection에서 knowledge distillation을 수행한 연구는 처음 접하는 것 같아 흥미롭게 들었으며, timeseries anomaly detection에도 knowledge distillation 연구가 필요하다는 생각을 평소에도 하고 있었는데 참고 할 수 있을 것 같습니다. 첫 발표 수고하셨습니다.