오늘 세미나는 PU learning을 활용한 anomaly detection 방법에 대한 내용으로 진행되었습니다. 기존의 비지도 학습 이상치 탐지의 경우 이미 알고 있는 이상치 정보를사용하지 않으며, 모든 unlabeled data가 정상이라는 가정 하에 학습을 진행합니다. 반면, PU learning은 positive와 unlabeled data를 사용하여 학습하는 방법으로, unlabeled data를 negative로 간주하여 classification을 진행하는 방식으로 진행됩니다. 먼저 hashing 기반의 방법을 사용하여 confident가 높은 unlabeled data를 reliable(normal), 그렇지 않는 data를 potential abnormal data로 filtering하고, 이후 triplet loss를 사용하여 representation을 학습합니다. 학습 후, 정상과 고장이 임베딩 공간 상에서 멀리 위치하게 되어 이상치 탐지를 수행할 수 있습니다. 도메인 지식에 기반한 이상치 정보를 가지고 있는 상황에서 활용하기에 매우 좋은 방법론이라고 생각됩니다. 좋은 발표 감사합니다.

금일 세미나는 “PUMAD : PU Metric Learning for Anomaly Detection”에 대한 리뷰로 진행되었습니다. PU learning이란 소수의 비정상 데이터와 풍부한 unlabel 데이터가 존재하는 상황에서 metric learning으로 학습하는 것을 의미합니다. PUMAD 모델의 경우 distance hash-based filter를 적용하는데, 해시함수를 활용하여 데이터 내에 normal일 가능성이 높은 것들과 abnormal일 가능성이 높은 데이터를 filtering합니다. Hash 함수에 의해 filtering된 bucket 내 평균 수가 작아지는 방향으로 반복수행을 하면서 triplet loss가 가장 작아지는 방향으로 학습합니다. 실제 산업현장에서의 수집된 데이터들이 대부분 unlabeled 데이터이고, 비정상 데이터는 아주 적은 수로 존재한다는 상황을 잘 고려한 방법론이라고 생각하였습니다. 좋은 발표 감사합니다.

Anomaly detection은 현업에서 반드시 필요한 방법론 입니다. 해당 분야는 최희정 박사과정이 꾸준하게 세미나를 진행해 주고 있지만, 금일 세미나에서 발표해주신 "PUMAD : PU Metric Learning for Anomaly Detection" 의 경우에는 지금까지 다루었던 데이터 셋 구성이 아니라 소수의 이상 데이터와 많은 수의 unlabeled data가 있는 상황을 다루고 있습니다. 개인적으로는 이러한 가정이 보다 현업에 맞다는 생각이 들었습니다. 방법론의 경우에는 매우 직관적이고 합리적입니다. 우선 소수의 labeled data를 활용하여 unlabeled data를 reliable normal과 potential abnormal data로 filtering합니다. 이 과정에서는 거리기반 hash function을 사용하게 되고 이후에 triplet loss를 활용하여 representation을 강제합니다. 반드시 필요한 분야이며 꾸준하게 발전해야 하는 분야이지 않나 싶습니다. 후속연구에 대한 세미나가 기대됩니다.

이번 발표는 anomaly detection 에 관련된 내용 중 label 을 부여할 때, semi - supervised 아이디어가 적용된 논문입니다. 내용의 배경을 설명해주는 장표에서 reliable negative 의 경우 최근에 anomaly detection 을 직접 해보면서, 시간상으로 attack 이 온 시점의 경우(시간상의 경계) 에는 데이터가 유사할 수 밖에없고, 어떤 기저에서 인지 모르겠지만 negative label 이 부여되게 됩니다. 이런경우 attack 을 찾아내는것이 쉽지 않게되는데, 그래서 이런 label 데이터를 좀 더 reliable 하게 하는 것은 모델의 robustness 와 관련하여 꼭 필요하다고 생각합니다. 이런 경계면의 라벨은 해당 데이터에 오버피팅되고 또 어떤 attack 이 올지 모르는 미래에 이상치 탐지 모델은 robustness 해야하기 때문입니다. 저 같은 경우에는 계속해서 모델링 관점에서만 anomaly detection 을 수행해 왔는데, 다시 모델링 이전 관점으로 돌아가 labeling 자체를 달리 하는 방식의 접근도 중요함을 느꼈습니다.

오늘 발표는 unlabeled 데이터가 풍부하고, Anomaly를 적을 때 사용하는 기법인 PU Learning에 대해 설명 해 주셨습니다. 모델이 평가했을 때, Confidenet가 높은 Unlabeled 데이터에 Label을 부여하고 Sudo Labeling data로 사용한다는 점에서 Self-Training과 비슷하다는 느낌을 받았습니다. 다만 일반적인 Self-training 방법론과는 다르게 단순히 confidence를 기준으로 anomaly를 탐색하는 것이 아니라 Embedding 공간에서 Abnormal 데이터와 normal 데이터의 사이의 거리를 증가시키는 Triplet loss(metric)을 사용한다는 점에서 확연하게 다른 부분이 존재하는 것 같습니다. 방법론 자체는 흥미롭고 뛰어나나 쉬운 테스크(binary classification)에서만 효과적이라는 점이 아쉬운 논문인 것 같습니다. 하지만 anomaly Detection이라는 특수한 케이스에서는 매우 뛰어나기 때문에 반도체, 화학공정 등 다양한 현업에서 효과적으로 사용될 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 PUMAD : PU Metric Learning for Anomaly Detection라는 논문을 주제로 발표가 진행되었습니다. 본 논문은 현업의 관점에서 유용한 방법론을 제안한 것으로 보이는데, 우선 abnormal이 소수가 존재하고 unlabeled dataset이 다수 존재하는 상황을 가정하게 됩니다. 이후 embedding space 상에서의 abnormal과 normal(reliable)을 구분하는 deep encoder 학습을 수행하게 되며, 이 때 metric learning을 위한 triplet loss를 사용하게 됩니다. 이 때 reliable normal을 구하기 위해 해시 테이블을 이용하게 되는데, hash function을 통해 hash code를 생성하고 이 때 해시 값에서 1이 많을 수록 abnormal, 반대인 경우 normal로 판단합니다. 결과적으로는 00000과 같은 해시코드와 hamming distance가 작은 값을 reliable normal로 설정하는데, 연산 효율성 측면에서나 효과 측면에서 굉장히 실무적인 방법론이라고 생각했습니다. 현업의 시각을 발표에 녹여주셔서 굉장히 흥미롭게 들은 세미나이며, 앞으로도 관련된 좋은 발표 기대하겠습니다.

본 세미나는 Anomaly Detection(AD)을 수행하기 위한 새로운 모델 제시라기보다 수중에 갖고 있는 데이터와 loss를 설정하는 방법에 대하여 소개합니다. 기본적인 AD는 정상 데이터를 통해 경계선을 수립한 뒤, 해당 선 이외의 데이터들에 대하여 이상치라고 간주하는데, 이와 같은 학습을 위해선 정상 Label이 달린 많은 데이터가 필요합니다. 하지만 데이터가 많은 쪽은 Unlabeled 쪽이며 여기에 적은 양의 이상치들을 더해 PUMAD를 진행합니다. PUMAD는 먼저 distance hashing 기반의 필터링 기법을 사용하여 reliable 정상 데이터와 이상치를 Unlabeled Data에서 구해내고, Triplet loss로 정상과 이상치의 거리를 벌려나가는 식의 학습을 진행하며, 전자와 후자를 반복합니다. 반복 속에서 Hash Bucket의 평균 개수가 작아지는 방향으로, 그리고 triplet loss의 감소를 목적으로 학습합니다. 좋은 논문 선정하여 발표해주시어 감사합니다.

금일 세미나는 "PUMAD : PU Metric Learning for Anomaly Detection"라는 주제로 진행되었습니다. 본 발표에서는 Positive-Unlabeled (PU) learning에 deep metric learning을 적용하여 이상치 탐지 성능을 발전시킨 PUMAD가 소개되었습니다. 먼저 본 발표를 통해 처음 PU learning을 접하였는데, 이상치 탐지 방법론에서 negative samples를 unlabeled data로 다루는 것이 매우 합리적이라고 느꼈습니다. 단지 측정하지 않아서 고장 데이터로 인식되지 못하고 이를 정상 데이터로 사용하는 상황이 정상 데이터만으로 이상치를 탐지하는 모델의 학습에 매우 방해가 될 수 있는 요소이기 때문에 PU learning을 기반으로 이상치 탐지에 접근한다는 점이 매우 흥미로웠고, 매우 현실적인 문제를 지적했다고 생각했습니다. 더불어 PU learning에 triplet loss를 적용하여 metric learning을 접목한 방법도 인상 깊었습니다. 개인적으로 이상치 탐지 모델에서 효과적인 representation이 중요하다고 생각하는데 metric learning이 이러한 부분을 발전시킬 수 있는 요소로 작용했다고 생각합니다. 새로운 개념에 대해 접할 수 있어서 유익한 세미나였다고 생각합니다. 좋은 발표 감사합니다.

금일 세미나에서는 PU Metric을 이용한 Anomaly Detection 방법에 관하여 소개해 주셨습니다. 일반적으로 Anomaly Detection을 수행할 때 Positive Labeled Data는 많으나, Abnormal Data의 경우 시스템에 문제가 생긴 경우에 발생하기에 상대적으로 Data의 수가 적습니다. PU Learning에서는 Positive Data와 함께 Unlabeled Data를 Negative (Abnormal) Data로 간주하여 Classifier를 설계한 뒤, Unlabeled Data 내에서 신뢰할 수 있는 Negative Data를 분류해 내는 방식으로 Classifier를 변경해 나가는 방식으로 학습을 수행합니다. 거리 Metric을 활용한 Triplet Loss를 이용하여 Normal Data와 Abnormal Data의 거리를 멀게 학습하는 과정을 통해 Abnormal Data의 수가 적은 환경에서도 좋은 성능을 보인다는 점이 인상적이었습니다. 좋은 발표 감사합니다.

소개해주신 논문에서는 unsupervised anomaly detection을 수행하기 위해 많은 양의 pure normal data가 필요함을 지적합니다. 특히나 발표자분께서 근무하시는 제조업 기반의 데이터와 잘 어울린다는 방법론이라 느꼈습니다. 우선 normal data가 많고 단일 cluster로 존재할 확률이 높으며 anomaly data의 수가 매우 적기 때문입니다. PUMAD에서 제안하는 방법론 측면에서는 크게 두 가지 stage로 구성이 되는데, 먼저 observed anomaly sample에 대한 clustering을 수행하고 unlabeled data에 대해서는 potential anomaly를 추출하는 과정을 거칩니다. 그 후 potential anomaly에 대해 가중치를 부여하여 semi-supervised learning을 수행합니다. 문제를 해결하고자 하는 도메인에서 발생하는 데이터의 분포를 면밀히 살핀 후 방법론을 설계하는 것이 좋은 전략이 되겠다고 느낄 수 있었던 발표였습니다. 감사합니다.

금일 발표는 “PUMAD : PU Metric Learning for Anomaly Detection” 논문을 소개해 주셨습니다. Anomaly Detection을 위해 정상 데이터를 학습하는 과정에서 unlabeled 되어있는 positive data를 다루는 방법은 제안한 논문이었습니다. 최근 이상치 탐지 분야에서는 단순 정상 데이터만 가정하는 것이 아닌 정상 데이터 내에 존재하는 이상치를 대하는 방법이나 소수의 labeled 데이터를 활용하는 방법을 통해 현업에서 일어날 수 있는 문제들은 가정하여 해결하고 있는 것 같다는 생각이 들었습니다. 이번 논문에서 역시 이러한 문제점을 다루었고 distance hashing 기반의 filtering 방법과 triplet loss를 통한 metric learning으로 소수의 Labeled 데이터를 활용하였습니다. 본 연구의 실험은 굉장히 많은 데이터를 다루었다는 점에서 인상이 남습니다. 오늘 발표를 소중한 시간으로 만들어 주셔서 감사드립니다. 앞으로도 좋은 발표 기대하겠습니다.

이번 세미나는 PUMAD : PU Metric Learning for Anomaly Detection 에 대한 세미나입니다. 이상치 탐지를 할 때에 있어서 소수의 이상 데이터와 대부분의 unlabeled data가 있을 때 이상치 탐지를 하는 방법에 대하 세미나입니다. 레이블이 존재하지 않는 데이터를 다루기 위해 distance hashing기법인 filtering 방법과 triplet loss를 통한 metric learning을 진행하였고, 소수의 레이블이 달린 데이터를 활용하였습니다. 현재 이상치 탐지 방법론은 레이블을 다는 것이 전문적인 인력의 시간과 비용이 들기 때문에 이처럼 비지도 학습 이상치 탐지가 가장 대두되고 있습니다. 시계열, 이미지 등등에서 이상치 탐지를 할 때 활용될 수 있는 filtering 방법과 metric learning을 도입하여 좀 더 성능을 증가시킬 수 있을거 같습니다. 감사합니다.