우선 세미나 초반에 Deep SVDD와 Dilated RNN에 대한 자세한 설명을 해주어서 그 후에 time series anomaly detection에 어떻게 적용되는지가 잘 이해가 될 수 있었습니다.
이 세미나의 논문에서 제안하고 있는 모델인 THOC network는 우선 dilated RNN에 데이터를 넣어 feature를 추출합니다. 이렇게 dilated rnn을 사용하여 시계열 데이터에서의 문제점이 될 수 있는 complex dependency, vanishing/exploding gradient, 그리고 efficient parallelization을 해결할 수 있습니다. 이렇게 추출된 feature들을 Hierarchical Clustering layer에 넣어 fusing을 할 수 있습니다. 이 Hierarchical Clustering layer의 핵심은 각각의 계측에서 어떤 feature가 어떤 cluster에 들어가는지의 확률을 구하고, 그 확률과 feature에 FC layer와 가해 ReLU를 통과시킨 transformation된 것을 곱해 다음 레이어의 feature로 업데이트 시켜주는 것입니다. 이렇게 최종적으로 나온 feature값과 최종 레이어의 센터 값들을 활용해 anomaly score를 구하는 방법입니다.
개인적으로 제 개인 연구 분야인 time series 상에서 anomaly detection에 대해 새로운 분야 (temporal hierarchical one-class network)에 대해 접근할 수 있는 기회였습니다. 감사합니다.

소개해주신 논문은 dilated RNN을 이용해 시계열 데이터 상에서 이상치탐지를 수행하는 모델을 제안했습니다. dilated RNN은 hidden state를 바로 직전 time step이 아닌 더욱 이전 step의 state를 가져와서 사용합니다. 이를 여러 층으로 구성함으로써 아래 층의 레이어는 가까운 시간 전의 hidden state를, 위 층의 레이어는 먼 시간 전의 hidden state를 사용하도록 하였습니다. 본 논문은 복잡한 시계열 데이터를 dilated RNN의 구조를 통해 학습하고, RNN의 각 층 별 hidden state를 hierarchical clustering에 적용해 이상치 탐지를 수행하였습니다.
해당 모델은 RNN의 각 층 마다 cluster들을 설정하고 해당 timestep의 feature가 층별로 어떤 cluster에 할당되면 좋을것인가를 학습합니다. 학습을 수행할 때 아래층의 feature를 위층에 전달하는 과정에서 feature를 cluster에 할당될 확률만큼만 전달하는 구조가 신선하다고 생각되었습니다. 목적함수는 가장 위층의 feature와 해당 층의 cluster center의 거리를 최소화하도록 학습하는 식에 두 개의 식을 추가한 세 가지 task로 이루어졌습니다. THOC 목적함수는 SVDD와 유사하지만 cluster가 여러 개 있는 것이 다르다고 생각되었습니다. 해당 부분을 처음 들었을 때 cluster들이 많아지는 것이 꼭 좋을까 하는 생각이 들었는데 세 번째 task인 각 cluster의 center들을 orthogonal하게 만드는 제약조건이 추가될 경우 여러 cluster를 이용하는 것이 feature vector의 다양성을 학습해 긍정적인 효과를 불러올 수 있겠다는 생각을 했습니다. 실험 결과를 보면 성능이 굉장히 좋아 보입니다. 다만 cluster 수가 hyperparameter같고 설정할 수 있는 경우의 수가 굉장히 많을 것 같은데 이에 민감하진 않은지 궁금합니다.

피피티로 그림 그리는 실력에 매번 감탄합니다.. 좋은 슬라이드 덕분에 알고 가야하는 개념들에 대해 쉽게 이해할 수 있었습니다. 여러 기업들과의 교육 프로그램 내에 들어있는 개인 프로젝트를 진행하면서 시계열 데이터 처리에 대한 중요성을 많이 느꼈습니다. 대량의 시계열 센서 데이터를 가진 회사 입장에서 불량 제어를 위한 이상치 탐지는 매우 중요한 업무일 것이라 생각합니다. 이러한 관점에서 정말 오랜만에 보는 현업에 도움이 되는 좋은 논문이지 않나 싶습니다. 그리고 산업공학과 결이 맞다는 생각도 들었습니다. 본 논문은 dilated RNN과 Deep SVDD를 사용하여 시계열 데이터에 대해 이상치 탐지를 진행합니다. Feature를 fusion하는 방식도 재밌었고 기존의 이상치 탐지에서 보기 어려웠던 auxiliary task도 흥미로웠습니다. L_orth를 사용하는 경우에 precision이 올라야 할 것 같은데 recall이 올라 이 부분이 신기했고 조금 더 이해를 해봐야 겠다고 생각했습니다. 개인적으로는 개인 연구에 사용해볼법한 내용들이 몇 가지가 보여 행복한 마음으로 발표 잘 들었습니다. 좋은 발표 감사합니다.

우선 지난 최희정 박사과정의 Deep SVDD 세미나에 휴가 관계로 참석을 못하였는데 이전의 내용을 되짚어주셔서 잘 따라갈 수 있었습니다. 본 논문에서는 dilated RNN에 대한 소개를 하는데, 이는 기존 RNN의 gradient vanishing/exploding 문제와 복잡한 디펜던시, 그리고 parallelization의 어려움을 보완하기 위해 직전 시점이 아닌 더 이전 시점의 skip-connected hidden state만을 입력으로 받아 파라미터를 업데이트하는 방법입니다. 또한 여러 층을 쌓아 각 층마다 참조하는 시점을 지수적으로 늘려가며 모든 정보를 고려할 수 있습니다.
본 논문의 방법론인 Temporal Hierarchical One-Class Network(THOC)는 시계열 기반의 이상치 탐지 방법론입니다. 큰 구조로는 Dilated RNN의 각 레이어마다 temporal feature를 추출한 후, 추출된 feature를 적절히 합쳐서 anomaly score를 도출하는 형태입니다. 추출된 feature를 합치는 과정은 다음과 같습니다. 이전 레이어에서 특정 클러스터에 할당될 확률을 구하고, 다음 레이어에 feature를 전달할 때 해당 확률이 가중치 역할을 하여 확률값만큼의 feature 정보가 각각 전달됩니다. 전달된 updated feature는 다음 레이어의 feature와 concatenate되어 fc layer를 거치면 fused feature가 완성됩니다. 이러한 과정을 거칠 경우 최종 레이어의 fused feature는 이전 레이어의 정보를 (가중치가 있지만) 직접적으로 갖고 있게 됩니다. 추가적으로 THOC를 end-to-end로 학습시킬 수 있는 MVDD(Multiscale Support Vector Data Description)을 제안하여 여러 클러스터에 대하여 center와의 거리를 최소화할 수 있도록 합니다. 논문에서 제시한 구조가 참신하여 dilated RNN을 굳이 사용하지 않아도 하나의 모델로서 발전시킬 수 있지 않을까 궁금했는데 이에 대한 ablation study까지 진행하여 궁금한 점이 해결되었습니다. 발표자분께서 상세하게 단계별로 설명해주셔서 유익한 시간이었습니다. 감사합니다.

이번 세미나는 최희정 학생의 시계열 기반의 이상치 탐지 연구주제에 대한 논문이었습니다. 해당 논문의 주요 contribution은 dilated RNN을 사용하는 모델 구조였습니다. RNN의 각 레이어마다 군집을 형성하고 해당 시퀀스의 임베딩 벡터마다 어떤 군집에 할당되는지 학습을 하게 됩니다. 각 클러스터에 할당된 수만큼 가중치가 더 부여된다는 점에서, 가우시안 혼합모델을 차용한 느낌이 들었습니다. 그리고 다양한 벡터들을 군집하는 형태로 표현한다는 점에서 Group normalization효과를 준 개념과 비슷하지 않나 생각해봅니다. CNN에서만 사용되는 방법인줄 알았는데 이번기회에 RNN구조에서도 skip-connection으로 이용하는 구조를 이용할 수 있있다는 것을 알 수 있었습니다. 한편으로는 중간에 건너 띄어서 학습한다는 개념이 RNN 컨셉과 달라지는 것같고 dilated CNN과 큰 차이가 없다는 생각도 해 봅니다. 마지막으로 발표자의 깔끔한 피티구성이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서 발표자는 Deep SVDD와 Dilated RNN을 기반으로 timeseries anomaly detection에서 SOTA 성능을 도출한 “Timeseries Anomaly Detection using Temporal Hierarchical One-Class (THOC)”를 소개해 주셨습니다. 본격적인 논문 소개에 앞서, 저번 세미나에서 발표해 주셨던 Deep SVDD와 기존 RNN의 complex dependency, vanishing/exploding gradient, 그리고 efficient parallelization의 어려움을 보완하기 만들어진 Dilated RNN에 대해 소개해 주셔서 뒤에 발표를 이해하는데 도움이 되었습니다. THOC 모델은 Dilated RNN을 기반으로 short/long-term 정보를 포함함 multiscale temporal features를 추출합니다. 그후 differentiable hierarchical clustering을 통해 multiscale temporal features를 통합하고 이를 통해 anomaly score를 구하여 이상치를 탐지하게 됩니다. 본 연구에서는 추가적으로 THOC 모델과 더불어 이를 end-to-end로 학습할 수 있는 multiscale vector data description를 제안하여 여러 클러스터에 대하여 center와의 거리를 최소화할 수 있도록 합니다. 좋은 발표 들려주셔서 감사합니다.

금번 세미나에서는 dilated RNN을 기반으로 한 시계열 데이터에서의 anomaly detection 모델 THOC를 소개하였습니다. RNN에 skip connection을 대입하되, layer별로 skip length를 다르게 가져가면서 마치 wavenet이 receptive field를 효율적으로 크게 가져가는 것과 유사한 방식이라고 생각하였습니다. 이를 시계열 모형에 적용하는 것도 신기했지만, 무엇보다 층별로 feature를 묶을 수 있는 클러스터를 만들고 이 클러스터를 낮은 층에서 높은 층으로 stochastic하게 가져가는 방식 또한 인상적이었습니다. 하단의 layer 정보를 상단으로 forwarding 할 때, feature 자체 외에도 클러스터 정보를 추가함으로써 anomaly detection에 있어서 효율성과 정확도를 추구하는 방식이라고 이해하였습니다. 어느 좋은 논문이나 그렇지만, 네트워크에서 Loss가 backprop되어 각 레이어별로 feature와 center의 거리가 최소화되도록 학습하는 과정 자체가 설계해내기 어려운 것 같습니다. 이러한 부분에 대해서는 좀 더 수학적인 이론을 탄탄하게 해서 학습을 최대한 효율적으로 할 수 있는 실력을 길러야 겠다고 생각하였습니다. SVDD에 대해서는 이전에 설명하신 내용을 요약해서 잘 설명해주신 덕에 쉽게 기억할 수 있었습니다. 다양한 시각적 표현(그래프 등)으로 좋은 세미나 해주셔서 감사합니다.

발표자료에 시간을 많이 투자한 것을 간접적으로 느낄 수 있었습니다. Dilated RNN의 개념 자체는 WaveNet의 Dilated TCN과 동일한 개념이라고 생각합니다. 다만, RNN은 학습시 병렬로 연산이 불가능하기 때문에 시계열 길이가 길수록 Dilated TCN보다 학습효율이 매우 떨어질 것이라고 생각합니다. 학습된 후에 Inference 측면에서는 시간 효율이 Dilated TCN 보다 좋아서 학습만 된다면 실시간 이상치탐지에 적용할 수 있지 않을까 생각합니다. 이상치탐지 분야에 적용하기 위해 모델을 활용할 때는 각 층의 계층적 구조로 cluster 중심을 유사성을 통해 할당하고, 서로의 feature를 혼합(fused)하여 새로운 feature를 만들어냅니다. 이를 계층적으로 적용하는 것을 볼 수 있습니다. 결론적으로는 모델의 끝은 SVDD 목적함수를 통해 학습하는 것을 볼 수 있습니다. 항상 깔끔하고 좋은 발표 감사합니다.

이번 세미나는 time series anomaly detection을 위한 temporal hierarchical one-class network를 주제로 진행되었습니다. 이 model은 Dilated RNN을 사용하였는데 기존 RNN이 long sequence를 처리하는데 발생했던 complex dependency, vanishing gradient 등의 문제를 해결하기 위해 직전 hidden state를 입력으로 받지 않고 특정 skip length 이전 hidden state를 다시 입력하는 dilated skip connection을 도입한 방법입니다. THOC는 time series data를 대상으로 partial time series를 input으로 특정 시점의 abnormal 여부를 예측하고자 합니다. 먼저 Dilated RNN으로 multiscale temporal feature를 추출하고, hierarchical clustering layer에서는 추출한 multiscale feature들을 융합하여 abnormal score를 계산하게 됩니다. 이때 dilated RNN에서는 skip length를 layer가 증가함에 따라 지수적으로 증가시켜서 upper layer로 갈수록 long-term 정보를 학습하도록 하였습니다. 그 다음으로 dilated RNN의 각 layer마다 clustering layer를 구성하여 layer별로 feature를 각 cluster에 확률적으로 할당하고, 이 확률을 기반으로 이전 layer의 feature를 통합 후 변환해 feature를 update합니다. 그 후 clustering layer에서의 update된 feature와 dilated RNN의 다음 layer의 feature를 concatenate하여 fused feature를 도출합니다. 이렇게 되면 최종적으로 구해진 각 cluster의 center에 대한 fused feature는 lower layer의 모든 정보를 반영하게 됩니다. 이제 anomaly detection을 위해 최종 feature와 center의 거리를 Deep SVDD를 통해 최소화하고, 도출된 hypersphere를 바탕으로 abnormal score를 산출하게 됩니다. 추출된 feature를 clustering하여 다시 통합된 feature를 생성하여 이를 대상으로 hypersphere를 찾는 방법이 새롭게 느껴졌습니다. 방법론은 만드는데 있어서 여러 개념들을 조합할 때, 수식으로 연결할 수 있는 것이 중요하다고 생각됩니다. 직관적이고 친절한 설명 덕분에 이해에 큰 도움이 되었습니다. 좋은 발표 감사합니다.

기존 Deep SVDD는 사실상 그 구조가 매우 단순하였습니다. 학습되지 않은 모델로부터 계산한 임의의 center를 설정하고 그 center에 뭉치도록 학습하는 구조를 가지고 있었습니다. 최종적으로는 center에 가까울수록 정상 데이터에 가깝다고 판단하는 구조입니다. 이 때 이 구조가 갖는 최대 단점이라고 생각한 것은 하나의 center에 뭉치도록 한다는 것 이었습니다. 만약 비정상 데이터와 정상 데이터간의 차이가 매우 미비하여 비슷한 feature를 뽑을 수 밖에 없는 경우에 단순히 하나의 center로 뭉치도록 정상 데이터만으로 학습한다면 그러한 경우에 비정상 데이터를 잘 걸러낼 수 없을 것이라고 생각했기 때문입니다. 이런 관점에서 THOC는 매우 흥미로웠습니다. 각 feature에 대해 여러 개의 군집에 clustering하는 작업을 구현하였기 때문입니다. 또한 L_ORTH라는 손실 함수를 통해 center 또한 학습되면서 update되는 구조를 가지고 있었습니다. 그렇기 때문에 기존 Deep SVDD와 다르게 정상과 비정상간의 차이가 미비하더라도 둘을 구분할 수 있는 능력이 증대될 수 있을 것이라고 생각했습니다. 이 분야에 연구에서는 존재하지 않는 정답에(비정상 데이터가 없음) 대한 손실 함수와 모델 구조를 어떻게 설계하는지가 가장 중요하다고 생각하는데 이 논문의 경우 굉장히 논리적이고 깔끔하게 이를 설계했다고 느꼈습니다. 최근 본 논문 중에서 가장 흥미로운 논문이었고 이런 좋은 논문을 발표해주셔서 감사합니다.

이번 세미나는 dilated RNN과 differentiable hierarchical clustering을 결합한 Temporal Hierarchical One-Class Network (THOC)에 관한 발표였습니다. 시계열 데이터를 활용한 이상치 탐지는 연구실 프로젝트로도 다수 진행된 만큼 산업계에서 매우 실용성이 높은 연구 분야입니다. 그러나 시계열 데이터의 dynamics가 매우 복잡하고, 실제 이상치 데이터가 많지 않기 때문에 성공적으로 모델을 구축하기는 매우 어렵습니다. 오늘 발표 논문의 경우, 시계열 데이터의 정보를 여러 관점에서 반영하기 위한 dilated RNN을 활용하였고, 이를 hierarchical clustering을 활용하여 fusion 한 후, anomaly score를 산출하는 방향으로 진행되었습니다. 개인적으로 RNN 모델에 dilation을 적용하는 것이 receptive field 관점에서 장점이 있을 것이라는 점에는 공감이 갔지만, 이를 여러 층으로 구성하였을 때 2step-dilation output이 4step-dilation의 input으로 활용되는 부분을 어떻게 해석할 수 있을지에 대한 의문이 남기도 하였습니다. 각 step의 dilation의 input으로 모두 original x-data를 활용하고 이를 concat하는 방식으로 모델을 구성한다면 결과가 어떻게 달라질지 궁금합니다. 어려울 수 있는 내용을 상세한 시각자료와 설명으로 채워주어서 이해하기 수월한 발표였습니다. 감사합니다.

오늘 세미나는 Time Series Anomaly Detection과 관련된 논문을 설명해 주셨습니다. Deep SVDD는 Deep Learning 아키택처를 이용하여 원공간에 있는 데이터를 다른 공간으로 mapping하고 이를 특정 구 한개 주변으로 뭉치게 학습함으로써 이상치를 탐지하는 방법입니다. 오늘 설명해 주신 논문인 "Timeseries Anomaly Detection using Temporal Hierarchical One-Class Network"는 구를 여러개를 구성하여 정상데이터의 다양한 특징이 반영될 수 있도록 할 수 있게 만들었습니다. 또한 Time Series 특징을 잘 학습 할 수 있도록 Dilated RNN 아키텍처를 도입하였고 기존 RNN Stacking 모델이 갖고 있던 3가지 문제를 해소할 수 있는 방법을 제시하였습니다. 해당 논문의 재미있는 특징은 모델을 학습하기 위하여 LOSS를 구성할 때 정상데이터를 뭉치게 만드는 THOC loss 뿐만 아니라 현재시점에서 다음 Step에 나올 데이터를 예측할 수 있도록 만드는 Prediction loss를 추가하는 것이 모델 학습 성능에 영향을 주었다는 사실입니다. 논문의 결과와 아키택처는 매우 흥미로웠으나 개인적으로 복잡한 아키택처를 갖고 있는 모델들은 재현하기 어렵기 때문에 활용성이 높아 보이지는 않습니다. 아주 직관적인 그림과 Step by Step 설명 때문에 논문을 직접 보지 않아도 내용을 명확히 이해할 수 있어서 유익한 시간이었습니다.

이번 세미나는 최희정 박사과정이 시계열 기반의 이상치 탐지를 주제로 “temporal hierarchical one-class network” 논문에 대해서 다루어 보았습니다. 이전 세미나 시간에서의 Deep SVDD에서 이어지는 시계열데이터에서의 이상치 탐지는 현재 연구실에서 수행하고 있는 다수의 프로젝트에서 좋은 reference가 될 것 같습니다. 해당 논문의 주요 contribution은 dilated RNN을 사용하는 모델 구조였습니다. RNN의 각 레이어마다 군집을 형성하고 해당 시퀀스의 임베딩 벡터마다 어떤 군집에 할당되는지 학습을 하게되며, 각 클러스터에 할당된 수만큼 가중치가 더 부여된다는 점이 특징입니다. 해당 네트워크에서는 THOC 네트워크가 dilated RNN을 기반으로 수행하고 있는데, 이는 CNN기반의 dilated RNN 혹은 TCN 구조로도 유사하게 수행해볼 수가 있을 것 같습니다. 바쁜 와중에도 친절하게 논문을 소개해주어 매우 감사합니다.

먼저 발표에 대해서 칭찬하자면, 장표의 구성과 깔끔함에 매번 대단하다고 느끼지만, 이에 더하여 발표의 구성 역시 연관 개념들 소개부터 이를 활용한 개념까지 매끄럽게 이어졌던 점이 좋았습니다. [Anomaly Detection]을 위해 사용되는 SVDD의 커널을 딥러닝으로 전환하고 데이터를 다른 차원으로 매핑하여 정상과 이상 데이터를 구분하는 Deep SVDD와, [Time Series] 데이터를 처리하는 RNN의 dilated skip connection 활용 버전인 Dilated RNN의 개념이 MVDD / THOC와의 연결이 매끄러웠습니다. THOC를 통해 특정 timestep이 어떤 Cluster에 속하는 지 위계적 클러스터링을 사용하여 구하고, 이후 MVDD에서 최종 Feature와 cluster center의 거리를 최소화하는 Loss, cluster간의 중심을 직교하게 만든 Loss를 활용하여 최종 feature와 cluster 간의 연관성을 반영하여 훈련합니다.
Time series anomaly detection에 대한 토픽은 물론이며 그 안에서 사용하는 관련 개념들을 많이 얻어가게 되어 유익한 발표입니다. 감사합니다.

이번 세미나에서는 NeurIPS 2020 Accepted 논문인 'Timeseries Anomaly Detection using Temporal Hierarchical One-Class Network' 에 대해서 소개해주셨습니다. 해당 논문에서는 dilated RNN과 differentiable hierarchical clustering을 결합한 모델인 THOC 모델을 통해서 시계열 데이터에서의 이상 탐지를 수행하는 것을 목표로 연구를 진행하였습니다. 시계열 이상 탐지 분야에 관심을 가지고 있었는데 좋은 논문 소개해주셔서 감사합니다. 쉽게 설명해주셔서 이해하는데 많은 도움이 됐습니다.

이번 세미나에서는 Time series data 이상치탐지관련 방법론을 설명했습니다. dilated RNN 을 통해 multiscale temporal feature 를 통합하는 방법을 제안하였고 이를 기존 발표 논문인 deep SVDD 와 함께 활용하였습니다. 발표의 구성이 지난번 세미나의 내용과 연관성이 있고, 해당 분야를 중점적으로 연구하고 있는것이 느껴지는 발표였습니다. 대부분의 해당 분야에서 문제점이 유사하겠지만, 실제로 Time sequece 에 대한 이슈가 상당했고, 이를 해결하기위해 다양한 방법이 구현되는것 같습니다. 발표 내용 좋았고, 좋은 연구결과 있길 바랍니다.

이번 세미나는 Timeseries Anomaly Detection using Temporal Hierarchical One-Class (THOC) Network를 주제로 진행되었습니다.

소개해주신 모델은 지난 세미나때 다루어주셨던 deep svdd를 기반으로 하기때문에 흐름을 따라가기 좋았고, 관심있는 이상치 탐지 분야에 대해 연속적으로 세미나가 진행되어 공부에 큰 도움이 되었습니다. 교수님께서 이미 여러번 언급해주신 부분이지만 수식을 시각적으로 표현한 부분을 보며 많이 배워야겠다는 생각을 하게되었습니다. deep svdd와 함께 THOC의 기반이 되는 논문은 dilated rnn 모델입니다. 긴 시퀀스를 가지는 경우 rnn은 몇가지 문제를 가지게되는데 이를 해결하기위해 직전 hidden state만 사용하는것이 아니라 skip length이전의 hiddent state를 반영하기위해 dilated skip connection을 사용하는 모델로 요약할 수 있습니다. 이 논문을 보며 다음과 같은 아이디어들이 transformer xl에도 적용되었다고 느꼈으며, long sequence 를 고려해주기위한 아이디어들이 2017년부터 고안되고 있었다는걸 알 수 있었습니다.

THOC 는 시계열 이상치 탐지를 위한 모델로 Dilated RNN을 통해 도출된 feature들에 적절한 연산을 가한 후 anomaly score로 활용합니다. 이렇게 만들어진 feature는 여러 시점을 고려한 multiscale temporal feature라 볼 수 있는데 시계열 데이터의 특성을 잘 고려한 feature로 anomaly score로 활용하는것이 매우 합당하다고 느꼈습니다.

Multiscale feature를 fusing하는 파트에 대해 굉장히 자세히 설명해주셨는데 step by step으로 계산과정을 알 수 있어 유익했습니다. 이전 레이어의 feature들과 각 layer cluster 중심과의 cosine similarity를 계산하고 이를 확률로 표현한 다음 이전 layer feature의 transformation을 곱해주는 형태로 연산을 진행하여 클러스터와의 유사도를 반영한 이전 layer feature의 가중합을 계산하였습니다. 그 후 다음 layer의 feature까지 반영하여 cluster center의 feature 를 구했고 동일한 방식으로 fusion을 진행하며 최종 feature를 도출합니다.

그 후 최종적으로 산출된 feature를 Deep SVDD에 적용하기위해 feature와 center 사이의 거리를 최소화하도록 학습을 진행합니다. 학습이 종료된 후 도출된 feature로부터 anomaly score를 구하고 (L THOC) 이상치 탐지를 진행하였습니다.

이상치 탐지에서 적절한 feature를 생성한 다음에 anomaly score를 계산하는과정이 한정적이라 생각했으나 이 논문을 통해 데이터의 특성을 잘 고려해주는것이 중요하다 생각했고, 특히 제안한 feature fusing 부분이 흥미로웠습니다.

좋은 논문을 소개시켜준 발표자에게 감사하고, 깔끔한 발표 자료에서 배울점이 많았습니다. 감사합니다

이번 세미나에서는 복잡한 Temporal Dynamics를 기반으로 하는 시계열 데이터에 적용할 수 있는 Temporal Hierarchical One-Class Network (THOC)에 대해 소개해 주셨습니다. THOC는 Dilated RNN을 사용하여 Multiscale Temporal Feature를 추출합니다. 이 과정에서 Skip Length를 지수적으로 증가시켜, Lower Layer에서는 Short-term 정보를, Upper Layer에서는 Long-term 정보를 학습합니다. 이어, 추출된 다양한 Multiscale Temporal Feature를 통합하는 방법으로 Differentiable Hierarchical Clustering Procedure를 소개합니다. 해당 방법은 Dilated RNN의 각 Layer와 매칭되는 Clustering Layer로 구성되어 있고, 이전 Layer의 Feature와 Cluster의 중심 간의 Similarity를 계산하는 과정을 통해 Feature를 Cluster에 확률적으로 할당합니다. 이후 각 Cluster Center에 대해 Feature가 할당될 확률을 이용하여 이전 Layer의 Feature를 변환합니다. 이어서 Cluster Center에 대해 도출한 Feature들과 Dilated RNN의 다음 Layer Feature를 결합한 뒤, MLP를 적용하여 Fused Feature를 산출합니다. 결과적으로 Cluster 중심에 대한 Fused Feature는 다양한 Scale의 정보를 반영하게 되고, Feature와 Center의 거리를 최소화하도록 모델을 학습한 뒤, Feature와 Cluster 중심까지의 거리에 가중치를 곱한 값을 더하여 Anomaly Score로 사용합니다. 모델의 구조가 상당히 복잡하게 느껴졌지만, 매우 상세한 시각적 자료와 설명을 통해 이해에 큰 도움이 되었습니다. 좋은 발표 감사합니다.