발표자와 같이 프로젝트를 수행한 내용과 관련되어 있는 주제라서 매우 공감을 하며 세미나를 들을 수 있었습니다. 시계열 이상치 탐지의 경우, 본 세미나에서도 확인 할 수 있듯이 다양한 영역에서 필요시 되는 연구분야이기에 다양한 데이터를 통해서 수행되어 정확한 benchmark 비교가 어렵다고 생각하였습니다. 실제로 저희가 수행한 Non-technical electricity Loss detection task도 데이터는 동일하되 수행했던 논문들이 데이터 picking 방법란 명시한채 서로 다르게 활용하였기에 정확한 기준 성능을 평가하기 어려웠습니다. 연구가 활발히 진행되는 major task가 아닌 task에서 연구를 한다는 것이 어떻게 보면 깃발을 세우지만, 후속 연구들에 대한 기준치가 된다는 점에서도 의미를 가진다고 생각이 됩니다. 발표자의 개인연구와 관련한 다양한 연구 사례들을 확인하여 의미있는 연구성과로 이어졌으면 좋겠습니다. 감사합니다.

시계열 데이터에 이상치탐지를 적용한 방법론에 대한 소개 잘 들었습니다. 시계열의 특성 상 현 시점의 데이터 뿐 아니라 이전 시점부터의 흐름을 잘 반영하여 이상치를 탐지/진단할 수 있어야 하는데, 소개해주신 논문에서 여러 time step을 한 번에 반영하기 위해 matrix 구조를 고안하거나 convolutional 형태를 구축한 시도가 돋보였습니다. 학습 시 time window size를 다양하게 구성하는 방법도 일반화성능을 높이기 위한 좋은 스킬인 것 같습니다. 전체적인 구조는 Encoder-Decoder 형태로 다른 방법론들과 유사했지만 multivariate time series 데이터의 feature를 잘 임베딩할 수 있는 방법을 고민한 것이 핵심적인 기여라 생각할 수 있습니다. 다루기 어려운 데이터에서 기존의 방법론을 조합하여 좋은 feature를 찾는 이러한 시도들이 지속적으로 이루어진다면, 더 혁신적인 임베딩 방법론으로 발전할 것이라 기대하여 저자들의 다양한 시도에 존경을 표합니다. 발표 잘 들었습니다.

오늘 세미나에서는 시계열 데이터에서 이상치를 탐지하는 방법과 관련된 다양한 논문을 소개해 주셨습니다. 오늘 발표 중 가장 흥미로운 논문은 MSCRED입니다. 해당 논문에서는 시계열 데이터에서 이상치 탐지를 하기 위하여 변수간 Correlation Matrix를 생성하고 이를 입력으로 활용합니다. Encoder와 Decoder를 거쳐 입력과 동일한 크기의 벡터를 복원하고 입력과 비교하여 그 차이를 이용하여 이상치를 탐지합니다. 전체적인 방법론은 동일하지만 U-net, Attention, ConvLSTM 등의 다양한 형태의 아키텍처를 함께 사용했다는 점이 인상 깊었습니다. 다만 이 아키텍처가 왜 이상치 탐지에 도움이 되는지에 대한 명확한 해석이 없기 때문에 좀 더 깊게 연구가 필요하지 않을까 생각합니다. 또한 Correlation Matrix를 이미지처럼 생각하고 연산하는 이유에 대해 명확한 해석이 없어서 의문감이 듭니다. 발표 감사합니다.

이번 세미나에서는 시계열 데이터에 대한 이상치 탐지에 쓰이는 여러 모델들에 대해 소개해주셨습니다. 초반에 각 방법론 별로 어떤 구조의 모델을 결합하였고, 시계열 이상치 탐지에 쓸 수 있는지의 여부를 정리해주셔서 도움이 되었습니다. 특히 마지막으로 소개해주신 multivariate time series data에 사용할 수 있는 MSCRED가 인상 깊었습니다. signiture matrix를 도입하여 모든 변수 간의 상관관계를 고려할 수 있게 하고, 특정 시점 이전의 matrix까지 모두 CNN의 input으로 넣어 여러 시점에 대해 학습하게 합니다. 마지막 시점의 matrix와 deconvolution으로 복원한 reconstructed matrix의 residual을 residual matrix로 표현하고, 이 행렬의 element-wise square의 합을 loss function으로 정의합니다. 이상치 탐지를 위한 anomaly score는 residual matrix의 요소 중 그 제곱값이 threshold보다 큰 요소의 개수로 설정하여, 특정 시점의 residual matrix에 anomaly score가 크다면, 그 시점에서의 변수들의 상관관계가 정상일 때와 다름을 의미하고, 따라서 이상치로 판단합니다. 다변량 시계열 데이터에 있어서 이상치 탐지를 하는 경우, 여러 변수들을 어떻게 동시에 반영하는가가 어렵지만 중요한 점이라고 생각하는데, 아예 변수 간의 상관관계 matrix를 사용하여 학습한다는 점에서 좋은 아이디어라고 생각했습니다. 여러 방법론을 잘 정리해주셔서 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Anomaly detection을 목적을 가진 시계열 데이터에 대한 발표였습니다. 먼저 Normal 데이터에 대해서 학습 후 abnormal에 대해서 평가 진행을 하였고, 여러 시계열의 correlation을 feature로 표현하기 위해 signature matrix로 표현하였습니다. 이렇게 할 경우 해당 feature는 robust한 성능을 가진다고 말하고 있습니다. 여기서 본 저자가 이렇게 모델을 구성한 이유를 생각해 봤을때, CNN은 x, y 양방향에서 dependency가 있는 이미지에 사용이 됩니다. 그런데 시계열 데이터의 경우 time 축에 대해서만 의존적이기 때문에 양방향 의존성을 주기 위한 의도로 이렇게 아이디어를 내지 않았나 생각해봅니다. 이어서 모델 구조를 설명하면 Encoder model을 CNN모델을 사용하였으며, decoder model을 ConvLSTM의 attention mechanism을 사용하여 형성하였습니다. 그리고 Loss function은 마지막 step의 5개의 input의 차이의 값을 L2 loss로 정의하였습니다. 실험설계에서 인상깊었던 부분은 Diagnosis 능력이라고 명칭하며, 하이퍼파라미터별로 탐지능력이 어떻게되는지 확인한다는 점에 모델의 재현성이 어느정도인지 확인할수 이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 시계열 데이터에 이상치 탐지를 적용한 3가지 방법론에 대하여 발표해 주셨습니다. 모두 시계열 데이터의 이상치 탐지가 주목적이기 때문에 현 시점의 데이터 뿐만 아니라 과거 시점에서부터의 흐름을 반영해야한다는 공통점을 가지고 있습니다. 발표자 분께서 이런 종류의 논문들의 특징을 초반에 표로 잘 설명해주셔서 이해가 수월해졌습니다. 각각의 논문들을 키워드 별로 정리해보자면 다음과 같습니다.
- [A Multimodal Anomaly Detector for Robot-Assisted Feeding Using an LSTM-based Variational Autoencoder] : (LSTM + VAE) LSTM과 VAE를 접목하여 각각의 time stamp 마다 분포를 다르게 함과 동시에 시계열의 temporal dependency를 반영해주려고 한 연구입니다.
- [A deep learning approach to anomaly detection in geological carbon sequestration sites using pressure measurements] : (LSTM + CNN) LSTM만을 적용한 것이 아니라 CNN도 함께 이용하여 temporal pattern 뿐만 아니라 spatial pattern까지 잡아내려고 한 연구입니다.
- [A Multimodal Anomaly Detector for Robot-Assisted Feeding Using an LSTM-based Variational Autoencoder] : (LSTM + CNN+ AutoEncoder) 여러 시계열의 correlation을 feature로 표현하기 위해 signature matrix로 만들어주고 이를 Encoder(Conv.)와 Decoder(Deconv.)를 거쳐 입력과 동일한 크기의 벡터를 복원하고 입력과 비교하여 그 차이를 이용하여 이상치를 탐지하는 방법입니다.
기존의 방법론을 조합하여 문제를 풀어나가는 연구 케이스들에 대해서 알아볼 수 있던 좋은 기회였던 것 같습니다. 좋은 발표 들려주셔서 감사합니다.

금일 세미나에서는 시계열 데이터에서 적용할 수 있는 여러 이상치 탐지 방법론을 소개해주셨습니다. 그 중에서도 MSCRED 모델이 가장 흥미로웠습니다. 특히 두 시계열의 correlation 을 도입하고, input noise 에 강건하게 만들기 위해 signature matrix를 사용한 아이디어가 참신하다고 생각했습니다. 이 모델에서 loss는 원래 input 과 CNN 을 통해 얻은 feature map 을 deconvolution 연산을 통해 복원한 것과의 residual 로서 정의합니다. 이 차이는 residual matrix 로서 표현되며 각 element 의 제곱이 threshold 보다 큰 것의 개수를 anomaly score 로 정의합니다. 즉, 어떤 시계열끼리의 관계가 정상일 때와 다름을 의미하는 것입니다. 이번 발표에서 특히 MSCRED 를 단계별로 설명해주셔서 이해하기 수월했던 것 같습니다. 좋은 발표 감사합니다.

굉장히 다양한 방법론을 활용한 이상치 탐지 방법론에 대해 세미나를 해주셔서 흥미롭게 들었습니다. 개인적으로 MSCRED 관련한 내용이 가장 흥미로웠는데, 시계열 데이터의 특성 상 짧은 시점은 물론 긴 시점을 동시에 파악하여야 anomaly 탐지에 좋은 성능을 낼 수 있다고 생각합니다. 해당 논문은 U-NET 구조를 차용한 듯 한데, U-NET의 경우 encoder-decoder 구조를 거쳐 segmentation을 위해 resolution이 높은 feature map으로 복원을 하게 됩니다. 마찬가지로 여러 시점의 데이터를 CNN이라는 구조적인 이점을 십분 활용해 반영하고, 높은 해상도로 복원하여 원래 데이터에서의 이상치를 탐지하기에 좋은 구조로 변환하는 구조라고 생각됩니다. Convolution layer가 굉장히 많은 분야에 사용될 수 있는 구조라는 것을 다시 한 번 깨달았고, 특히 여러 시계열을 동시에 고려/파악하는 데에 좋은 방법론이라고 생각합니다. 다양한 논문에 대해 정리해 주셔서 감사하고, 좋은 발표 잘 들었습니다.

금일 발표는 "Anomaly Detection for Time Series"라는 주제로 진행되었습니다. 본 발표에서는 시계열 데이터를 기반으로 이상치를 탐지하는 여러가지 방법론이 소개되었습니다. 해당 분야에 대한 논문들을 개인적으로 follow-up하고 있는데, MSCRED 방법론도 읽으려고 한 논문 중 하나라서 금일 발표에 대한 기대가 컸습니다. 먼저 발표자분이 MSCRED 모델에 대해 단계별로 설명해주어 이해하기에 용이했고, 그 중 input을 처리하는 방법이 인상적이었습니다. 프로젝트 등을 수행하며 정형 데이터는 대부분 그 값 그대로를 input으로 넣었었는데, 본 논문에서는 정형 데이터의 여러 변수들의 관계를 더 잘 반영하기 위해 signature matrix를 사용하였습니다. 이것을 통해 딥러닝 모델 자체가 아직 모든 특징들을 추출하기에 어려움이 있다는 것을 다시 한 번 느끼게 되었고, 앞으로 모델링에 어려움이 생겼을 때 input을 처리하는 방식에 대해 고민해봐야겠다는 생각도 더 많이 들게하는 발표였습니다. 좋은 발표 감사합니다.

시계열 데이터에서 이상치탐지를 수행하는 다양한 논문을 소개해주셨습니다. 총 세 가지 논문을 소개해주셨는데 첫 논문은 LSTM과 VAE를 접목한 논문이며 두 번째 논문은 CNN과 LSTM을 함께 사용한 논문, 그리고 마지막은 CNN과 LSTM을 AE형식으로 사용한 논문이었습니다. 초반부의 장표를 굉장히 잘 만들어주셔서 전체적인 흐름을 따라가기 좋았습니다. 다른 분들과 마찬가지로 저도 마지막에 소개해주신 MSCRED가 가장 인상 깊었습니다. 해당 논문은 Encoder-Decoder 구조를 거쳐 reconstruction error를 최소화하도록 구성되어 있는데 decoder에서 이전 step의 representation뿐만 아니라 encoder layer 중 같은 크기의 feature를 입력으로 받습니다. 그리고 일반적인 시계열 모델과 달리 input과 output을 signature matrix로 구성했는데 이러한 부분이 굉장히 참신하다고 생각되었습니다. 좋은 논문을 소개해주셔서 감사합니다.

시계열 데이터에서 다양한 방법을 이용해 anomaly detection 을 수행한 방법을 소개했습니다. 우선 신기하게 본것은 1d signal data 가 multi 채널로 있을 때, 이를 효과적으로 다루는 방법으로 기존에 알려진 것은 1d conv 일 것입니다. 다양한 데이터들의 관계를 통해 input feature 를 구성할 수 있을 것이기 때문이죠. 그런데 여기서는 input 데이터들의 signature matrix (상관관계) 를 사용하고 이를 복원하여 문제를 더 직관적으로 해결 했습니다. 이렇게 되면 input 이 1d 가 아닌 2d image 처럼 인식될 수 있고, 모델은 2d conv lstm 을 사용하여 문제를 해결 하였습니다. 뿐만아니라 Unet 구조와 유사한 feature concat 과 ae 와 같이 reconstruction error 를 통해 이상치를 탐지하게 되는데, 다양한 모델들을 논리적으로 잘 결합 시킨 것 같습니다. 다만 이 과정에서 논문 저자들의 ablation study 가 좀 더 많아 각 모델을 사용할 때 구체적인 의도나 효과를 좀 더 알려 주었으면 좋았을 것 같습니다.

금일 세미나는 시계열 데이터에 대한 Anomaly Detection의 Survey 논문과 같이 느껴질 정도로 많은 기법들이 소개되었으며, 이를 준비하기 위해 발표자가 많은 논문을 읽고 정리의 노력을 한 것이 느껴졌습니다. Time series 데이터 특성에 의해 이전 Timestep의 데이터가 예측에 영향을 받게 되는데 해당 영향을 어떻게 정의할 것인가에 따라 소개해주신 논문들의 차이가 나타났습니다. Generative Model기반의 모델은 Variational Autoencoder를 통해 각 time step 마다의 분포를 파악하여 시계열 데이터의 temoporal dependency를 반영하였으며, (LSTM + Conv)은 시간/ 공간에 따른 값의 변화를 모두 예측에 활용하여 시공간 데이터를 모두 활용하는 Multimodal의 장점과 더불어 LSTM 행렬곱 연산을 Convolution으로 대체하였습니다. 마지막으로 MSCRED는 변수간 Correlation Matrix를 생성하여 입력으로 활용하고 Enc-Dec를 거친 Reconstruction Error를 통해 Anomaly를 판단하였습니다. 상황에 따른 다양한 변수 처리와 분석 기법을 소개해주셔서 감사합니다.

시계열 이상치 탐지에 대한 다양한 논문을 리뷰한 세미나였습니다. 역시 시계열 데이터를 다루다보니 LSTM 계열의 방법론이 많이 사용되는 것 같습니다. 딥러닝에서 문장을 처음 다룰때 그러했듯이 통상적으로 LSTM을 사용하는구나 라는 생각이 들었습니다. 같은 맥락에서 LSTM에서 1d conv를 사용하는 CNN 모델이나 BERT와 같은 모델들로 시계열 이상치 탐지를 위한 방법론이 자연스레 옮겨가지 않을까 생각합니다. 현업에서 시계열 이상치 탐지는 매우 민감하고 중요한 문제입니다. 개인 연구에서 새로운 아이디어와 다양한 탐색 끝에 좋은 성능을 보이는 모델을 제안하는 것이 매우 유의미한 일이라 생각합니다. 앞으로도 계속 좋은 연구를 진행할 수 있으면 좋겠습니다.

이번 세미나는 Anomaly detection for time series를 주제로 진행되었습니다. 먼저 introduction 부분에 방법론별로 time series anomaly detection을 정리한 것을보고 발표자가 이 분야에대해 진지하게 임하고 있는지 느낄 수 있었습니다. 다양한 논문을 소개시켜주셔서 재미있게 들었습니다. MSCRED는 signature matirx를 사용하여 여러개의 times series data를 표현합니다. 이렇게 만들어진 signature matices 를 convLSTM을 통해 계산하고 이상치 탐지를 진행합니다. signature matix를 구성하는 요소들이 잘 이해 되지않았는데 여러개의 time series data가 존재할 때 각 데이터의 관계를 나타내기위한 식이라고 이해했습니다. 조금 더 정확한 의미는 직접 논문을 읽어서 공부해야할 것 같습니다. 꾸준히 해당 분야 논문을 읽어가면서 어떤식으로 feature들을 다루는지 보는게 큰 공부가 될 것 같습니다. 좋은발표 감사합니다

이번 세미나에서는 Time Series Anomaly Detection에 사용되는 세 가지 모델에 대해 소개해 주셨습니다. 첫 번째 논문인 [A Multimodal Anomaly Detector for Robot-Assisted Feeding Using an LSTM-based Variational Autoencoder]에서는 Variational AutoEncoder에 LSTM을 결합하여, Sequence Data에 Anomaly Detection을 수행할 수 있도록 하였습니다. 두 번째 논문인 [A Deep Learning Approach to Anomaly Detection in Geological Sequestration Sites Using Pressure Measurements]에서는 ConvLSTM을 사용하여 시간적으로 변화하는 이미지 데이터에서 Anomaly를 탐지하였습니다. 마지막으로 [A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data]에서는 U-Net의 구조와, ConvLSTM, Attention을 사용하여 다변량 Time Series 데이터에서 Anomaly Detection을 수행하였습니다. Time Series Anomaly Detection에서 사용되는 다양한 기법들에 대해 알 수 있었습니다. 감사합니다.