본 세미나는 Variational transformer-based anomaly detection approach for multivariate time series연구에 대해 진행되었습니다. 본 연구는 VAE와 transformer 기반 방법론의 적절한 mix로 보여집니다. 이 과정에서 residual connection과 pyramid network 구조를 적절히 활용합니다. 개인적으로 흥미로웠던 점은 VAE구조를 반영하면서 latent varaible을 transformer encoder output으로 연결해준다는 점입니다. 이렇게 얻은 latent variable을 토대로 decoder를 통과하게됩니다. Time-series representation을 얻는 것과 관련해서 최근 저도 관심을 갖고 있는 데, transformer를 이렇게 활용하는 접근은 처음 접하게 되어 신선했습니다. 또한 다양한 range의 정보를 encoding하기 위해 multi-scale의 fusion을 가져가는 것도 매우 좋은 접근이라는 생각을 했습니다. 비록 transformer기반이긴 하지만, 다양한 측면에서 다양한 시도를 한 좋은 논문이라는 생각을 했습니다. 좋은 발표 잘 들었습니다. 감사합니다.

이번 세미나는 Variational transformer-based anomaly detection approach for multivariate time series이었습니다. 해당 논문은 트랜스포머 모델을 기반으로 VAE를 적용하여 multivariate time series에서의 anomaly detection을 수행하는 논문입니다. 특히 시계열 데이터의 특성에 맞추어 Timestamp encoding과 푸리에 변환을 이용하고, 다양한 주기의 정보를 반영하기 위해 Feature Pyramid Network를 사용하여 scale이 다양한 정보를 사용하고 있습니다. 잘 알려져있는 트랜스포머와 VAE를 이용한 논문이지만, 해결하고자 하는 문제를 정의하고 이에 맞추어 두 모델을 결합하기 위해 여러가지 모듈을 사용한 점이 인상적이었습니다. 감사합니다.

이번 세미나는 Variational transformer-based anomaly detection approach for multivariate time series 논문으로 진행되었습니다. 시계열 이상치 탐지 분야는 아예 모르는 분야임에도 task 설명부터 배경 지식 설명을 잘해주셔서 수월히 따라잡을 수 있었던 것 같습니다. 해당 논문에선 MT-RVAE(Multiscale Transformer-based Residual Variational AutoEncoder)란 방법론을 제시하는데 대표적인 특징으론 time-series 정보와 period 정보가 반영된 positional encoding과 up-sampling 프로세스에서 누락된 세부 정보를 보충하기 위한 feature pyramid structure, variational autoencoder 아키텍처를 들 수 있습니다. 특히 encoder와 decoder가 직접적으로 연결된 일반적인 Residual AutoEncoder 구조가 encoder 정보가 decoder로 너무 많이 전달되는 단점을 방지하기 위해 별도로 결합한 부분이 인상 깊었습니다. 마지막에 개인 견해에서 말씀해주신 것처럼 왜 해당 분야에서 자주 사용되는 벤치마크 데이터셋을 사용하지 않았는지는 저도 의문이 드는 것 같습니다. 좋은 발표 감사합니다.

이번세미나 에서는 시계열 이상치 탐지 분야의 Variational transformer-based anomaly detection approach for multivariate time series 논문을 소개해 주셨습니다. 본 논문은 시계열 이상치 탐지에서 transformer를 사용할 때, 기존의 autoencoder 구조가 아닌 Variational autoencoder(VAE) 구조로 수정하는 것을 제안한 논문입니다. 방법론을 살펴보면 먼저 시계열 정보와 주기적 정보를 모두 반영하는 Positional Encoding을 수행하는데, Time Series encoding은 timestamp encoding, Periodic encoding은 Fourier 변환을 수행합니다. 이후 FPN 구조를 활용해 누락된 정보를 보충하도록 합니다. 이러한 과정을 살펴보며 개인적으론 완전히 새로운 방법 없이 모델의 구조를 잘 조합하는 것으로 뛰어난 모델을 만들어 낸 것이 인상적이었습니다. 시계열 이상치 탐지 분야의 배경지식부터 꼼꼼히 설명해 주셔서 이해하기 편한 좋은 발표였습니다. 유익한 발표 감사합니다.

이번세미나는 Variational transformer-based anomaly detection approach for multivariate timeseries 의 주제로 발표하였습니다. 본 세미나에 앞서 발표자의 개인연구를 몇번 접하다보니, 해당 내용이 transformer 를 사용하는 발표자의 방법론과 어떤 차이점이 있을지 생각하며 듣게되었습니다. 인상깊었던 내용중에는 발표자료의 그림 및 색감이 매우 좋아서, 좋은 발표자료에 대해서는 본받을 점이라고 생각하며, 관련 연구들이 한눈에 들어오게 정리가 매우 잘 되어있었습니다. transformer 를 사용하는 대부분의 방법론들이 self-attention 을 어떻게 활용하는지, 혹은 positional encoding 을 어떤식으로 활용하지는가 대부분의 연구의 핵심이였는데, 본 연구는 VAE 방법론을 적용하였습니다. 시계열의 AE 시 조금 신기하게도 모델이 자동적으로 주기성을 찾아 인코딩되는것을 확인 할 수 있었는데 이러한 도메인지식이 반영되어 충분히 접근해볼만한 시도 였던것 같습니다. 해당 방법론이 다른 방법론에 비해 성능적인 지표 측면 외에, 구체적으로 어떤 특징을 가지는지 찾아본다면, 또 재밌는 연구주제가 될 것 같습니다.

오늘 세미나에서는 "Variational transformer-based anomaly detection approach for multivariate time series"라는 논문에 대해 소개해주셨습니다. 해당 논문은 시계열 이상치 탐지에 대해 기존 트랜스포머 구조를 활용한 오토인코더 구조에 대해 VAE 구조로 수정한 구조를 제안합니다. 이를 MT-RVAE라고 명명하고 있는데, 해당 모델은 시계열/주기 정보를 반영하는 positional encoding과 Informer에서 활용하는 timestamp encoding, 그리고 퓨리에 변환을 기반으로 한 periodic encoding을 활용한다는 특징을 갖습니다. 또한 residual connection 등을 이용하면서 시계열 정보에 대한 풍부한 표상을 얻도록 합니다. 트랜스포머와 VAE를 활용하는 연구라고 하여 굉장히 흥미롭게 들었습니다. 시계열 이상치 탐지에 대한 많은 내용을 소개해주셔서, 해당 분야에 대해 수월하게 이해할 수 있는 것 같습니다. 좋은 발표 감사합니다.

오늘 세미나는 트랜스포머를 활용하여 VAE 구조를 만들어 시계열 이상치 탐지 성능 향상을 도모한 MT-RVAE에 대한 내용으로 이루어졌습니다. 제안 모델은 기존의 트랜스포머의 encoder output을 활용해 latent vector z를 생성하도록 하여 트랜스포머를 VAE화 했다고 볼 수 있습니다. 이렇게 한 이유는 학습 데이터 외의 정상 데이터를 decoding하는 과정에서 reconstruction error가 급격히 증가하는 것을 방지하기 위함입니다. 추가적으로 up-sampling에서의 정보 소실 없이 input embedding을 해주기 위해 multiscale feature fucsion를 도입하였으며, timestamp와 period를 고려할 수 있는 positional encoding을 활용하였습니다. 각 요소를 자세히 설명해주셔서 큰 도움이 되었습니다. 좋은 발표 감사합니다.

금일 세미나는 “Variational transformer-based anomaly detection approach for multivariate time series” 이라는 논문에 대해 소개해 주셨습니다. 본 논문에서는 time series 데이터에서 anomaly detection을 수행하기 위해 VAE 구조에 transformer를 적용한 모델을 제안합니다. 최근 다양한 transformer 기반 모델이 anomaly detection task에도 적용되는 모습을 보면 어느정도 정립된 구조가 생기고 있다는 느낌이 듭니다. 대표적으로 Fourier 변환을 통한 주기성을 입력값의 representation으로 적용하는 과정이나 multi-scale feature fusion과 같은 방법이 있습니다. 또한 해당 논문에서 anomaly detection의 중요한 문제점 중 하나인 anomaly score에 대한 threshold를 dynamic하게 적용한 점도 인상 깊었습니다. 오늘도 좋은 발표 감사드립니다.

이번 세미나에서 다룬 논문은 “Variational transformer-based anomaly detection approach for multivariate time series(MT-RVAE)”로 Transformer 모델과 VAE 모델을 함께 병합한 연구입니다. 해당 연구는 크게 3가지 특징을 가지고 있습니다. 첫째, Time Series Information 과 Period Information을 반영한 Positional Encoding을 수행하였습니다. Time Series encoding은 Informer에서 처음 제안된 timestamp 정보를 반영한 encoding을 통해 수행하고, Periodic encoding은 Fourier series를 활용하여 수행합니다. 둘째, up-sampling 프로세스에서 누락된 정보를 FPN 구조를 차용해서 보충합니다. 그리고 마지막으로 residual VAE구조를 사용하여 reconstruction을 수행하며, 이때 KL divergence vanishing problem을 방지하기 위한 Residual connection 사용합니다. 다양한 유용한 구조들을 잘 배합한 모델 제안이라고 생각했습니다. 흥미로운 발표 감사합니다.

이번 세미나에서 다룬 논문은 Variational transformer-based anomaly detection approach for multivariate time series입니다. 본 논문에서는Transformer 모델을 기반으로 VAE 구조를 설계하였습니다. 특히 Multiscale feature fusion 모듈을 통해 input embedding을 해주고 있으며 푸리에 변환을 활용해 주기를 기반으로 한 위치 정보를 함께 사용합니다. 또한 time attention module을 통해 시간축의 상관 관계를 반영해줍니다. 시계열 데이터의 특징을 고려한 적합한 모듈을 잘 구상한 것 같으나 time attention module을 왜 추가했는지 ablation study를 통해 그 효과를 보여주었으면 하는 아쉬움이 있었습니다. 좋은 발표 감사합니다.

본 세미나에서는 VAE를 Transformer 구조로 사용하여 시계열 이상치 탐지를 진행한 Variational transformer-based anomaly detection approach for multivariate time series에 대해 살펴보았습니다. 구체적으로는 Informer에서 사용했던 timestamp encoding과 Fourier 변환 그리고 FPN을 사용하고 있는데, 특별한 방법론 없이 framework를 잘 구성하는 것도 매우 중요하다는 것을 다시 느낄 수 있었습니다. 각 스텝별로 수식과 시각적인 자료를 잘 구성해주어 발표를 이해하기 편했습니다.

이번 세미나에서는 Variational transformer-based anomaly detection approach for multivariate time series 논문을 다루어주셨습니다. 본 논문에서 소개하고 있는 MT-RVAE는 timestamp 정보를 반영하고, fourier series를 활용한 positional encoding을 하였습니다. 또한 up-sampling을 하는 과정에서 세부 정보가 손실되는 문제를 다루기 위해 feature pyramid structure를 이용하여 multiscale feature fusion을 하게 됩니다. 추가적으로 해당 논문에서는 KL divergence vanishing problem을 방지하기 위해 residual connection을 사용하고 있습니다. 세미나에서 디테일하게 여러 개념도 다루어주셔서 이해하는데 많은 도움이 되었습니다. 좋은 발표 감사합니다!

금일 세미나는 "Variational transformer-based anomaly detection approach for multivariate time series"라는 주제로 진행되었습니다. 본 발표에서는 Transformer를 variational autoencoder 구조로 수정한 MT-RVAE가 소개되었습니다. 개인적으로 시계열 이상치 탐지에서 representation의 quality가 중요하다고 생각하는데, MT-RVAE에서 이를 위해 Multiscale Feature Fusion Module을 사용한 점이 인상 깊었습니다. 해당 모듈은 feature pyramid 구조를 활용하여 up-sampling 과정에서 손실된 세부 정보를 보충하였습니다. Multiscale fusion에서 매우 기본적인 방법을 활용하여 좋은 성능을 도출한 점 또한 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Variational transformer-based anomaly detection approach for multivariate time series라는 논문을 소개해주셨습니다. 시계열 데이터에서의 이상치 탐지를 다루는 논문으로 MT-RVAE라는 방법론을 소개하였는데, 좋은 시계열 데이터 representation을 위한 4가지 구조가 주된 내용 이었습니다. 이 중에서 Global temporal encoding, residual connection, VAE 등과 다르게 pyramid 구조를 활용한 up-sampling을 통해 손실 된 정보를 보충한다는 부분은 새롭고 흥미로웠습니다. 실험 결과에서 각 구조들을 제거하면서 성능이 감소함을 보였는데, task의 성능 향상을 위한 여러가지 기법들을 믹스하여 높은 성능의 모델을 제안한 것이 놀라웠습니다. 좋은 발표 감사합니다.

본 세미나를 통해 Variational transformer-based anomaly detection approach for multivariate time series 논문에 대한 리뷰를 진행하였습니다. Transformer모델을 autoencoder아키텍처에서 Variationalautoencoder아키텍처로 수정한 모델인 MT-RVAE에 대한 소개가 진행되었으며 해당 부분이 굉장히 인상적이었습니다. 기존의 Vanilla Transformer 구조와 MT-RVAE를 비교하며 차이점을 설명해주신 장표가 있는데 해당 장표가 정말 잘 정리되어 내용을 요약해주고 있어서 이후의 발표에 대한 이해가 수월하게 진행되었습니다. Time series 연구의 특성상 푸리에 변환, KL divergence 등 수식적인 이해를 필요로 하는 내용들이 많이 등장하는데, 핵심적인 내용들을 꼼꼼하게 잘 설명해주셔서 잘 따라갈 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 시계열 이상치 탐지를 다룬 논문 Variational transformer-based anomaly detection approach for multivariate time series를 주제로 진행되었습니다. 본 논문은 기존 transformer 구조에서 Time-series 정보와 period 정보를 반영한 positional Encoding을 추가하였습니다. 이는 Informer(2020)에서 제안된 타임스텝 정보를 반영한 encoding 기법으로 Fourier series를 활용합니다. 또한, up-sampling 과정에서 누락된 정보를 보충하기 위해 feature pyramid structure로 구성된 multi-scale feature fusion algorithm을 제안하였으며, transformer의 오토인코더 구조를 변형한 residual variational autoencoder를 고안하였습니다. 개인적으로 시계열 이상치 탐지 분야에 대한 이해도가 낮지만, 깔끔하고 명확하게 정리된 발표자료 덕분에 이해에 도움을 많이 받았습니다. 특히 관련 연구를 정리해놓은 표가 매우 인상 깊었습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에선 Variational transformer-based anomaly detection approach for multivariate time series 에 대한 내용이 소개되었습니다. 소개된 논문은 시계열 이상치 탐지를 수행함에 있어 transformer 기반 autoencoder 아키텍처를 Variational autoencoder 로 변환합니다. VAE 구조에 발생할 수 있는 KL divergence vanishing problem 을 방지하기 위한 residual connection 을 사용하며, 입력 데이터의 정보를 잘 반영할 수 있는 Multiscale Feature Fusion Module과 주기 정보 반영을 위한 Positional Encoding 을 사용합니다. 논문에선 FPN 구조를 사용하여 up-sampling 과정에서 누락된 정보를 보정했다고 설명하는데, FPN의 구조를 고려해보면 multi-scale 의 feature map 을 사용하는 점에서 이러한 보정이 가능했던 것으로 생각됩니다. 항상 깔끔히 정리된 슬라이드와 함께 좋은 발표 진행해주셔서 감사합니다.

이번 세미나에서 소개된 논문은 Variational transformer-based anomaly detection approach for multivariate time series 입니다. Transformer의 Autoencoder 구조를 Variational Autoencoder 구조로 수정 및 개선한 모델이 제시되었습니다. MT-RVAE라고 불리는 모델은 시계열 데이터가 입력되면 multiscale feature fusion을 통해 embedding이 이루어진후 퓨리에 변환을 적용하여 주기를 활용한 positional 정보를 사용하게 됩니다. 이후에는 Transformer Encoder와 Decoder를 거치고 특히 Encoder 부분의 후반부에는 VAE와 같이 분산과 평균을 이용하여 latent vector를 구하게 되고 이를 decoder에 입력하게 됩니다. 큰 관점에서 Transformer와 VAE가 잘 결합된 것을 확인할 수 있었습니다. 한편, 본 모델 구조 소개에 앞서 발표자 분께서 시계열 데이터 이상치 탐지를 위한 모델에 대해서 정리해주셨는데 너무나 귀중한 장표인 것 같습니다. 흥미로운 주제 준비해주신 발표자 분께 감사드립니다.

본 세미나에서는 시계열 이상치 탐지 분야에서 Transformer를 활용하는 Informer와 같은 모델 종류로서, 기본적인 Transformer의 Autoencoder 구조에서 VAE로 변화 시키는 MT-RVAE가 소개되었습니다. 두 구조의 대표적인 차이점으로는, Timestamp, Period를 고려한 Positional Encoding, Time Attention Module을 사용, Enc, Dec의 Output과 각 층의 결과에 대한 Residual Connection 그리고 Transformer 인코더의 산출물을 통해 Latent Vector Z를 생성하는 VAE구조를 나타낸다는 점이 있습니다. 그리고 다양한 Scale의 정보를 혼합하기 위하여 Multiscale Feature Fusion을 통해 다양한 각도의 정보들을 하나의 취합하는 과정을 거쳐 더욱 풍부한 의미를 보유하는 입력 표상을 구성합니다. Time-series 관련 세미나에서 최근 Fourier에 대한 언급이 나타나는데 Fourier를 근간으로 하는 Graph 분야와의 협업이 시계열 예측에 도움이 될 수 있을지 궁금합니다. 좋은 발표 잘 들었습니다.