금일 세미나에서는 multivariate time series forecasting을 위한 사전 학습 방법을 제안한 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting에 대해 살펴보았습니다. Adjacency matrix를 learnable 하게 사용하는 것은 예전 vision task를 위해서 hand-crafted feature를 사용하다가 CNN을 통해 feature를 뽑는 것과 같은 맥락으로 이해했습니다. 그리고 역시 딥러닝의 학습 loss를 줄일 수 있는 자유도를 높이는 것이 고정적인 feature를 사용하는 것 보다 성능이 좋은 것 같습니다. 본 연구는 최근 여러 분야에서 사용되는 masking 방식을 통하여 pretraining을 진행하는데 masking된 부분을 예측한 결과가 매우 안정적으로 나오는 것이 신기했고 또 그렇게 스무딩된 결과로 좋은 예측 성능을 보이는 것도 신기했습니다.

이번세미나는 시계열 데이터를 Vision의 ViT를 Masked Autoencoder에 적용시켜 시계열 representation 을 생성하는 방법론을 제안한 논문에대해 다루어주셨습니다. 해당 논문에서는 실험적으로 생성된 representation이 long-term의 정보를 내포할 수 있으며, downstream task에 적용시 더 좋은 성능을 보이는 것을 증명하였습니다. 또한, downstream task에서 GSL과 STGNN을 활용하는데, 이 과정에서 GSL의 학습을 안정적이고 효과적으로 수행하게 도와주는 pre-train과 관련된 부분이 인상적이었습니다. 이후 생성되는 그래프 정보를 STGNN 에 적용하여 변수간의 상관관계와 시계열의 temporal 정보를 함께 고려하여 최종적으로 forecasting을 하는 과정도 자세하게 설명해주셔서 잘 이해할 수 있었습니다. 좋은 발표 감사드립니다.

본 세미나에서는 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting이라는 주제의 논문에 대한 리뷰를 진행하였습니다. time-series forecasting에 적합하게 pre-train과 graph based learning을 적용한 방법론 이었습니다. Graph Structure Learning은 일반적으로 Random 초기화를 통해 그래프 구조를 학습하게됩니다. 이 때, GNN의 Parameter 와 Adjacency matrix 2개는 독립적이지 않아 학습이 쉽지않습니다. 이러한 문제를 위의 Pre train 방법론과 Graph regularization 을 제안하여 해결합니다. Graph structure learning에 대해 많이 공부해보지는 않았지만, 제가 기억하고 있던 Adjacency matrix는 node간의 연결관계를 나타내는 '명시적'인 matrix였던 것으로 기억합니다. 본 방법론에서는 Adjacency matrix를 학습의 목표로 삼고 update해 나갔는데 이 과정이 굉장히 새롭게 느껴졌습니다. Graph쪽에 대한 공부가 많이 되어있지 않아 매번 세미나를 들을 때마다 새로운 내용이라는 느낌을 받았고 세미나를 통해 잘 모르는 분야에 대한 내용을 계속 접할 수 있어서 좋았습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Pre-training Enhanced Spatial-temporal Graph Neural Network for Mutlvariate Time Series Forecasting에 대해 소개해주셨습니다. 해당 논문에서는 Vision Task에서 사용되는 Masked Autoencoder를 통해 Pre-train을 시키고, 인코더로 도출되는 Representation과 GSL, GCN구조를 이용해 Forecasting Tuning을 하는 방법론을 제안하고 있습니다.

시계열 데이터가 이미지 데이터와 비슷한 성질을 갖고 있다는 부분이 인상적이었는데, 자연어의 경우 단어 하나 하나가 중요한 정보를 갖지만, 시계열 데이터는 Sequence 단위로 정보를 함축하고 있습니다. 이 부분이 Pixel의 집합이 시각적 정보를 나타내는 것과 유사하다고 있으며 그렇기에 Vision에서 제안 된 Masked Autoencoder가 시계열에서도 유효한 것이 아닌가 생각이 듭니다. 반대로 생각해 보면 시계열 분야에서 사용되는 방법론이 Vision 분야에서도 사용될수 있지 않을까 싶습니다. 좋은 발표 감사합니다.

이번 세미나는 spatial한 상관관계를 학습하는 GSL을 사용한 time series forecasting 논문인 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting을 주제로 진행되었습니다. 기존의 GCN에서 사용하는 고정된 adjacency matrix를 사용하는 경우 고정된 제약조건이 명시되어 있지 않았다거나 잘못 명시되었을 경우, 또는 시간에 따라 변화하는 경우에 대해 잘못된 예측을 수행할 수 있음을 한계점으로 들며 GSL(Graph Structure Learning)을 통해 adjacency matrix 자체를 학습하도록 하였습니다. 본 논문에서 제안하는 STEP이라는 방법론은 고정된 adjacency matrix를 사용하고 masked autoencoder를 통해 pre-train을 수행하여 time series에 대한 representation을 학습하고, 학습된 transformer encoder를 통해 representation을 도출하고 GSL을 수행하여 adjacency matrix를 학습하였습니다. time series 분야에서 GCN을 활용하는 경우에 대해서 adjacency matrix가 고정되어 있는 것이 현실 상황에서 타당한가 의구심이 들었었는데 이에 대한 의구심을 해결해준 논문이고 방법론이 굉장히 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 다변량 시계열 예측(Multivariate Time Series Forecasting)을 STGNN(Spatial Temporal GNN)으로 수행하는 연구에 대해서 다루어졌습니다. 소개해주신 논문은 ****Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting(Shao et al., 2022)으로**** 해당 주제를 직접적으로 나타내고 있습니다. 해당 방법론은 기존의 STGNN 계열 모델이 비록 시계열 데이터의 spatial and temporal 패턴을 잘 다루고 있지만 비교적 짧은 시간(short-term)만 다루고 있음을 지적하며 보다 긴 시간(long-term)의 특성을 반영할 수 있음을 보여주고 있습니다. STGNN에서 변수간 관계가 곧 spatial 함을 나타내고 있기 때문에 궁극적으로는 graph structure learning이 수행됨을 알 수 있습니다. 달리 얘기하면 시간에 따라 변하는 adjacency matrix를 잘 학습한다는 것을 의미합니다. 본 방법론의 핵심은

시계열 데이터를 이미지나 텍스트 데이터와 같이 masked autoencoder를 통해 모델의 사전학습을 진행하여, 특히 사전 학습중 Transformer layer가 encoder로 활용되며 좀 더 긴 시간의 패턴을 찾을 수 있도록 함에 있습니다. 그래프 네트워크로 다양한 데이터로 많은 과업을 진행할 수 있음은 알고 있었으나 이렇게 시계열 데이터에 대해서도 좋은 성능을 보여주는 점은 늘 신기하게 느껴집니다. Graph structure learning에 대해서 개인적으로 좀 더 찾아보아서 다음 세미나를 잘 이해할 수 있도록 하겠습니다. 좋은 발표 감사합니다.!

이번 세미나는 Pre-training enhanced spatial-temporal graph neural network for multivariate time series forecasting 논문을 바탕으로 진행되었습니다. 이 논문에서는 (STGNN)Spatial Temporal Graph Neural Network를 Time-series forecasting에 적용하는 연구에 대해서 말하고 있습니다. 특정 데이터가 수집되는 변수인 센서 간의 상관관계가 존재할 때, 해당 센서 내의 Sequence 자체도 Temporal한 정보를 가지는 상황을 전제하여 이 두 가지 요소를 모두 반영하는 모델을 만드는 것이 STGNN의 목적이라고 할 수 있습니다. GCN의 Adj matrix는 Graph structure를 의미하고 Adj matrix 자체가 자기와 연결되어 있는 제약조건으로 활용이 되어 이 제약조건 내에서 가장 좋은Representation을 잘 만들어 내도록 학습을 하는 것이었는데, 이때 GCN 내에서는 3 가지 제약조건들이 존재하여 이에 따른 제약조건들을 모두 반영하는 Adj Matrix 자체를 Graph structure learning 학습하고자 하는 연구가 진행되게 되었습니다. 이에 Graph Node를 학습할 때 데이터가 수집되는 변수와 시간과의 관계를 고려할 수 있게 되어서 자기가 영향을 받는 부분에 대해서는 좋은 성능을 보였으나 전체적인 정보를 내포하지 못하게 되면서 이후 Long-term에 대한 부분을 예측하지 못하는 단점이 역시 아직 존재하였습니다. 이러한 문제를 해결하기 위하여 본 논문에서는 Graph structure learning을 진행하는 Part 와 Representation을 만드는 Part를 동시에 학습하는 방법론을 제시하고 있습니다. 먼저 Representation을 만들어야 하는 Part에서는 라벨이 없는 상태에서 학습을 해야 하기에 Masked autoencoder 방법을 통하여 Representation을 생성하는 방식으로 Pre-train을 수행하여 Graph structure learning을 해야 하는 Part에서 안정적인 Graph structure learning을 수행할 수 있게 되었고, 이러한 과정을 통해서 좋은 성능을 낼 수 있게 되었습니다. 기존에 저는 Graph Structure Network에 대해서 아무런 지식이 없어 평소에 GNN이 어떠한 Task에 사용될 수 있는지에 대해 의구심이 많았으나 세미나를 통해서 이러한 의구심을 어느정도 해결할 수 있었고, 제가 관심있는 분야인 Time-series forecasting, anomaly detection에서도 사용되는 것을 확인하여 흥미를 느끼게 되었습니다. 기초적인 배경 설명부터 시작하여 모델에 대한 자세한 설명까지 진행해주셔서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting라는 논문을 다루었습니다. 세미나 초반부에는 기존의 GCN 방법론의 세 가지 문제점을 언급하면서 이를 해결하기 위해 adjacency matrix 자체를 학습하는 것을 목표로 하는 GSL 방법론을 제시합니다. 이를 바탕으로 GSL과 transformer의 encoder와 결합한 STEP이라는 방법론을 제안합니다. 먼저 Time-series data에 대해 transformer encoder 구조로 pre-train을 수행합니다. 이 때 기존 transformer와는 다르게 masking을 하여 encoder를 학습합니다. 비전에서 처럼 높은 비율로 masking을 함으로써 시계열 데이터의 long-term 구조를 다룰 수 있게 합니다. encoder를 지난 후 representation을 만들고 이를 바탕으로 GSL을 적용하여 기존의 목표였던 adjacency matrix를 학습합니다. 시계열 데이터에도 transformer 구조를 적용할 수 있다는 것이 신기했고, 비전에서와 같이 masking을 높은 비율로 하는 것이 타당하다는 생각이 들었습니다. 처음 접하는 생소한 분야였는데, task부터 친절하게 설명해주셔서 잘 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting 논문이 다뤄졌습니다. 가장 흥미로웠던 점은 ViT처럼 패치단위로 시퀀스를 분할하여 Masking 했다는 것인데 이를 통해 context를 기반으로 한 long sequence의 학습을 가능하게 했습니다. 또 GSL에서 adjacency matrix를 discrete하게 학습 가능하도록 하는 제약식을 제안했습니다. 자연어나 이미지처럼 pretraining과 finetuning 각 단계별로 방법론을 구체화한 연구를 접할 수 있어 유익했습니다. 좋은 발표 감사합니다.

금일 세미나는 "Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting"라는 주제로 진행되었습니다. 본 발표에서는 vision에서 제안된 Masked AutoEncoder를 시계열 데이터에 적용하여 representation을 사전 학습하고 graph structure learning과 Spatial Temporal GNN을 활용하여 downstream task인 forecasting을 수행하는 모델이 소개되었습니다. 개인적으로 Masked AutoEncoder 논문을 읽으면서 간단한 아이디어로 ViT를 사전 학습하는 방법론이라는 생각이 들었고, 해당 방법론을 시계열 데이터에 적용할 수 있는 방법에 대해 고민해본 적이 있기 때문에 금일 발표가 매우 흥미로웠습니다. 먼저 본 논문에서는 자연어 데이터에서 단어 하나하나가 풍부한 의미를 가지고 몇 개의 단어만으로도 풍부한 semantic 정보를 포함하고 있기 때문에 이러한 점에서 시계열 데이터가 자연어 데이터와 상이하고 오히려 이미지와 비슷한 특징을 가진다고 주장하였습니다. 일반적으로는 시계열 데이터와 자연어가 sequence 정보를 가지기 때문에 유사하다고 생각하는데 본 논문에서는 반대되는 의견을 주장한 점이 흥미로웠습니다. 또한, Masked AutoEncoder를 시계열 데이터에 활용하기 위하여 ViT처럼 시계열 데이터를 Patch처럼 분할하고 Patch를 구성하는 시점보다 Patch의 배수 만큼 긴 sequence를 사용함으로써 long sequence를 통한 context 및 robustness를 학습한 점도 인상 깊었습니다. Vision에서 좋은 성능을 도출한 모델을 시계열 데이터에 적용한 좋은 사례를 확인할 수 있어 좋았습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting" 논문을 주제로 했습니다. 해당 연구에서 제안한 STEP은 Masked Autoencoder를 Pre-train한 후, Encoder를 통해 Long-term 정보를 내포하는 Representation을 생성하고 Graph Structed Learning과 STGNN을 활용해 시계열 예측을 수행합니다. Vision MAE("Masked Autoencoders Are Scalable Vision Learners")에서도 Masking 비율을 75%를 적용하는 것이 인상깊었는데, 본 연구에서 사용된 MAE에서도 Masking Ratio를 75%~80%로 하는 것이 가장 좋은 성능을 보인 것이 인상깊었습니다. 해당 세미나 이후, NLP에서와 달리 이렇게 높은 Masking Ratio를 사용할 수 있었던 이유가 무엇인가 고민을 해보게 되었습니다. 자연어 Token 하나 하나는 Rich Semantic인 반면, 시계열 데이터는 연속성을 띄고 있어 발표자 분께서 말씀하신 바와 같이 Interpolation이 가능하기 때문이 아닌가라는 생각을 했습니다. 비록 시계열 예측 및 GSL에 대한 지식이 부족해 해당 논문의 방법론을 완벽히 이해하지는 못했지만, Introductiion에서 GSL과 STGNN에 대해 설명해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 다변량 시계열 예측 task를 위한 방법론을 제안한 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting 논문을 소개해 주셨습니다. 본 논문에서 제안하는 STEP은 Pre-Training Stage, Forecasting Stage의 두 단계로 구성이 되며, 각각을 수행하는 방식이 매우 인상적이었습니다. 우선 vision 분야의 ViT처럼 시계열 데이터를 Patch로 나누어 Masked Autoencoder를 학습하도록 하여 representation 생성을 위한 Pre-Training을 수행합니다. 이는 마치 자연어를 다루는 방법과 유사한데요, 자연어의 경우에는 각각의 토큰이 의미를 충분히 포함하기 때문에 representation학습이 원활히 수행되는 반면 시계열 데이터의 patch의 경우에는 그렇지 못하기 때문에 semantic information을 가질 수 있는 정도로 충분한 길이로 segmentation 했다고 합니다. 결과적으로 개별 point보다 patch의 배수만큼 더 긴 Sequence를 학습에 사용하여 Long-sequence를 통한 학습을 수행할 수 있었다고 합니다. 이후 학습된 transformer encoder를 활용해 Graph를 활용한 Forecasting을 수행합니다. 고정된 adjacency matrix를 사용했던 기존 방법론들과는 다르게 Graph Structure Learning을 통해 adjacency matrix 자체를 학습하는 것으로 시간에 따라 변화하는 그래프 구조를 반영할 수 있도록 하였습니다. 본 논문에서 두 가지 step 각각에 대해 적용한 아이디어들이 직관적으로 잘 와닿았으며, 특히 그래프의 구조 고정하지 않고 학습한 것은 생각해보지 않았던 부분인데 매우 좋은 아이디어라고 느꼈습니다. 좋은 발표 감사합니다.

이번 세미나는 “Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting”으로 다변량 시계열 데이터에 대해 GNN을 이용해 예측 태스크를 해결하는 논문이었습니다. 시계열 데이터가 자연어 처리 분야에서의 데이터 특성과 다른 특성을 가지는 점을 지적하고 이를 이미지 분야와 비슷하게 해결하려고 한 점이 인상적이었습니다. 특히 이미 length X feature dimmension 으로 구성되어 있어 자연어 처리 모델과 동일한 Input 구성을 이루고 있음에도 ViT처럼 패치 개념을 도입해 pretrain 시킨 점이 흥미로웠습니다. 또한 Downstream Task 수행 시 STGNN을 활용하여 GNN을 이용하고 있습니다. 여러 지점에서 NLP와 유사해보이는 시계열 데이터를 이미지와 연결시키고, 시계열 데이터 특성에 맞게 Encoder-Decoder 구조를 다르게 가져가면서도 실제 Dowonstream 태스크는 GNN 기반 모델을 이용한 점이 각각의 단점을 보완하면서 데이터 특성에 맞춘 방법론이라는 인상을 강하게 받을 수 있었습니다. 좋은 발표 감사드립니다.

금일 세미나에서는 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting 논문을 다루어 주셨습니다. 논문에서는 비전 분야에서 이용되는 Masked AutoEncoder의 아이디어를 시계열 데이터에 적용하고자 하고 있습니다. 시계열 데이터를 Patch 단위로 구성하고 나눈 sub sequence 중 일부를 masking 하는 방식으로 적용하고 있으며 mae를 이용하여 local representation을 생성하게 됩니다. 다음으로 Downstream task인 forecasting을 수행시 graph structure learning과 Spatial Temporal GNN(STGNN)을 사용하고 있습니다. Graph structure learning에 있어 encoder part에서는 시계열의 context를 학습하게 되며 이때는 마스킹 없이 input patch를 이용합니다. 이러한 방식을 이용하면 long-term 정보를 내포할 수 있다는 장점이 있습니다. 본 논문에서는 정성적 분석도 많이 제공하고 있어 다양한 측면에서 결과를 살펴볼 수 있었습니다. 비전 분야에서 이용되는 개념(아이디어)를 다른 분야인 시계열에 도입한다는 점이 인상적이고 참신하였다고 생각됩니다. 좋은 발표 감사합니다!

이번 세미나는 "Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting" 논문에 대한 소개를 해주셨습니다. 이번 논문에서 인상깊었던 점은 "Masked Autoencoders Are Scalable Vision Learners"에서 제안한 MAE pre-training 방식을 시계열 데이터에 활용했다는 점이었습니다. MAE는 image가 적은 mask ratio 만으로는 주변 pixel로부터 추측이 가능하기 때문에 더 많은 mask ratio를 사용해야함을 보였는데, 본 논문에서는 time-series 데이터가 이러한 image의 특징과 유사하다는 점을 활용하여 time-series에 MAE 방법을 적용하였습니다. 또한 downstream task에서는 tsformer의 마지막 patch representation을 활용하여 STGNN을 사용합니다. 이번 논문에서는 pre-training 방식을 활용한 점과 다양한 ablation study에 대한 설명을 해주셔서 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 다변량 시계열 예측 task에서 Masked AutoEncoder를 활용한 사전학습을 바탕으로 Spatial-temporal GNN 구조를 제안한 논문 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting를 주제로 진행되었습니다. 본 논문에서는 다변량 시계열 데이터 간 상관관계에 집중하여, Graph Structure learning 과 Spatial Temporal GNN를 통해 개별 센서의 상관관계를 분석하고 시계열 특성을 보존한 예측모델을 구축하고 있습니다. 사전학습의 경우 시계열 시퀀스를 패치 단위로 쪼개어 Masked AutoEncoder를 통해 representation을 학습합니다. 이어지는 downstream task인 다변량 시계열 예측을 위해 일반적으로 Graph Structure learning으로 그래프 구조를 학습하는데, 이 과정에서 GNN의 파라미터와 인접행렬의 독립성이 보장되지 않는다는 문제점을 해결한 방법론이라는 점에서 장점이 있습니다. 항상 유익한 그래프 관련 세미나를 진행해주셔서 감사합니다.

이번 세미나는 KDD 2022에 억셉된 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting 논문으로 진행되었습니다. Graph Convolutional Network가 가지는 문제 상황들을(고정된 제약조건이 사전에 명시되지 않은 경우, 정의된 제약조건이 잘못된 경우, 제약조건이 상황에 따라 변환하는 경우) 보완하기 위해 Graph Structure Learning을 통해 adjacency matrix 자체를 학습하는 것을 목표로, GSL에서 continuous한 그래프의 adjacency matrix 생성 문제를 discrete하게 생성하는 기존 논문의 방법론을 차용하여 pre-train 구조를 활용한 방법론을 제시했습니다. 자세히는 Masked Auto Encoder 구조로 pre-training을 진행하여 시계열 representation을 생성하고 downstream task를 위해 GSL과 SPGNN을 사용한 시계열적 특성을 보존한 STEP Framework를 제안했으며, 이때 시계열이 자연어보단 Vision의 특징과 유사하다고 주장하며 ViT처럼 패치단위로 시퀀스를 분할하여 긴 시퀀스에 대해서도 학습이 가능하게 한 점이 인상깊었습니다. 좋은 발표 감사합니다.

이번 세미나에선 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting 라는 연구에 대해 소개되었습니다. Image Representation Learning 방식을 제안했던 Masked Autoencoder 에선 NLP의 Masked Language Modeling 방식을 이미지 도메인에 적용한 Masked Image Modeling 을 사용했었는데 이번 세미나에서 소개된 논문은 같은 아이디어를 시계열 데이터에 적용하여 pre-training을 진행합니다. 이전에 세미나에서도 소개된 적 있는 data2vec라는 논문에서 이미지, 언어, 음성 등 여러 도메인의 데이터의 pre-training에 masked modeling 방식이 효과적임을 보였었는데 오늘 소개된 STGNN에선 시계열 데이터에서도 masked modeling의 효과를 입증합니다. 단순한 pretext의 사용이 효과적이라는 점이 인상적이었고 시계열의 downstream task를 위해 Graph Structure learning, Spatial Temporal GNN을 사용한 부분도 STGNN이 도메인에 맞게 변형된 방법론을 제안하고 있다는 생각이 들었습니다. 유익한 세미나 발표 감사합니다.