금일 세미나는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis 논문에 대하여 소개해주셨습니다. 최근 ICLR 2023에 accept된 논문으로 multi-task 결과가 인상깊었던 논문이었는데 세미나로 소개해주셔서 내용에 대하여 잘 살펴볼 수 있었습니다. 해당 논문에서 인상 깊었던 점은 image에 활용되는 모델을 backbone으로 사용하는 점이었습니다. 기존 time-series 분야에서의 representation learning과 달리 intraperiod 와 interperiod-variation을 고려하여 2D tensor로 변환 후 computer vision에 사용되는 모델을 활용한다는 점이 인상깊었습니다. 또한 배경 지식으로 fourier transform에 대하여 gif를 통한 설명이 재밌었고 앞으로 fourier transform에 대한 배경지식이 필수로 생각되어 시간을 들여 깊게 이해해야할 필요가 있다고 또 한번 느꼈습니다. 좋은 발표 감사합니다.

이번 세미나는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis에 대해 소개해주셨습니다. 저자는 실제 시계열 데이터의 Intra-, Interperiod variation을 모두 잘 포착할 수 있는 시계열 representation 학습의 중요성을 강조하였습니다. 구체적으로, Transformer의 embedding layer에 temporal embedding을 추가하여 시계열 데이터를 d_model 차원으로 embed합니다. 이후, Interperiod-varation 표현을 위해 Embedding된 1D time series data를 FFT 거쳐 K개 (Top-K)의 2D tensor 형태로 reshape하였습니다. Reshaped된 tensor를 이후 Vision Inception V1 모델에 입력하여 다시 1D space로 mapping하였습니다. Time Block 내의FFT와 Convolution을 거친 Time series input을 다시 원래 1D space로 mapping하게 되면, TimesNet은 intra-, inter variation을 잘 반영한 representation을 출력할 수 있는 구조를 가집니다. Short, Long range temporal dependencies를 모두 잘 포착할 수 있는 TimesNet은 5가지 task와 8개의 baseline을 활용한 실험에서 SOTA 성능을 달성하였습니다. 저자는 실험적인 방법으로 TimesNet이 task-general한 모델임을 증명했지만, pretrain에 사용하지 않은 데이터 셋에 대해 fine-tuning을 수행했을때도 성능이 높게 유지되는지 검증을 했다면 더 좋았을 것 같습니다. (Transferability에 대한 의문) Representation Learning 과정에서 FFT와 Convolution이 모두 적용된 케이스를 배울 수 있어서 매우 값진 시간이었습니다. 꼼꼼한 자료와 자세한 설명 덕분에 어려운 개념도 쉽게 이해할 수 있었습니다. 감사합니다.

해당 세미나는 박진우 발표자님께서 “TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis”라는 논문을 바탕으로 진행되었습니다. 본 논문은 TimeSeries Forecasting task에서 나타나는 여러 Variation이 합쳐진 복잡한 Pattern을 잘 capture하여 representation을 뽑아내는 것이 중요하다는 것을 강조하고 있습니다. 이에 따라 Intraperiod, Interperiod variation을 함께 고려하여, Short-term과 Long-term Pattern을 모두 포착할 수 있도록 개선하였습니다. 특히 1D-Variation을 2D-Variation으로 변형하기 위해 Fast Fourier Transform을 사용하여, Frequency와 Period를 바탕으로 Reshape 한 점이 흥미로웠습니다. 추가적으로 현실세계의 데이터는 주기성이 없는 데이터도 많은데, 이에 따른 보완점을 해결하는 것이 추후 연구과제라고 생각하였습니다. 마지막으로 Background에 대한 자세한 설명과, block의 변환을 시각적으로 나타내주셔서 이해하기 쉬웠습니다. 좋은 발표 준비해주셔서 감사합니다.

본 세미나에서는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis이라는 주제의 논문에 대한 리뷰를 진행하였습니다. TimesNet은 Multi-Periodicity 특성을 반영하고자 기존 Temporal variation을 Intraperiod- , Interperiod-Variation 으로 확장하여 분석하였습니다. 또한 Intraperiod- , Interperiod-Variation을 2D Tensor 형태로 Embedding하여 서로 다른 두 Variation을 함께 고려하며 모델링하였습니다. TimesNet에서 가장 인상 깊었던 부분은 Multi-Periodicity의 특성을 Intraperiod- , Interperiod-Variation으로 확장하여 분석한 점 이었습니다. Time series representation 논문들을 여러 편 보았으나, multi-periodicity를 반영해주기 위한 구조는 TimesNet이 처음이었습니다. TimesNet에서 제안하는 multi-periodicity가 실제 데이터에서도 충분히 많이 발생하는 경우라는 생각이 들어서 논문의 아이디어가 더 와 다았습니다. 좋은 발표 감사합니다.

금일 세미나는 'TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis’로 기존의 1D representation의 한계점을 해결하기 위해 제안된 방법입니다. 해당 저자는 multi-periodicity을 관찰하였고, 이러한 복잡한 특성을 1d representation에 담기 어렵기 때문에 2D representation으로 접근하였습니다. 1D를 2D space로 변환하는 것과 interperiod, intraperiod의 특징을 2D에서 row, column으로 각각 embed한 부분을 주의깊게 봤습니다. interperiod는 long-term temporal pattern으로 row로 표현이 되고 intraperiod는 short-term temporal pattern으로 column로 표현이 됩니다. 2D matrix를 term길이를 기준으로 잘 mapping한 점이 흥미로웠습니다. 2D로 embedding한 데이터를 Inception block을 활용하여 다양한 temporal pattern과 parameter-efficient 학습을 한 점이 흥미로웠습니다. 마지막으로 다양한 task에 대한 model performance 비교를 방사형 그래프를 사용한 것도 점수 그대로 리포팅한 것보다 가시적이고 좋다고 느꼈습니다.

- 이번 세미나에서는 푸리에 변환을 통해 주기를 찾고, 이 주기 기반으로 쪼개진 Time Series 데이터를 Inception net을 통해 다양한 semantic을 학습하고자 한 TimesNet : Temporal 2D-Variation Modeling for General time series analysis 논문에 대해 세미나를 진행 해 주셨습니다. 시계열 데이터의 경우 NLP,Vision과 달리 추세, 계절성, 주기성 이라는 특징을 가지고 있습니다. 해당 논문에서는 이 중 주기성에 집중을 하였고, 푸리에 변환을 통해 주기에 따라 분해하여 Multi-periodicity로 구성하게 됩니다. 이렇게 분해 된 periodicity에 따라 long-term, short-term pattern을 반영할 수 있게 됩니다. 모델 측면에서는 이러한 다양한 pattern을 학습할 필요가 있기 때문에 여러 kernel map 사이즈를 갖는 1D Convolution으로 구성되는 Inception block을 사용하게 됩니다. Inception block은 주기에 따라 각각 따로 쓰는 것이 아닌 모든 주기에 대해 하나의 block만을 사용하기 때문에 각 주기의 shape을 Reshape 과 Padding을 통해 통일해주게 됩니다.
- 세미나에서 Time series와 관련하여 계속해서 푸리에 변환, 웨이블릿 변환과 같은 기술들이 언급되는 것으로 보아 신호 처리 기술들이 시계열 도메인의 딥러닝과 합쳐지는 트렌드가 생겨 나는 것은 아닌가 하는 생각이 들었으며, 기존에 Time Series에서 계속 되어 사용되었던 RNN이나 Transformer 위주가 아닌 Convolution 위주의 모델이라 인상 깊었던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis라는 논문을 다루었습니다. TimesNet은 기존 time-series data의 가장 큰 문제점으로 각 time point가 하나의 scalar 값 만으로 저장되기 때문에, 즉 단일 시점의 값 만을 가지고 있기 때문에 충분한 semantic information을 제공할 수 없다는 점을 지적합니다. 따라서 TimesNet에서는 time-series data의 연속성, 주기성, 추세 등과 같은 고유 속성을 반영한 방법론을 제안합니다. TimesNet에서는 시계열 데이터의 multi-periodicity를 기반으로 불규칙적인 temporal variation을 intraperiod-variation과 interperiod-variation의 관점에서 분석하고, 각 variation을 2D tensor 형태로 구성함으로써 representation을 추출합니다. 이때 특징적인 점은 백본으로 TimesBlock을 사용하고 이와 함께 parameter efficient한 인셉션 블록에 의해 변환된 2D 텐서에서 시계열 데이터의 복잡성을 모델링할 수 있다는 점입니다. 또한 task-general한 모델로서 5가지 task에서 매우 좋은 성능을 보인 것이 인상적이었습니다. 발표에서 모델 구조와 텐서 변환 과정을 단계별로 자세히 다루고, 또한 실험 결과에 대한 해석이 풍부해서 잘 이해할 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 논문 "TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis"에 대해 다루어주셨습니다. 본 논문에서 제안한 방법론인 TimesNet은 기존의 시계열 데이터가 충분한 시계열적 semantic information을 제공하지 못한다는 단점을 해결하기 위해 제안되었습니다. 시계열 데이터는 추세, 계절성 그리고 주기성등의 특징을 가지고 있는데 본 논문에서는 주기성에 집중하여 푸리에 변환을 통해 multi-periodicity를 구성합니다. 그 후 각 periodictiy에 따른 pattern을 학습할 수 있도록 여러 kernel map 크기를 갖는 1D convolution 기반의 inception block을 통해 모델링을 진행합니다. 이 때, padding을 통해 서로 다른 길이에 대한 input에 대해서도 대응할 수 있도록 framework를 구성하였습니다. 이렇게 학습을 진행하게 되면 기존의 방법론보다 주기와 관련되 semantic information pattern을 더 잘 반영하여 학습할 수 있게 되고 최종적으로 더 질 높은 representation learning을 가능하게 한다는 것을 5가지 down-stream task에 대해 증명하였습니다. 본 논문에서 지적한대로 시계열 데이터는 그 자체만으로는 포착하기 어려운 시계열적 정보들이 많기 때문에 제안한 방법론과 같은 식의 접근이 매우 유의미할 수 있다고 생각하였고, 주기성을 pattern을 잘 학습하기 위해 multi-periodicity를 구성한다는 아이디어가 매우 흥미로웠습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 TimesNet: Temporal 2D-Variation modeling for General Time Series Analysis 논문을 다루어 주셨습니다.TimesNet에서는 Multi-Periodicity 특성을 반영하기 위해 Intraperiod-Variation,Interperiod-Variation으로 확장하여 분석을 하고 있습니다. 전자는 period 내에서 발생하는 variation이며 short-term temporal pattern을 반영하고 있으며, 반면 후자는 연속적인 다른 period에서 발생하는 variation으로 long-term temporal pattern을 반영하고 있습니다. 이때 각 variation은 2D 형태로 임베딩하여 두 variation을 함께 고려하여 모델링하고 있으며 위와 같은 variation을 같이 이용하게되면 다른 period에 존재하지만 같은 위상에 있는 time point들에 대한 temporal variation을 명확히 포착할 수 있다는 장점이 있습니다. 모델 구조 부분에서 vision backbone을 사용하고 있는데 실험 장표에서도 다양한 모델에 대한 ablation study를 함께 진행한 점이 인상적이었습니다. TimesBlock에서 convolution이나 reshape과 관련한 부분을 여러 단계로 나누어 설명해주셔서 이해에 많은 도움이 되었습니다. 또한 Background 부분에서 Fourier Transform에 대한 부분을 자세히 설명해주셔서 추후 발표 흐름을 잘 따라갈 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 시계열 데이터를 이용한 주요 과업(forecasting, imputation, classification, anomaly detection 등)에서 state-of-the-art 성능을 보여준 TimesNet이 소개되었습니다. 해당 방법론에서는 시계열 데이터의 주요 특성 중 하나인 주기성에 집중하여 데이터에는 서로 다른 주기성(multi-periodicity)이 존재함을 가정합니다. 이에 각 period 내의 시점들간의 variation인 Intraperiod Variation과 서로 다른 period 사이에서 같은 phase를 갖는 시점들간 variation인 Interperiod Variation 이란 개념을 구축합니다. 이를 바탕으로 fast fourie transform을 이용해 2d 형태의 tensor를 획득함으로써 궁극적으로 InceptionNet과 후처리 과정을 이용해 최종 임베딩 벡터를 산출하게 됩니다. 이렇게 얻은 임베딩 벡터를 각 downstream task에 활용하는 방식입니다. 시계열 데이터는 특유의 속성(추세, 계절성, 주기성, 불규칙성 등)이 존재하기에 이에 대한 관찰과 연구가 지속적으로 발전하는 한 시계열 데이터 모델의 발전도 끊임없이 이루어질 것이라 생각됩니다. 본 연구에서도 주기성에 초점을 맞추어 시계열 데이터를 해석했다시피 가장 기본으로 돌아가 데이터의 속성을 잘 탐색하는 것이 또 다른 연구의 시작이 될 수 있지 않을까 생각합니다. 발표자료를 너무 잘 준비해주셨습니다. 감사합니다.

이번 세미나에서는 "TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis" 논문을 소개해주셨습니다. 이 논문에서 제시한 TimesNet은 시계열 데이터의 Multi-Periodicity를 고려하여 시계열 데이터의 주기성을 반영한 방법론을 제안하였습니다. 주기성은 Intraperiod-Variation과 Interperiod-Variation으로 분리되어, 전자는 period 내의 변동성을 반영하는 반면, 후자는 서로 다른 period 간의 변동성을 반영합니다.
TimesNet은 각 variation을 2D 형태로 임베딩하고, 이를 함께 고려하여 모델링하는 방식을 사용합니다. 이를 통해 서로 다른 주기에 존재하더라도 같은 위상에 있는 time point들의 temporal variation을 명확하게 포착할 수 있습니다. 모델 구조 측면에서는 vision backbone과 TimesBlock을 사용하며, 다양한 모델에 대한 ablation study를 진행한 것이 인상적이었습니다. 발표에서는 Fourier Transform에 대한 설명을 상세하게 다루어주어 이해에 큰 도움이 되었습니다. 또한, TimesBlock에서 convolution 및 reshape과 관련된 부분을 여러 단계로 나누어 설명해주셨습니다. 이를 통해 시계열 데이터의 주기성에 초점을 맞춘 연구가 시계열 데이터 모델의 발전에 큰 기여를 할 것으로 기대됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis라는 논문에 대해 소개해주셨습니다.
TimesNet은 기존 대부분의 Time Series 모델의 Input으로 사용하던 1D Time Series Data를 Multi-Periodicity를 기반으로 하는 새로운 Dimension에서 분석하여 Rising, Falling, Fluctuation 등과 같은 다양한 Variation들을 잘 반영하는 Representation을 만들고자 했습니다.
해당 연구의 Main Idea는 Temporal Variation을 Intraperiod-Variation과 Interperiod-Variation으로 확장해, 이 둘을 2D Tensor 형태로 임베딩하여 두 Variation을 함께 고려해 모델링을 하는 것이었습니다. 이전에 발표자 분께서 Time Series Data를 2D Tensor 형태로 전처리 한 후에 CNN을 이용하여 모델링하는 방법론에 대해 타 스터디에서 소개해주시며 Explainability와 관련해 다루어주신 적이 있었는데, 이번 세미나에서도 Time Series Data를 2D Tensor로 변환해 사용한다는 점이 흥미로웠습니다. 임베딩 과정, Fast Fourier Transform 등의 과정과 함께 Tensor의 형태가 어떻게 구성되는지 시각화 자료를 상세히 만들어주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사드립니다.

이번 세미나는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis에 대해 진행되었습니다. TimesNet은 multi-periodicity를 고려하여 intraperiod-variation 및 interperiod-variation에 대해 분석하고, tensor 형태의 변환을 거쳐 representation을 도출합니다. 여러 variation이 있는 시계열 데이터에서 pattern을 잘 파악하는 것을 바탕으로 representation을 도출하는 것이 중요하다는 점을 알 수 있었습니다. 또한, 하나의 time series data에 대해 여러 측면의 periodicity를 파악하는 것이 중요하다는 것과 특히, embedding layer에서의 temporal embedding을 추가한 input을 사용하는 부분이 인상 깊었습니다. 발표의 background로 Fourier transform에 대해 굉장히 상세히 자료를 구성해주시어 해당 개념이 어떤 것인지, 어떻게 사용되는 것인지 정리해볼 수 있었습니다. 전반적인 발표에 있어, 모든 내용을 꼼꼼하고 쉽게 설명을 해주시어 더욱 집중하고 이해해볼 수 있었던 것 같습니다. 좋은 발표 준비해주셔서 감사드립니다.

이번 세미나는 다양한 periodicty를 학습하기 위한 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis을 주제로 진행되었습니다. 시계열 안에서도 여러 periodicty를 포함하고 있고 이러한 multi-periodicty가 서로 겹쳐지고 상호작용하면서 variation 모델링을 복잡하게 만든다는 특징이 있습니다. 따라서 이를 고려하는 것이 중요하다고 해당 논문에서 언급하고 있습니다. 이를 위해 fast fourier transform을 통해 amplitude, frequency 값을 도출하고 그 중 Top K개의 frequency를 선정합니다. Top K개의 frequency에 해당하는 period를 나타내도록 reshape하여 vision backbone 모델의 input으로 하는 특징을 가지고 있습니다. 여러 period를 나타내겠끔 reshape 하는 아이디어가 좋았으나 해당 세미나로는 input 구조를 어떻게 가져갔는지 이해가 잘 안갔습니다. 해당 논문을 발표한 연구실이 autoformer, anomaly transformer를 발표한 연구실인데 매번 시계열 관련해서 좋은 연구들을 진행하는 것 같아 앞으로도 기대가 됩니다. 좋은 발표 감사합니다.

이번 세미나는 시계열 representation learning 관련 논문 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis을 주제로 진행되었습니다. 현실세계의 시계열 데이터는 복잡성을 내포하기 때문에 이러한 variation을 잘 잡아내어 representation을 학습하는 것이 중요합니다. 이러한 관점에서 본 논문은 하나의 시계열 데이터에 다양한 periodicity가 존재하는 multi-periodicity 특징을 반영하고자 기존 temporal variation을 intra/inter period variation으로 확장하여 분석하는 방안을 제안합니다. Intraperiod variation은 period 내에서 발생하는 변동으로 short-term 패턴을 반영하며, interperiod variation은 서로 다른 period에서 발생하는 변동으로 long-term 패턴을 반영합니다. 본 논문에서는 두 variation을 2D 텐서 형태로 임베딩하여 두 variation을 함께 반영한 모델링을 수행합니다. 제안하는 TimesNet은 representation을 도출하는 task-general 모델로서, 5개의 시계열 과업에서 SOTA를 달성하였습니다. 발표자료 초장부터 푸리에 변환을 디테일하게 설명하시는 등, 최대한 내용 전달을 잘 하기 위해 노력하신 부분들이 인상 깊었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 ICRL 2023에 억셉된 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis 논문으로 진행되었습니다. 해당 논문은 시계열 데이터를 하나의 time-series data에도 다양한 periodicity가 존재한다는 multi-periodicity를 기반으로 하는 새로운 dimension에서 분석한 논문으로, short term temporal pattern을 반영하는 intraperiod variation과 long-term temporal pattern을 반영하는 interperiod variation을 함께 고려하는 TimesNet 구조를 제안했습니다. fast fourier trasnform을 통해 데이터의 amplitude, frequency, period가 반영된 임베딩을 기반으로 vision 분야에서 활용되는 inception 모델을 활용하는 점이 가장 흥미로웠습니다. 어려운 백그라운들이 많았는데도 시각적으로 잘 풀어 설명해주셔서 이해에 큰 도움이 되었고, fourier transformer와 관련해선 교수님께서 말씀해주셨던 것처럼 관련한 스터디를 진행해보는 것도 좋을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에선 TimesNet이라는 논문에 대해 소개되었습니다. TimesNet은 시계열 데이터가 다양한 주기를 가질 수 있음을 반영하고자 시계열 데이터의 temporal variation을 intraperiod, interperiod로 확장하고자 하였습니다. Intraperiod variation은 period 내에서 발생하는 short-term temporal pattern을 반영하며 Interperiod variation은 서로 다른 period에서 발생하는 long-term temporal pattern을 반영한다는 차이가 있지만 기존의 모델들은 intraperiod variationa 만을 고려하였다는 한계가 있었습니다. 이를 개선하기 위해 본 논문에선 multi-periodicity를 가진 데이터를 periodicity에 따라 2D tensor로 변환하여 vision backbone에 입력하는 방식을 사용합니다. 이 부분에서 다양한 크기의 kernel을 사용하는 Inception Block을 사용한 부분이 참신했다고 생각합니다. 시계열 데이터 관련 연구들에 대해서 다시 한 번 공부할 수 있는 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나는 "TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis" 이었습니다. 해당 논문은 각 레이어마다 변수에 대한 Fast Fourier Trasnform을 별도로 진행하고, 이에 대해 사전에 정해진 k개의 Frequency와 Period를 이용하여 모델링하는 것을 기반으로 하고 있습니다. 특히, 각 Frezuency에 대한 중요도를 바탕으로 Inception Block을 통과한 Representation을 Aggregation하고 있습니다. 이전의 시계열 도메인의 트랜스포머 기반의 모델들과 다르게 해당 방법론은 FFT를 적극적으로 활용한 비교적 단순한 모델링을 사용하고 있음에도 불구하고, 다양한 태스크에서 SOTA의 성능을 달성하는 모습을 보이고 있습니다. 특히, 트랜스포머에 비해 연산량이 적은 Inception Block을 기반으로 하고 있어, 더욱 그 성능이 유의미한 결과라고 생각합니다. 시계열 도메인에서 지속적으로 Transformer 기반의 방법론이 제안되고 있지만, 점차 Fourier Transform 등 도메인에 적합한 방법론이 모색되고 있는 상황에서 큰 방향을 제시해주는 좋은 논문이었던 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis (ICLR 2023) 논문을 소개해 주셨습니다. 본 연구의 주요 아이디어는 시계열 데이터가 오로지 한 개의 주기성을 가지는 것이 아니라, 다수의 주기성을 가진다는 점에서 시작됩니다. 데이터가 다수의 주기성을 가진다면 분명 각 주기마다 얻을 수 있는 특징이 존재할 것이고, 추가로 서로 다른 주기 사이의 관계에 따라서 파악할 수 있는 정보가 있다는 것입니다. 이런 관점에서 논문에서 제안한 TimesNet는 Temporal variation을 Intraperiod- , Interperiod-Variation 으로 확장하여 분석합니다. 가장 흥미로웠던 점은 시계열 데이터에 이미지 domain에서 제안된 모델의 구조를 활용하기 위해, 주기마다 서로 다른 간격으로 데이터를 잘라 옆에 이어붙이는 것으로 2D tensor의 형태를 만든 것입니다. 이전에도 시계열 데이터에 이미지 분야의 모델을 그대로 적용하기 위해 Mel-spectrogram을 생성한 경우를 공부한 적이 있는데, 이번 연구에서 2D tensor 를 만들고 이미지 모델의 backbone만을 사용한 것이 주기만 잘 찾아낸다면 더 직관적인 것 같습니다. 흥미로운 발표 감사합니다.