이번 세미나에서는 Are Transformers Effective for Time Series Forecasting?라는 논문과 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures라는 논문에 대해 다루었습니다. 먼저 첫번째 논문에서는 LTSF-linear라는 모델을 제안합니다. 이 논문에서는 시계열 데이터는 numerical data이기 때문에 semantic 정보를 가지고 있지 않고 그렇기 때문에 transformer 구조를 적용하면 시계열 정보가 손실되고 time과 memory 복잡도가 실질적으로 줄어들지 않는다는 점을 지적합니다. LTSF-linear 모델은 데이터를 trend와 remainder로 분해하고 1-layer linear network를 통해 prediction을 하는 구조를 가지고 있습니다. 이렇게함으로써 연산량도 줄이고 해석력과 이용용이성을 높임으로써 앞서 언급했던 transformer 구조의 문제점을 해결할 수 있다고 주장합니다. 두번째 논문에서는 LightTS라는 모델을 제안합니다. 이 논문에서는 기존 방법론들은 temporal pattern과 서로 다른 변수간의 복잡한 inter-dependency를 고려해야하고 또한 많은 파라미터로 인해 계산 비용이 매우 높다는 문제점을 가지고 있다고 지적합니다. LightTS 모델은 continuous sampling과 interval sampling을 수행하는 down-sampling part에서 input variable들을 독립적으로 처리하고 IEBlock을 거쳐서 output을 prediction하는 구조를 가지고 있습니다. 이를 통해 좀 더 높은 효율성으로 prediction을 할 수 있게 됩니다. 두 개의 비슷한 주제를 가진 논문에 대해 발표해서 문제와 문제 해결 방식이 구조적으로 이해가 잘 되었고 실험 결과에 대한 해석이 다양해서 좋았던 것 같습니다. 발표자료도 구성이 좋았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 large model이 time-series dataset에 적합하지 않다는 주장을 하는 Are Transformers Effective for Time Series Forecasting? 와 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures에 대해 살펴보았습니다. 특히 Are Transformers Effective for Time Series Forecasting?에서 지적한 Transformer의 문제점은 많은 분야에서 똑같이 적용되는 문제이기 때문에 지속적으로 고민할 필요가 있을 것 같습니다. 본 연구에서는 time series data를 decompose 하여 linear layer에 태우는 방식으로 구조를 짜고 있는데 성능을 봤을때는 Transformer를 사용하는 것 보다 충분히 좋은 성능을 보이고 있습니다. 특히나 시간 복잡도와 memory에 대한 실험 결과를 확인하면 제안하는 방법론이 얼마나 효율적인 방법인지 알 수 있습니다.
LightTS에서도 유사한 문제를 지적하고 있으며, continuous sampling과 interval sampling을 통해 short-term 과 long-term pattern을 학습합니다. 이후 간단한 구조로 prediction을 진행하게 되는데 역시나 낮은 계산 비용으로 비교적 높은 성능을 보이고 있습니다.
다른 세미나에서 소개된 여러 도메인의 연구들에서 Transformer를 사용하는 것이 좋지 못하다는 것을 보여주고 있는데, 연구실에서 연구를 진행하기에는 이러한 방향도 좋은 주제가 되지 않을까 생각합니다.

이번 세미나에서는 MLP 기반으로 forecasting을 수행하는 두가지 논문에 대해 발표가 있었습니다. 첫번째 논문은 Are Transformers Effective for Time Series Forecasting?으로, 원본 시계열을 decomposition한 후, linear layer로 feature를 추출하여 forecasting output을 생성하는 매우 간단한 구조를 지니고 있습니다. 매우 간단한 모델 구조임에도 불구하고, 신선한 문제 정의와 시각화 등을 통한 풍부한 실험 결과가 돋보이는 연구였던 것 같습니다. 두번째 논문의 모델인 LightTS는 continuous/interval sampling을 통하여 short-term local 및 long-term global pattern을 포착할 수 있는 구조를 가지며 변수 correlation 정보도 활용할 수 있도록 했습니다. Ablation 실험에서 변수 간의 interdependency를 강제하는 것은 모델의 성능을 떨어뜨릴 수 있다는 해석이 특히 인상깊은 부분이었습니다. 시계열은 특히나 데이터셋마다 변동성이 큰데, 이를 강건하게 포착하는 것이 정말 어려운 것 같습니다. 자연어처럼 시계열 모델을 Large model로 pretraining하면 어떨까 하는 생각이 드는 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Time series forecasting task에서 MLP를 활용하는 Are Transformers Effective for Time Series Forecasting?라는 논문과 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures 두 논문에 대해 다뤄 주셨습니다. 두 논문 모두 기존의 LSTM, Tranformer 기반의 방법론에 문제를 제기하고 있습니다. 많은 연산량 요구, 많은 데이터량 요구, Time series 데이터의 semantic 정보 부족. 그러면서 되려 단순한 MLP 가 대안이 될 수 있다며 방법론을 제안하고 있습니다. 첫 번째 논문에서는 input Time series를 Trend와 Remainder로 분해한 뒤 1-layer linear network를 적용하는 LTSF-linear 모델을 제안하고 있습니다. 두 번째 논문은 LightTS를 제안하고 있으며 해당 방법론은 Down Sampling part에서 Local pattern과 Global pattern을 파악하고 prediction part에서 Time series 간의 interdependency를 포착하는 prediction part로 구성되어 있습니다. 시계열에 트랜스포머를 적용하는 경우 데이터의 크기가 작아 적용하기 어렵다는 점을 보곤 했는데 이를 MLP로 해결한다는 점이 신기했던 것 같습니다. 다음 발표도 기대하겠습니다. !

이번 세미나에서는 Are Transformers Effective for Time Series Forecasting? / Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures 을 주제로 진행되었습니다. 두 논문 에서 시계열 데이터적용에 문제가 되는 많은 연산량과 데이터, 그리고 semantic 한 정보를 담기 어려움을 설명합니다. 항상 시계열 논문들을 보면, 러프하면서도 강건한 모델들이 의외로 좋은 성능을 내고 있었습니다. 이러한 이유는 개인적으로는 noise 가 많은 데이터의 특성이라고 생각하는데, 이러한 문제점을 해결하기 위해, trend와 remainder 로 분해하는 방식을 적용한 논문과, Sampling 전략을 사용하여 패턴을 좀더 잘 찾는(semantic) 방법을 제안하는 두 모델들이였습니다. 시계열 데이터는 더 나은 모델을 위해 데이터를 다시한번 더 들여다보는 연구방향성이 또 다른 재밌는 연구가 될 것 같습니다. 감사합니다.

이번 세미나에선 "Multivariate Time-Series Forecasting with MLP structure"를 주제로 두 가지 연구에 대해 소개되었습니다. 첫 번째 논문인 "Are Transformers Effective for Time Series Forecasting?"에선 Large Language model에서 주로 사용되는 transformer 구조가 time-series forecasting에 적합하지 않음을 지적합니다. Time-series forecasting엔 temporal dynamics를 잘 포착하는 것이 중요한데 transformer 구조에선 long-term sequence가 입력될 때 temporal information이 잃기 쉬운데, 논문에선 이러한 문제점과 연산량까지 모두 개선할 수 있는 LTSF-linear 구조를 제안합니다. 제안된 구조는 입력 데이터를 trend와 remainder로 나누는 decomposition part 이후 linear layer를 사용하는 단순한 형태이지만 예측 성능과 연산량 측면에서 모두 transformer 구조를 변형한 기존 연구대비 좋은 성능을 보여줍니다. 두 번째 연구인 "Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures"에서도 transformer 구조가 아닌 MLP 구조를 사용하고 있고, continuous, interval sampling을 통해 각각 short-term local pattern과 long-term global pattern을 포착하고 있습니다.
두 연구 모두 기존에 제안된 모델 구조보다 단순한 형태의 모델로 성능을 개선하고 있기에, 이번 세미나를 통해 time-series forecasting task가 모델 구조 측면에서 더 연구될 수 있을 것 같다는 생각이 들었습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 Multivariate Time-Series Forecasting with MLP structure를 주제로 두가지 논문에 대해 소개해주셨습니다. 다른 domain과 비슷하게 NLP에서 transformer의 성공 이후로 Timeseries에도 해당 구조를 적용하려는 시도가 많아지고 있습니다. 하지만 Transformer가 갖는 높은 계산복잡도에 비해 데이터의 양이 적다보니 overfitting등과 같은 여러가지 문제점이 존재합니다. 이러한 관점에서 LTSF-linear모델의 결과가 상당히 흥미로웠습니다. 1 layer linear network로도 준수한 성능을 산출할 수 있었고 transformer 기반의 모델들과 비슷하거나 더 좋은 성능을 보였습니다. 더불어 temporal order를 suffle한 경우에 transformer 기반 모델들의 성능이 크게 변동하지 않은 것을 보았을때 timeseries 데이터의 order를 명확히 반영하지 못하는 것을 알 수있었습니다. transformer를 쓰는것이 항상 best solution이 아니라는 주장에 대한 좋은 레퍼런스가 될 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 "Are Transformers Effective for Time Series Forecasting?"와 "Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures"이었습니다. 첫번째 논문은 최근 시계열 데이터 분야에서 Transformer 구조가 널리 활용되고 있지만, 시계열 데이터와 Transformer 구조가 적합하지 않다는 점을 강조하고, Trend와 이 외 요소로 분리하여 모델링하는 방법론을 제안하는 논문입니다. 특히, Transformer가 자연어 처리 분야에서 최초로 제안되었기 때문에, Semantic 정보들을 모델링하기 위해 집중하면서 시계열 데이터에 불필한 메모리와 연산량이 필요해졌다는 부분을 강조하고 있습니다. 두번째 논문은 단기 시계열 특성을 담는 Continous Sampling과 장기 시계열 특성을 담는 Interval Sampling 방법론으로 모델을 분리하여 기존의 Trasnformer 모델들에 비해 효율적이고, 성능이 좋아질 수 있다고 주장하고 있습니다. 지속적으로 이미지 및 시계열 데이터 분야에서 Transformer 모델이 연구되고 있지만, 오히려 반대로 각 도메인 별 실제로 모델링 되어야 하는 요소가 무엇인지 활발히 연구되고 있는 현상이 있는 것 같습니다. 앞으로 시계열 데이터 분야에서 Transformer가 살아남을 수 있을지, 지켜보는 것도 흥미로울 것 같습니다. 좋은 발표 감사드립니다.

금일 세미나는 "Multivariate Time-Series Forecasting with MLP structure"라는 주제로 진행되었습니다. 본 발표에서는 MLP 기반의 모델들을 기반으로 time series forecasting을 수행한 두가지 방법론이 소개되었습니다. 개인적으로 처음에 소개된 모델이 흥미로웠는데, 해당 모델은 input 시계열 데이터를 trend와 나머지 요소로 분해한 데이터들에 1-layer linear network를 적용하여 미래 데이터를 예측하는 LTSF-linear입니다. 일단 해당 논문에서는 수치형 데이터인 시계열 데이터에 semantic 정보가 부족하기 때문에 Transformer를 사용하기 어렵다는 문제점을 지적하고, 1-layer linear network를 사용함으로써 time series forecasting에서 좋은 성능을 도출하였습니다. 개인적으로는 시계열 데이터에서 Transformer를 잘 사용하는 것이 어렵다고 생각하기 때문에 매우 와닿는 논문이었습니다. 좋은 발표 감사합니다.

이번 세미나는 Multivariate Time-Series Forecasting with MLP structure라는 주제로 진행되었습니다. LTSF-linear 방법론을 제안한 “Are Transformers Effective for Time Series Forecasting? 논문과 LightTS 방법론을 제안한 “Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures”라는 논문을 함께 소개해주셨습니다. 첫 번째 논문에서는 Transformer 기반 모델의 문제점으로 계산 비용이 높다는 점과 Time Series Data는 자연어 데이터와 달리 Semantic한 정보가 부족하여 결과적으로 Temporal Information Loss가 발생함을 지적했습니다. 두 번째 논문에서 또한 기존 방법론의 한계점으로 많은 계산량이 필요함을 지적했는데, Time Series는 본질적으로 연구 분야 자체가 빠른 Inference 시간이 매우 중요하다는 것을 상기시킬 수 있었습니다. 소개해주신 두 방법론인 LTSF와 LightTS는 놀라울 정도로 단순한 구조로 이루어져 있었습니다. 이를 통해 연산량을 획기적으로 줄일 수 있을뿐만 아니라 높은 성능을 보인 것이 인상적이었습니다. Time Series 관련 Task에 MLP를 이용한 연구가 진행된다면 또 다시 모델의 Complexity를 높이는 방향으로 진행될지 혹은 Input 단에서 변화를 줄 것인지 등 어떤 방향으로 진행될지 궁금증을 갖게 된 발표였습니다. 첫 발표임에도 불구하고 두 편의 논문을 함께 다뤄주시느라 수고 많으셨습니다. 좋은 발표 감사드립니다.

금일 세미나는 Multivariate Time-Series Forecasting with MLP structure 이라는 주제로 두 가지 논문을 소개해주셨습니다. 첫 번째는 Are Transformers Effective for Time Series Forecasting? 이라는 논문이었고 지금까지 세미나에서 들었던 Transformer 기반의 시계열 모델들에 대하여 다시 한 번 생각해보게되는 내용이었습니다. 실제로 논문에서 제안한 1 layer linear network 만으로 기존 Transformer 대비 메모리와 연산량을 크게 줄이고 그에 비해 성능은 오히려 다양한 데이터셋 모두에서 강건하고 높은 성능을 나타내어 인상적이었습니다. 시계열 특성을 반영한 trend와 remainder 두 가지만을 고려한 점에서 그동안 시계열 모델을 학습하기 위하여 사용되었던 fourier transformation 방식이나 sampling 방식과는 어떤 차이가 존재할까 또는 양립하면 어떨까라는 생각이 들었습니다. 두 번째로 소개해주신 논문은 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures 입니다. 해당 논문에서는 두 가지 sampling 방식을 사용하여 지역적 / 전역적 정보를 반영할 수 있도록 하였습니다. 오늘 두 논문 모두 재밌는 주제를 소개해주셔서 집중해서 잘 들을 수 있었습니다. 첫 발표임에도 알찬 내용들이 많아서 다음 발표도 기대하고 듣겠습니다. 감사합니다.

이번 세미나에서는 Multivariate Time-Series Forecasting with MLP structure를 주제로 2가지 논문 "Are Transformers Effective for Time Series Forecasting?"라는 논문과 “Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures”라는 논문을 소개해주셨습니다. 자연어는 시계열 데이터와 마찬가지로 sequence 데이터이기 때문에 자연어처리에서 개발된 모델은 자연스럽게 시계열 데이터 분야에 응용될 수 있습니다. 한 가지 극명한 차이점은 자연어와 달리 시계열 분야에서는 inference time 또한 중요한 요소이고 그렇기 때문에 좀 더 경량화된 모델이 필요하다는 것 입니다. 또다른 차이점은 시계열 데이터 특성상 time information을 잘 반영할 수 있어야 한다는 점 입니다. 이번 세미나에서는 이 2가지 요소에 대해 발전된 모델을 소개해주셨습니다. 기존 자연어처리 분야에서 개발된 Transformer 모델이 자연어의 의미적 정보를 처리하는데 초점이 맞춰져있어 시계열 데이터에 대해서는 비효율적인 연산이 많다는 점을 지적한 부분이 굉장히 흥미로웠습니다. 이를 해결하고자 두 번째 논문에서는 continous sampling 및 interval sampling 방법론을 사용하여 효율적인 시계열 데이터 대상 Transformer 모델을 제안하였는데 해당 기법들이 왜 시계열 데이터에 대해 더 적합한 방법론인지 논리적으로 잘 이해되었습니다. 좋은 발표 감사드립니다.

본 세미나에서는 Are Transformers Effective for Time Series Forecasting?라는 논문과 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures 라는 주제의 논문을 다뤘습니다. NLP, Vision 등의 도메인에서 활발히 사용되는 Transformer를 활용한 연구가 시게열 데이터 forecasting에서도 사용되고 있습니다. 하지만 본 세미나에서 다루는 2개의 논문은 간단한 Multi-layer perceptron 기반의 방법론이 Transformer를 사용하는 경우보다 더 높은 효율과 성능을 보인다고 주장하고 있습니다. 첫번째 논문인 Are Transformers Effective for Time Series Forecasting?의 경우 Input time-series를 Trend와 Remainder로 Decomposition하고, Decomposition 한 데이터들에 대하여 1-Layer linear network만을 적용하여 Prediction을 진행하는 LTSF-linear 모델 제안하였습니다. 두번째 논문인 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures의 경우 Continuous/Interval Sampling을 통하여 Input sequence에 대한 Local/Global Temporal information 추출하고, 각 Sampling에서 나온 결과를 Concatenation한 후 다시 Information Exchange Block을 통하여 Prediction을 진행하는 모델인 LightTS 제안하였습니다. 2가지 모델 모두 기존의 Transformer 기반의 모델들 보다 우수한 성능을 달성하였습니다. 본 세미나에서 소개한 연구들을 통해 시계열 데이터의 경우 transformer 기반의 모델보다 단순한 MLP 구조가 더 우수할 수 있음을 알았고 이에 대한 연구가 더 지속될 것으로 보입니다. 좋은 발표 감사합니다.

이번 세미나에서는 Multivariate Time-Series Forecasting with MLP structure 논문을 다루어 주셨습니다. 해당 논문에서는 MLP를 기반으로 한 모델들이 transformer를 기반으로 한 모델들보다 높은 성능을 보이고 있다는 점을 언급하며 제안 방법론을 소개하고 있습니다. 우선 LTSF-linear 모델은 크게 decomposition 부분과 1-layer linear network로 구성되어 있습니다. Decomposition 부분에서는 시계열 데이터를 trend와 remainder로 분리하고 있으며, 1-layer linear network에서는 앞단계에서 decomposition된 tend와 remainder에 1-Layer linear network를 적용하고 있습니다. 다음으로 기존 방법론의 경우 많은 계산량이 필요하다는 한계점을 지적하며 제안하고 있는 LightTS에서 이와 같은 한계를 해결하고자 하였습니다. 구조는 크게 down-sampling을 하는 부분, 예측을 하는 부분으로 이루어져 있습니다. 전자 방법 이용시, short-term과 long-term pattern을 모두 잘 포착할 수 있으며, 샘플링하여 나온 결과를 concat해서 예측을 수행하기 때문에 각 input의 변수들간 상관관계를 고려할 수 있습니다. LTSF-linear 모델의 경우 연산속도뿐만 아니라 interpretability가 높고, hyper paramter 조정 없이도 쉽게 사용할 수 있는 모델이라는 점에서 contribution이 명확한 것 같습니다. 시계열 데이터의 특징부터 시작해서 여러가지 task들도 상세히 설명해주셔서 background를 이해하는데 많은 도움이 되었습니다. 깔끔하게 발표자료가 구성되어 있어 완성도가 높았던 발표였습니다. 좋은 발표 감사합니다!

이번 세미나에서는 MLP 구조를 활용한 다변량 시계열 예측 task를 다룬 논문 2가지를 소개해주셨습니다. NLP분야에서 발표된 Transformer를 기본 구조로 채택하는 시계열 연구들이 많이 발표되고 있는데, Transformer에 비해 훨씬 간단한 MLP 구조 기반의 연구들이 가지는 강점에 대해 알아볼 수 있어 유익한 시간이었습니다. 우선 첫번째 논문인 Are Transformers Effective for Time Series Forecasting?은 입력 시계열 데이터를 trend와 remainder로 분해하고 매우 간단한 구조의 1-layer linear network를 통해 과거 정보를 aggregate하여 예측을 수행합니다. 제안하고 있는 LTSF-linear 모델은 오직 Decomposition part와 1-layer linear network만으로 이루어져 있어, 매우 간단한 구조로부터 높은 성능을 기록한 점이 놀라웠습니다. 역시 복잡하게 모델을 구성하는 것보다 본질적인 문제를 파악하고 간단한 방식으로 해결하는 것이 더 합리적이라는 생각이 들었습니다. 두번째로 다뤄주신 논문 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures은 continuous/interval sampling을 통해 입력 시퀀스에 대한 local/global temporal 정보를 추출하고 결과를 concat한 후 information exchange block을 통해 예측을 수행하는 모델 LightTS를 제안합니다. 첫번째 논문에 비해 다소 복잡한 구조를 가지고 있지만, Transformer 구조에 비해 훨씬 간단한 방식으로 성능을 높인 점이 인상 깊었습니다. 발표자 분의 첫 세미나임에도 꼼꼼한 자료 구성이 돋보였던 발표였습니다. 고생 많으셨습니다.

이번 세미나에서는 시계열 예측을 주제로 두 편의 논문(Are Transformers Effective for Time Series Forecasting?, Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures가 소개 되었습니다. Transformer의 등장 이후 자연어처리 뿐만이 아니라 Sequential 특징이 있는, 대표적으로 시계열 데이터의 여러 과업들에서 한 차원 높은 수준의 성능을 보인 점을 확인하였습니다. 그러나 본 논문들에서 제시하는 것 처럼 시계열 데이터는 자연어 데이터와는 다르게 semantic 한 특징이 포함되어 있지 않은 점과 계산 효율성이 실질적으로 개선되지 않은 점 등을 한계점으로 확인하였습니다. 이에 첫 번째 논문에서는 시계열 데이터의 특성 중 decomposition이 가능하다는 점을 이용하여 linear layer를 적용하는 생각보다 아주 간단한 구조의 모델을 제시하여 그 성능을 확인하였습니다. 두번째 논문에서 제시한 방법론인 LightTS에서는 크게 Down-sampling과 prediction 파트로 구성되어 있으며 Down-sampling 파트에서 연속된 linear layer를 거쳐서 다변량 시계열 데이터의 local, global 패턴을 모두 파악할 수 있는 IEBlock을 활용한 점이 인상 깊었습니다. 즉, attention mechanism이 전혀 없어도 충분히 데이터의 특징을 입체적으로 파악할 수 있다는 점이 놀라웠습니다. 두 논문을 함께 준비하기가 쉽지 않았을텐데 설명을 자세히 해주신 덕분에 재밌게 들었습니다. 감사합니다.

이번 세미나는 MLP 구조만을 사용하여 time series forecasting을 수행한 두 가지 논문을 주제로 진행하였습니다. 최근 time series forecasting 분야에서 transformer를 접목한 연구들이 좋은 성능을 내고 있지만 temporal information을 제대로 학습하지 못한다는 한계점과 complexity가 높다라는 한계점들이 존재하였습니다. 이번에 소개해주신 두 논문들은 MLP 구조만을 가지고 있으면서도 transformer를 사용한 연구들보다 좋은 성능을 보였습니다. 해당 두 논문이 transformer를 사용한 연구들보다 temporal information을 제대로 학습을 했는지는 의구심이 들었지만 훨씬 가벼운 모델로 좋은 성능을 낼 수 있는 점은 인상 깊었으며, series decompostion이나 변수간의 상관관계를 고려한다는 등 모델의 구조보다는 시계열의 특징을 어떻게 더 반영하느냐가 관건이 아닌가란 생각을 하였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Are Transformers Effective for Time Series Forecasting? 논문과 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures 논문을 소개해 주셨습니다. 두 논문은 모두 time series forecasting 분야의 최신의 논문으로 최근 까지의 time series forecasting 분야에서 trasnformer 등 점점 더 복잡한 구조를 활용하고자 하는 trend 자체를 비판하고 있습니다. 우선 첫번째 논문에서는 transformer는 nlp domain에서 데이터의 semantic 정보를 추출하기 위한 구조이기 때문에 numerical 형태의 시계열 데이터에서는 오히려 불필요한 계산 cost를 발생시키고, 시간적 정보가 손실된다고 지적합니다. 두 번째 논문에서는 최근의 연구들이 불필요하게 복잡한 inter-dependency에 집증하여temperol 정보를 추출하는데 좋은 역할을 수행할 수 없다고 이야기 하고있습니다. 이러한 주장을 뒷받침하기 위해 두 논문에서는 각각 매우 간단한 선형 모델인 LTSF-linear, LightTS 모델을 제안하였습니다. 전자의 경우는 decomposition한 시계열 데이터를 단순히 1-layer linear network에 통과시켜 예측을 수행하고, 두 번째 모델은 sampling을 통해 input variable들을 독립적으로 처리해 마지막에 결합하는 것으로 간단하면서 좋은 성능의 모델을 제안하였습니다. 최근 시계열 데이터를 공부하며 모델들이 지니치게 복잡해지고 있다는 생각은 해왔지만 그 복잡도가 데이터를 보다 잘 표현하기 위해슨 필요한 일이라 생각해왔는데, 이렇게 논문들에서 그러한 시도 자체를 부정한 것이 매우 인상적이었습니다. 워낙 간단한 구조임에도 높은 성능을 보이고 있어 실제로 해당 성능이 타당한지 검증이 필요할 것으로 보입니다. 좋은 발표 감사합니다

이번 세미나는 다변량 시계열 예측 task에서 MLP 기반의 모델을 활용한 논문 2편으로 진행되었습니다. 첫 번째 논문은 AAAI 2023에 억셉된 Are Transformers Effective for Time Series Forecasting? 논문으로 진행되었으며, 해당 논문은 기존 Transformer 기반의 모델들이 Temporal Dynamics를 잘 포착하지 못하며 구조적으로 매우 복잡하다는 한계가 있다는 점을 바탕으로 input time-series를 trend와 remainder로 분해 후 분해한 데이터들이 대해 1-layer linear network만을 적용하여 예측을 진행하는 LTSF-linear 모델을 제안했습니다. 모델의 구조는 간단했지만 최근 서승완 박사님의 세미나처럼 기존에 당연시 사용되던 방법들에 의문을 제기하는 점이 신선한 논문이었습니다. 두 번째 논문은 Less Is More: Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures 논문으로 진행되었으며, 해당 논문은 continuous/interval sampling을 통해 input에서 local/global한 information을 추출하는 Down-sampling part와 각 sampling으로부터 얻은 결과를 concat한 값을 IEBlock에 태워 예측을 수행하는 Prediction part로 구성된 LightTS 구조를 제안했습니다. 발표자 분의 첫번째 세미나임에도 발표 자료 구성도 좋고, 설명도 잘하셔서 다음 세미나가 기대되는 발표였습니다. 좋은 발표 감사합니다.