이번 세미나에서는 ICLR 2022에 accept된 DEPTS: Deep Expansion learning for Periodic Time Series forecasting에 대해 살펴보았습니다. 저자들은 시계열 데이터가 복잡한 주기성을 가지고 있으며 이를 효과적으로 처리하지 않는 모델은 좋은 성능을 보이지 못한다고 말하고 있습니다. 이러한 주기성을 잘 반영하기 위해 local observation과 periodic state의 복잡한 의존성을 모델링 할 수 있는 방법론을 제안합니다. 이를 위해 local block과 periodicity module을 사용하는데 마치 LSTM cell을 보는 기분이었습니다. Periodic state를 위해서는 cosine transform을 사용하는데, 지금까지 세미나를 통해 접한 많은 논문들에서는 fourier transform을 사용하고 있어서 이 부분이 신기했습니다. 역시 언제나 옳은 답은 없다는 생각을 다시 할 수 있었습니다.

이번 세미나는 "DEPTS: DEEP EXPANSION LEARNING FOR PERIODIC TIME SERIES FORECASTING"로 기존의 시계열 모델들이 주기성을 매우 단순한 방법으로 모델에 반여아고 있는 한계점을 개선하고자 한 논문이었습니다. 구체적으로 Residual Block과 같이 이전 시점까지의 예측값과 주기성 예측값을 periodicity module과 expansion module을 통해 연산하고 있습니다. 특히, 주기성을 예측하는 Periodicity Module은 코사인 함수의 선형 결합을 수행하는 Coeifficient를 예측하도록 하여, 다양한 주기성을 예측하는 동시에 해석력을 갖출 수 있었습니다. 시계열 데이터가 변수의 수가 많지 않고, Tabular 데이터와 비슷한 형태를 띄고 있어서 처음엔 매우 간단한 도메인이라 생각했지만, 연구실 내부 세미나를 통해 접하면서 정말 많은 특징들을 고려해서 모델링해야 하는 도메인이라는 생각이 듭니다. 이로 인해 최근 모델들의 구조가 복잡해지고, 다양한 Module이 도입되고 있는데, 좀 더 단순한 모델 구조를 통해 성능을 높일 수 있는 방법이 없을지 개인적으로 궁금해지는 세미나였습니다. 좋은 발표 감사합니다. 그동안 수고하셨습니다.

이번 세미나에서 다룬 논문은 DEPTS: Deep Expansion learning for Periodic Time-Series forecasting입니다. 해당 연구에서 제안하는 방법론은 예측 문제를 두가지 모듈 periodicity module, expansion module로 나누어 해결하였습니다. 제가 지난 세미나에서 다뤘던 N-BEATS, N-HITS 모델과 residual learning, backcast, forecast를 수행했다는 점에서 유사하였지만 주기를 모델링하는 과정에서 더 다양하고 복잡한 periodicity를 모델링하고 해석력을 제공할 수 있는 세부 구조로 방법론을 고도화하였습니다. 선행 연구의 구조를 차용하면서도 시계열의 복잡성을 모델링하기 위해 다각적으로 문제점을 고민한 흔적이 보였던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 DEPTS: Deep Expansion learning for Periodic Time-Series forecasting을 주제로 진행되었습니다. DEPTS는 Periodic time series data를 효과적으로 학습하는 방법론으로 cosine 함수를통해 시간에 관한 정보를 학습하며 expansion module은 N-BEATS의 residual learning을 개선하여 layer별 효과적인 학습을 진행합니다. Expansion module의 형태가 다소복잡하지만 residual term들을 통해 pattern을 학습하되 과거 시점과 미래시점을 분리하는 과정을 통해 각 layer의 block들의 예측값을 구분했습니다. local block과 periodic block의 output이 더해져 예측값이 누적되는 형태를 보입니다. Interpretability analysis에서 주기를 정확히 예측하는 결과가 인상깊었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 DEPTS: Deep Expansion learning for Periodic Time-Series forecasting 논문을 다루어 주셨습니다. 해당 논문에서는 기존 방법론들이 주기성을 갖는 시계열 데이터의 의존성을 잘 모델링하지 못한다는 한계점을 해결하기 위해 이러한 복잡한 주기적 의존성을 효과적으로 반영할 수 있는 새로운 framework를 제안하고 있습니다. 크게 periodic state를 추정하는 periodicity module과 hidden state 관계를 layer별로 확장하는 residual learning을 이용하는 expansion module, 2개의 모듈로 이루어져 있습니다. 주기성과 인접성에 대한 기여도를 구별하여 정량적인 수치를 통해 해석력을 제공한다는 점에서 의의가 있는 것 같습니다. periodicity, local momenta와 같은 2개의 term으로 해석력을 제공한다는 점과 이에 대한 부분이 수식적으로 잘 나타나있는 논문인 것 같습니다. 실험부분에 있어서 단순히 synthetic data만 이용한게 아니라 실제(real-world) data까지 같이 이용하여 실험을 진행한 부분이 눈에 들어왔습니다. 또한 전통적인 통계모델 방법론을 딥러닝 방법론으로 발전시켰다는 점도 새롭게 다가왔던 것 같습니다. 깔끔한 발표자료가 인상적인 발표였습니다. 좋은 발표 감사합니다!

이번 세미나에서는 DEPTS: Deep Expansion learning for Periodic Time Seires forecasting라는 논문을 다루었습니다. 해당 논문의 모델은 기존 모델들이 시계열 데이터의 복잡하고 고유한 주기성과 의존성을 잘 처리하지 못한다는 문제를 제기하며 이를 해결하기 위한 방법론을 제안합니다. DEPTS는 관측된 데이터로부터 periodic state를 추정하는 Periodicity module과 N-BEATS에서 제안한 Residual learning 방법론을 활용한 Expansion module 두 가지로 이루어져 있고 이를 end-to-end learning 방식으로 수행합니다. 모델의 효과성을 보여주기 위해 매우 다양한 실험을 한 것이 인상적이었습니다. 개인적으로 시계열 분야의 방법론들은 들을 때마다 내용이 어렵게 느껴졌는데 많은 그림을 사용하여 발표 자료를 구성해주셔서 더 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에선 DEPTS: Deep Expansion learning for Periodic Time Seires forecasting 라는 연구에 대해 소개되었습니다. 논문에선 주기성을 가지는 시계열 데이터(Periodic Time Series)에 적합한 모델 구조를 제안하고 있습니다. 전통적인 통계 모델에선 주기성을 반영하기 위해 decomposition 된 주기를 더하거나 곱셈하는 방식을 사용하는데 이는 복잡한 의존성을 효과적으로 반영하지 못한다는 한계를 가집니다. 이를 완화하기 위해 DEPTS에선 주기 정보를 반영하는 hidden variable을 계산하는 formulation을 제안하고 있고, 제안된 구조는 periodicity module과 expansion module로 구성됩니다. 각각은 periodic state의 추정과 관측 값과 주기성간의 관계 예측을 위해 동작하고, 특히 복잡한 주기적 의존성을 반영하기 위해 decoupled formulation을 사용한 부분은 이전 연구들과의 차별점이라 생각되었습니다. 이전 세미나에서도 다뤄졌던 N-BEATS 등과의 차이점을 잘 정리해주신 것 같습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 DEPTS: Deep Expansion learning for Periodic Time Series forecasting 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Time-series data 중에서도 특히 PTS(Periodic time series)에 대해서 예측을 수행하는 방법론에 대해서 말하고 있습니다. 먼저 PTS에는 주기성을 가지는 시계열 데이터로, 산업현장에서 쉽게 접할 수 있는 데이터입니다. 이러한 PTS를 예측하여 우리가 하고자 하는 것은 위험을 미리 감지하거나, Resource scheduling을 하기 위함이라고 볼 수 있습니다. 이때, 해당 논문에서는 기존 방법론들이 주기성을 가지는 시계열 데이터, 즉 PTS의 의존성을 잘 파악하지 못한다는 한계점을 해결하기 위하여 두 가지의 Module로 Prediction을 진행하는 DEPS 모델을 제안하고 있습니다. DEPS모델은 불필요한 Periodic information이 제외된 관측값과 순수한 Periodic state의 합으로 예측값을 누적하는 Expansion Module, 다양한 Periodic 패턴과 복잡한 periodicity를 표상하는 Periodicity module을 통하여 예측 과업을 수행합니다. 특히 DEPS는 기존의 다른 모델들과는 다르게 예측된 결과를 Periodicity와 Local momenta로 구분하여, 이를 통하여 해석력을 제공한다는 점이 인상 깊었습니다. 해석력을 제공하는 것과 함께, 실험 부분에서도 실제 데이터로 해당 모델을 평가하여 성능과 효과를 입증하였다는 부분에서 해당 모델에 대한 실용성을 느낄 수 있었습니다. 전체적으로 발표자분이 모델이 어떻게 진행되는지 세세하게 설명해주신 덕분에 쉽게 이해할 수 있었던 것 같습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 “DEPTS: Deep Expansion learning for Periodic Time-Series forecasting”라는 논문을 소개해 주셨습니다. 해당 논문에서는 주기성이 있는 시계열 데이터인 Periodic Time Series의 예측을 위해 두 가지 Module을 결합한 구조를 제안했습니다. (1) 관측된 데이터로부터 Periodic State를 추정하는 Periodicity Module, (2) Residual Learning 구조를 이용해 불필요한 Periodic 정보를 제외한 예측값을 생성하는 Expansion Module을 결합해 End-to-End로 학습 가능한 구조를 설계했습니다. 결과적으로 해당 연구에서 제안한 방법론인 DEPTS는 복잡한 주기적 의존성을 모델링하여 기존 단변량 시계열 예측 방법론보다 높은 성능을 보였습니다. 개인적으로는 Ablation Test 내용 중 DEPTS의 Variant 세 가지 성능 비교를 통해 모델 설계에 대한 타당성을 입증한 부분이 인상적이었습니다. 발표 내용 외에도 발표 자료의 Figure와 내용 설명 간에 매칭을 잘해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사드립니다.

이번 세미나는 “DEPTS: Deep Expansion learning for Periodic Time-Series forecasting” 논문을 소개해주셨습니다. 해당 논문은 단변량 데이터에 적합한 모델을 구성하기 위해 주기성이 포함된 시계열 데이터에 적용하기 위해 periodicity 그리고 expansion module을 제안합니다. Periodicity module은 관측된 데이터로 부터 periodic state 추정하는 역할을 수행하고 expansion module은 관측 값과 주기성을 갖는 hidden state 관계를 layer-by-layer 확장 방식의 residual learning 구조로 구성되어 있습니다. 이번 세미나를 듣고난 소감은 최근 시계열 연구가 단순히 다른 분야의 방법을 적용하는 것이 아닌 시계열만의 특징을 잘 해석할 수 있도록 방법들을 잘 녹여내고 있는것 같다는 생각이 들었습니다. 하지만 아직까지 구조가 예전 NLP 연구 초기 당시와 같이 복잡하고 다양한 시도를 많이 하는 모습과 유사하다 느꼈습니다. 앞으로 점점 어떻게 정립이 되어갈지 기대가 됩니다. 좋은 발표 감사합니다.

본 세미나에서는 DEPTS: Deep Expansion learning for Periodic Time-Series forecasting이라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 연구에서는 주기성을 갖는 PTS(Periodic Time Series) 데이터에서의 End-to-End learning 방식의 framework를 제안합니다. 시계열 데이터의 고유한 주기성은 예측의 어려움이 있습니다. 미래의 시계열 데이터는 인접한 과거의 관측 값과 고유한 주기성( inherent periodicity)에 대한 복잡한 의존성을 갖고, 실제 세계 시계열 데이터의 고유한 주기성은 다양한 진폭과 주파수가 다양한 간격으로 구성되기 때문입니다. 이러한 문제의 해결을 위해 본 연구에서는 PTS 의 복잡한 의존성을 점진적으로 확장하며 처리하는 구조의 Neural Network와 주기성 정보를 반영하는 Hidden variable 을 처리하는 새로운 formulation 제안하였습니다. 최근에 나온 time series forecasting model의 경우 푸리에 변환, 웨이블릿 변환을 많이 사용하곤 하는데, 본 연구에서는 상대적으로 단순한 변환인 cosine 변환을 사용하였습니다. 해당 변환을 통해서도 좋은 결과를 얻은 점이 신기했으며 복잡한 방법을 사용하는 것이 꼭 좋은 성능을 보이는 것은 아니란 것을 느꼈습니다. 좋은 발표 감사합니다.

이번 세미나에서는 ICLR 2022의 DEPTS : Deep Expansion learning for Periodic Time Series forecasting에 대해 진행 해주셨습니다. 해당 논문은 주기를 갖는 시계열 데이터 PTS를 다루고 있습니다. 해당 논문의 저자는 PTS가 고유한 주기성, 과거의 관측값에 대한 복잡한 의존성 그리고 다양한 진폭과 주파수로 구성되어 있기 때문에 예측이 어렵다고 하며 이를 해결하기 위해 PTS의 복잡한 의존성을 점진적으로 확장하며 처리하는 구조의 신경망을 제안하였습니다. 해당 방법론은 관측된 데이터로 부터 periodic state를 추정하는 periodicity module과 관측 값과 주기성을 갖는 hidden state관계를 layer-by-layer 방식으로 확장하는 residual learning으로 구성되어 있습니다. 해당 방법론은 기존의 N-BEATS, N-HITS 모델과 Residual, Backcast, Forecast를 사용했다는 점은 동일하지만 다양한 기간을 포착하여 고유의 Global periodicity를 모델링 한다는 점이 달랐습니다. 방법론의 구조를 상세하게 설명을 해주셔서 좋았으며, 각 모델 구조가 시계열 데이터의 특성으 잘 반영하고자 하는 바를 잘 느낄 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "DEPTS : Deep Expansion learning for Periodic Time Series forecasting"라는 논문에 대해 다루어 주셨습니다. 해당 논문은 ICLR 2022에 개재된 논문으로 주기성을 갖는 시계열 데이터를 효과적으로 학습할 수 있는 방법론을 제안하였습니다. 저자들은 기존의 방법론들이 복잡한 주기성을 갖는 시계열 데이터를 잘 다루지 못하고 있음을 지적하며 이러한 복잡한 의존성 관계를 잘 학습할 수 있는 방법론을 제안하였습니다. 이를 위해 2가지 모듈을 제안하였는데 시계열 데이터의 복잡한 주기적 요소를 명시적으로 해결하기 위하여 periodic state를 정의한 부분이 흥미로웠습니다. residual learning, backcast, forecast 등의 방법론은 이전 N-BEATS등의 연구에서 제안이 되었었지만 이와 더불어 복잡한 주기성을 모델링하는 식으로 고도화를 진행했다는 점이 후속 연구로서 훌륭하다는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나는 ICLR 2022 Spotlight 논문으로 선정된 DEPTS: Deep Expansion learning for Periodic Time Series forecasting 논문으로 진행되었습니다. 해당 논문은 미래의 시계열 데이터가 갖고 있는 인접한 과거의 관측값과 고유한 주기성에 대한 복잡한 의존성을 기존 모델들이 효과적으로 다루지 못하고 있다는 점을 한계로 들며, PTS의 복잡한 의존성을 점진적으로 확장하며 처리하는 구조의 Neural Network와 주기성 정보를 반영하는 잠재 변수를 처리하는 새로운 formulation을 제안했습니다. 구체적으론 관측된 데이터로부터 periodic state를 추정하는 Periodictiy module과 관측 값과 주기성을 갖는 hidden state 관계를 layer-by-layer 확장 방식의 residual learning 구조를 가지는 expansion module을 적절히 결합하여 end-to-end learning 방식으로 높은 성능을 달성했습니다. 특히 coefficients of periodicity를 통해 진폭이나 주파수와 같이 해석 가능한 정량적 수치를 제안하는 interpretability를 갖췄다는 점에서 큰 contribution을 보이는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 시계열 데이터의 예측을 주제가 다루어졌습니다. DEPTS: Deep Expansion learning for Periodic Time Series forecasting 이란 제목의 논문이 소개되었습니다. 여러 가지 종류(type)의 시계열 데이터 중 주기성을 갖는 형태의 시계열 데이터를 Periodic Time Series(PTS) 라 부르고 이는 현업에서 자주 등장한다고 합니다. 이에 따라 PTS의 예측은 여느 시계열 데이터 예측 과업에 비해서 중요시 됨을 알 수 있습니다. 본 논문에서 소개하는 방법론은 PTS의 중요 수치 중 하나인 periodic state를 추정하는 동시에 관측값과 주기성을 갖는 은닉상태의 관계를 활용하여 end-to-end 방식으로 예측 과업을 수행합니다. 특히 주장하고자 하는 부분을 명시하며 각 항목에 대해 실험을 진행한 부분이 충분히 설득력 있었습니다. 늘 시계열 데이터 논문을 접할 때 마다 모델을 구성할 때 마치 전기 회로 같이 많은 요소들이 포함되고 있는 점이 늘 신기하면서도 이러한 아이디어를 떠올렸다는 사실에 감탄을 하게 되는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 ICLR 2022 Spotlight 논문으로 선정된 DEPTS: Deep Expansion learning for Periodic Time Series forecasting 논문으로 진행되었습니다. 해당논문은 기존 단변량 시계열 예측 모델보다 높은 성능을 달성하고, 복잡한 주기적 의존성를 모델링 하는 방법을 제안합니다. synthetic & real world 데이터로 다양한 실험으로 제안하는 모델의 성능과 효과를 입증하고 전통적인 통계모델에서 주로 연구되었던 주기성 모델링을 딥러닝 관점에서 새롭게 설계하여 제안하는 방법론입니다. 이전의 n-beat 등의 연구와 비교해서 설명해준 내용이 좋았습니다. 감사합니다.

이번 세미나는 시계열 예측 task에서 end-to-end 학습 방식으로 높은 성능을 기록한 DEPTS: Deep Expansion learning for Periodic Time Seires forecasting 논문을 주제로 진행되었습니다. 본 논문은 주기성을 가지는 Periodic time series(PTS) 데이터를 활용한 예측 task를 수행할 때 복잡한 주기성에 대한 효과적인 처리의 부재로 충분한 성능을 기록하지 못한다는 기존 연구들의 한계를 지적합니다. 이에 따라 PTS의 복잡한 의존성을 점진적으로 확장하며 처리하는 뉴럴넷 기반의 모델 구조를 제안하였으며, discrete cosine transform으로 peridoic state를 명시적으로 모델링한다는 특징을 가집니다. 또한, 주기성 정보를 반영하기 위해 hidden variable을 처리하는 새로운 공식을 제안하였고, layer 내부의 residual learning을 통하여 관측값과 주기성의 의존성을 효과적으로 처리하였습니다. 시계열 데이터를 직접 다뤄봤을 때 가장 크게 느꼈던 지점이 바로 데이터 자체의 복잡성과 주기성이었는데, 이번 세미나를 통해 이러한 시계열 데이터의 특성을 효과적으로 풀어내기 위해 다양한 시도들이 행해지고 있다는 것을 알 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 DEPTS: Deep Expansion learning for Periodic Time-Series forecasting를 주제로 진행되었습니다. 본 논문에서 제안하는 DEPTS는 복잡하면서 다양한 periodic state를 추정하는 periodicity module과 over fitting 문제를 해결하기 위해 seasonality를 곱하거나 더하는 방법으로 residual learning 방법을 사용한 expansion module로 구성되어 있습니다. periodicity module에서 주기성을 나타내기 위해 cosine function만을 사용하였는데 단순함을 위해서 사용하였다고 하였지만 여타 다른 모델에서 더 고도화된 fourier 변환, wavelet 변환을 사용하지 않은 점이 무엇인지 궁금했습니다. 또한 주기성을 학습하는 최신 모델들이 많은데도 불구하고 N-BEATS와만 비교한 점은 좋은 실험은 아닌 것 같았습니다. N-HiTS나 Autoformer, FEDformer 등과의 비교가 필요했습니다. 그래도 주기성을 학습하고자 하는 방법 자체는 좋았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 ICLR 2022에 게재된 DEPTS: Deep Expansion learning for Periodic Time Series forecasting논문을 소개해 주셨습니다. 논문에서는 기존의 시계열 모델들이 데이터의 복잡한 주기성을 지나치게 단순화해서 표현하기 때문에, 시계열 데이터의 본질적인 특징을 충분히 반영하지 못하고 있다고 지적하며 보다 나은 모델링 방식을 제안합니다. 이는 다음의 두가지 모듈을 통해 구현이 되는데요, 우선 periodicity module에서 residual Block과 같이 periodic state를 추정하고, expansion module에서는 hidden state 관계를 layer를 넘어 전파될 수 있도록 residual learning을 수행합니다. 위와 같은 구조 덕분에 각 layer의 block들의 예측 값을 분리하는 것으로 시점에 따라 특징들을 분리할 수 있게 됩니다. 결과적으로 더 복잡하고 다양한 주기성을 모델링 할 수 있게 되고, 동시에 해석 력 또한 갖출 수 있는 모델이 되었습니다. 시계열 모델링 논문을 볼때마다 느끼는 거지만, 다른 분야에서 가져온 모듈들을 시계열 데이터의 temporal한 특징을 반영할 수 있도록 변형하는 것이 매우 중요한 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 "DEPTS: Deep Expansion learning for Periodic Time Series forecasting"라는 주제로 진행되었습니다. 본 발표에서는 주기성을 가지는 시계열 데이터의 복잡한 의존성을 점진적으로 확장하여 처리하는 방법론인 DEPTS가 소개되었습니다. 해당 방법론은 주기성 정보를 반영하는 hidden variable을 처리하는 새로운 formulation 제안하였으며, 관측된 데이터로부터 periodic state를 추정하는 periodicity module과 관측 값과 주기성을 갖는 hidden state의 관계를 모델링하는 residual learning 구조를 잘 결합함으로써 Periodic Time Series forecasting에서 좋은 성능을 도출하였습니다. 개인적으로 시계열 데이터 분석을 현업에서 활용하기 위해서는 설명력이 매우 중요하다고 생각하기 때문에 주기성의 coefficients를 기반으로 도출한 진폭이나 주파수와 같은 해석 가능한 정량적 수치를 통해 인접한 시계열 데이터의 신호나 고유 주기성의 기여도를 구별함으로써 모델의 결과를 설명할 수 있는 부분이 가장 인상 깊었습니다. 좋은 발표 감사합니다.