이번 세미나는 Transformer 구조없이 MLP layer로 구성되어 있으며, 시계열 신호의 주요 고유 frequency 특징을 잡아낼 수 있도록 설계된 'N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting'이란 논문으로 진행되었습니다. N-HiTS와 비슷하게 기존에 attention 구조 없이 MLP 기반으로 제안된 모델인 N-BEATS와의 차이를 짚어주셔서 도움이 많이 되었습니다.N-HiTS 모델의 구조는 N-BEATS와 달리 Hierarchical한 구조로 되어있는데, 시계열의 low frequency부터 high frequency를 점진적으로 예측하도록 설계되었으며 이를 통해 하위 block은 trend, 상위 block은 seasonality를 포착할 수 있다고 합니다. 해당 모델은 현재 활발히 연구되고 있는 Transformer 기반 모델이 아닌 MLP 기반으로, Multi-rate data sample과 Hierarchical Interpolation 기법을 추가하여 연산 효율 뿐만 아니라 성능 측면에서도 우위를 보였는데, 이를 고려해보면 자연어처리 분야에서도 꼭 BERT나 Transformer 기반이 좋은 성능을 위한 답이 아닐 수도 있다는 생각이 들었습니다. 좋은 발표 감사드립니다.

본 세미나는 최근 연구실에서 연속적으로 발표되고 있는 시계열 관련 논문입니다. Transformer 계열의 모델들인 Informer, Autoformer와 다르게 MLP만으로 Layer를 구성하는 N-HiTS는 기저가 되는 N-BEATS를 성능 및 복잡도 면에서 향상시켰고, MLP로 이루어진 각 블록이 시계열 신호의 주요한 frequency 특징을 잡아낼 수 있도록 모델이 설계되었습니다. N-BEATS와 N-HiTS는 모두 Attention을 사용하지 않는 MLP 이며, Recurrent한 모델로 인해 Error가 전파되는 문제를 방지하기 위해 Multi-Step 예측을 진행하고 Trend 및 계절성에 대하여 해석력도 제공합니다. 하지만 N-Hits는 다변량에 대한 예측, Hierarchical 한 Stacked Block의 구조를 가지며, N-BEATS에 Multi-rate data sampling과 Interpolation 기법을 추가하여 파라미터, 메모리 등 다방면에서 개선이 이루어졌습니다. 연구실에서 하나의 분야가 스토리 라인으로 이어지는 모습이 재밌는거 같습니다. 좋은 발표 감사합니다.

금일세미나는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 논문을 주제로 진행되었습니다. 가장 관심있게 보았던 것은 trend 와 seasonality 를 활용하는 방식입니다. time series data 에 적합한 cnn 과 같은 느낌을 받았는데, block 을 지날때마다, backcast 를 통해서 예측하는 point 들이 처음에는 적은 특징을 보이며 점진적으로 많은 point(pattern)을 예측하게됩니다. 그리고 point 사이의 값은 interpolation 을 통해서 사용하게 됩니다. 간단한 linear interpolation 을 통해 pattern 이 점점 고도화 되는 것을 볼 수 있습니다. 이 때, original input 에서 output을 빼면서 점점 더 복잡한 패턴을 학습하게됩니다. 해당 과정이 cnn filter 학습과 유사하다고 느꼈고, backcast 뿐만아니라 forecast 를 통한 값을 함께 사용하여 최종 예측하는 구조를 설명합니다. 시계열 분석에 대해 수업을 통해서 고전적인 방법을 배웠던 기억이 있습니다. seasonal, trend 등을 계산하는 방법이 있었는데, 이런관점에서 저자들이 가능한 방법을 잘 적용한 것 같습니다.

본 세미나는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting연구에 대해 진행되었습니다. 발표자께서 시계열 representation learning 관련 연구를 진행 중이시기 때문에, 본 발표의 깊이와 준비성도 남달랐던 것 같습니다. 보통의 시계열 방법론들이 transformer를 활용하는 경우가 많았던 것으로 기억합니다. 하지만 본 연구는 발표자께서 지적해주셨듯 MLP를 주된 모듈로 활용합니다. 최근 MLP를 다시 톺아보는 경향이 두드러지는 데, 이 또한 그러한 맥락에서 볼 수 있었습니다. 선행 연구인 N-Beats와 달리 N-Hits는 다변량 데이터를 대상으로도 확장이 가능하며, 연산 효율성 및 메모리 소모 면에서 높은 성능을 보입니다. Maxpooling을 활용한 signal sampling 기법은 이러한 측면에서 효과적이었던 것으로 보입니다. 이러한 maxpooling을 활용해 자연스럽게 집중하는 signal을 저주파(large scale term)로 가져갑니다. Kerneling이 역시나 신호처리에 매우 다양하게 활용될 수 있음을 알 수 있었습니다. 여러모로 MLP 구조를 기반으로 다양한 테크닉으로 여러 계층의 signal을 잘 잡아낼 수 있었던 방법론인 것 같습니다. 좋은 발표 해주신 발표자분께 감사의 말씀을 드립니다. 잘 들었습니다. 감사합니다.

이번 세미나에선 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 에 대한 내용이 소개되었습니다. N-HiTs는 아직 preprint 상태이지만 시계열 예측 task 에서 MLP layer 만 사용하여 이전에 세미나에서도 소개된 Autoformer와 Informer 의 성능을 뛰어넘은 연구입니다. Attention 구조를 사용하지 않고도 trend와 seasonality 측면에서 interpretability 를 제공할 수 있다는 점이 놀라웠고, 계층적인 block 을 설계하여 비슷한 형태의 이전 연구인 N-BEATS 보다 파라미터, 연산, 메모리, 성능 측면에서 개선된 결과를 보여주었다는 점이 인상깊었습니다. 발표자분께서 소개해주신 것처럼 시계열 예측 연구 중 MLP 만 사용하여 모델을 설계하였기에 다른 분야에도 활용될 수 있을만한 연구라 생각됩니다. 좋은 발표 감사합니다.

이번 세미나는 Time series forecasting task를 수행하는 N-HiTS를 주제로 진행되었습니다. N-HiTS는 이름에서도 느낄 수 있다시피 이전 방법론인 N-BEATS의 장점에 Multi-rate signal sampling과 Hierarchical Interpolation 기법을 추가한 방법론 입니다. Multi-rate signal sampling은 각 block에 max pooling을 하여 서로 다른 signal의 sampling rate를 처리하도록 하였습니다. Hierachical Interpolation은 각 stack에서 서로 다른 sampling rate를 갖는 output을 예측하고 이를 linear interpolation을 수행한 뒤 합해줌으로써 최종 forecast output을 도출합니다. 최근 time series forecasting에서 seasonal과 trand를 decompose하여 예측하는 모델들이 많이 나오는 것 같습니다. 이러한 접근을 시도한 새로운 방법론에 대해 들을 수 있어 유익하였습니다. 좋은 발표 감사합니다.

이번 세미나는 시계열 에측 분야의 논문 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting을 주제로 진행되었습니다. 최근 연구실 세미나에서 시계열 관련 연구들을 많이 접하고 있습니다. 얼마 전 세미나를 통해 소개된 Informer나 Autoformer에 이어서 이번에는 앞선 두 방법론의 성능을 뛰어넘은 N-HiTS를 소개해주셨습니다. N-HiTS는 선행 연구인 N-BEATS를 성능 및 복잡도 측면에서 개선한 방법론으로, MLP 만으로 layer를 구성하며 multi-rate 데이터 샘플링, hierarchical interpolation을 통해 입력 시계열 데이터를 분해하고 예측값을 계층적으로 합성합니다. MLP로 구성된 각 block이 시계열 신호의 주요 frequency 특징을 탐지할 수 있도록 모델을 설계하였습니다. Transforme를 베이스로 하는 타 방법론보다 성능, 연산 효율이 우세하고 trend와 seasonality 측면에서 해석 가능한 지점을 제공한다는 장점이 있습니다. 또한 단변량 알고리즘만으로 여러 다변량 long horizon forecasting task에서도 높은 성능을 기록했습니다. 시계열 분야와 자연어처리 분야는 연속된 시퀀스 데이터를 다룬다는 점에서 연결되는 지점이 많다고 생각하는데, 시계열 세미나를 들을 때마다 좋은 인사이트를 얻어가고 있습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에서는 Time series forecasting을 주제로 한 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting라는 논문이 소개되 었습니다. 연구실에서 동일 주제로 여러 방법론들이 소개되었고 해당 방법론들은 대부분 Transformers를 기반으로 하였습니다. 이에 반해 N-HITS는 MLP 기반의 모델로 연산 효율성을 높인 점과 정확도도 높였다는 점이 큰 특징입니다. 이전에 등장한 N-BEATS 방법론과 같은 궤를 이룬다고 볼 수 있지만 N-BEATS와 달리 다변량 데이터를 다룬다는 점, 계층적인 블록 구조를 지닌 점, 별도의 함수 없이 trend와 계절성을 포착할 수 있다는 점에서 더 발전된 모습을 보여줍니다. 언급된 내용 중 interpolation이라는 단어는 다른 곳에서도 심심치 않게 등장하는 term인데 제가 이해한 바로는 내재되어 있는 예측 함수를 뜻하는데 좀 더 자세히 살펴봐야할 것 같습니다. 늘 느끼는바지만 트렌드를 따라가는 것도 필요하지만 기본 개념에 대해서 심도 깊은 이해도 반드시 갖추어야 함을 다시 느낄 수 있었습니다. 발표자 분께서 시각적으로 발표자료도 잘 만들어주시고 내용 정리도 잘 해주셔서 발표자 분의 세미나는 항상 기대가 되고 늘 기대에 충족시켜주시는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 frequency와 scale을 구분하여 다변량 시계열 데이터에 대한 예측을 수행하는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 였습니다. 이미지와 유사하게 시계열 도메인에서도 트랜스포머 구조를 도입한 논문이 많은 것으로 보이는데, 해당 논문은 트랜스포머 구조에서 탈피하여 MLP레이어로 예측을 수행하고자 했습니다.
전체적인 구조는 Resnet처럼 residual connection을 사용하되, 각 sublayer로 MLP를 이용합니다. 이때 Hierarchical한 구성을 통해서 max pooling을 이용하여 low frequency 부터 high frequecy까지 추출해냅니다. 기본적으로 트랜스포머 구조가 NLP를 염두에 두고 고안된 모델인 만큼 이미지와 시계열에서는 MLP 등 다른 구조를 조합하는 것이 더 좋은 성능을 보이거나 효율적인 연산량을 보일 수 있는 것 같은데, 이 논문 역시 시계열 데이터에 적합한 모델 구조를 제안한 점에서 흥미로웠습니다.
가장 흥미로웠던 점은 변수 간 관계를 모델링에 전혀 고려하지 않고 있음에도 기존의 다변량 모델들보다 성능이 좋거나 대등한 점인데, 이는 추후 연구를 통해서 모델에 변수 간 관계를 반영한다면 더욱 개선할 수 있을 것이라 생각합니다. 시계열 데이터에 대한 이해가 아직 부족하여 완벽히 세미나를 이해하지 못했지만, 데이터 특성에 따른 모델링 방향을 살펴볼 수 있는 좋은 기회였습니다. 감사합니다.

이번 세미나에서는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 논문을 다루어 주셨습니다. N-HiTS는 MLP만으로 layer를 구성하고 있다는 특징이 있으며, hierarchical 한 stacked block 구조를 갖고 있습니다. N-HiTS는 multi-rate data sampling(블럭에서 input에 대해 kernel size로 maxpooling 수행)과 hierarchical interpolation(output time 단위의 파라미터수를 제어하는 expressiveness ratio를 도입하여 interpolation coefficients 차원 정의)기법을 추가하여 성능 등에서의 개선을 이루게 됩니다. 이때 univariate 알고리즘만으로 수많은 multivariate long horizon task에서 좋은 성능을 보였다는 점에서 두드러지고, transformer 기반 모델들보다 성능이 높았습니다. 앞서 언급한 것처럼 transformer 기반 모델이 아님에도 불구하고 높은 성능을 보였다는 점이 인상깊었고, 접근법에 대해 다시 생각해 볼 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 "N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting"라는 주제로 진행되었습니다. 본 발표에서는 MLP만을 사용하여 시계열 신호의 주요한 고유 frequency 특징을 잡아낼 수 있는 time series forecasting 모델 N-HiTS가 소개되었습니다. N-HiTS 모델의 주요 모듈은 multi-rate signal sampling, non-linear regression, hierarchical interpolation이며, 개인적으로 이 중 hierarchical interpolation이 흥미로웠습니다. N-HiTS는 hierarchical interpolation을 통해 시계열 데이터를 분해한 여러 요소를 기반으로 예측한 값을 합성하여 lower resolution에서 high resolution의 예측을 가능하게 했습니다. 최근 시계열 데이터 분석 모델들이 시계열 데이터의 다양한 요소를 분해하고 multiresolution 관점으로 접근하여 task를 수행하는 경우가 많은데 N-HiTS도 이러한 방식으로 time series forecasting을 잘 수행한 모델이라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 논문을 주제로 N-BEATS 모델을 개선한 N-HiTS 모델을 소개해 주셨습니다. 기존의 N-BEATS가 2개의 Stacked Block을 각각 trend, seasonality를 예측하도록 구성되었다면, N-HiTS는 Hierarchical한 stacked block 구조를 채택하여 시계열 데이터의 낮은 주파수부터 높은 주파수까지 점진적으로 예측할 수 있도록 설계되었습니다. 여기서 낮은 주파수는 trend, 높은 주파수는 seasonality를 예측하는 데에 사용되며 Multi-rate data sampling, hierarchical interpolation 기법입니다. 논문에서는 이러한 방식을 Multi-rate data sampling과 Hierarchical Interpolation 기법으로 구현하였으며 덕분에 파라미터, 연산, 메모리, 성능 측면에서의 개선을 달성할 수 있었다고 합니다. 최근 음원데이터를 다루는 공부를 하며 sampling rate에 대해서도 알게 되었는데, 내용 중에서 특히 MaxPooling 연산을 통해 서로다른 sampling rate로 나누어 줄 수 있는 점과 그 결과를 Interpolation하여 trend와 seasonality를 분해할 수 있다는 것이 인상 깊었습니다. 요즘 Time Series Forecasting 관련된 좋은 세미나들이 계속되어 이 분야에 대한 관심이 더 커지고 있습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting"라는 논문을 소개해주셨습니다. 해당 논문은 시계열 데이터에 대해서 MLP 구조만을 활용한 다변량 예측을 제안하는데 요새 트랜스포머 계열이 많이 연구되고 활용되는 것을 감안해보면 굉장히 신선하고 도전적인 방식의 제안이라고 생각했습니다. 또한 hierarchical stacked block을 활용해서 데이터에 존재하는 frequency를 적절히 반영하고자 하는 것 같습니다. 통계적인 예측 모델 ARIMA와 유사하게 seasonal, trend 정보를 다르게 인코딩하는 딥러닝 기반의 방식이 많이 제안되는 것 같아서 흥미롭고, 관련된 세미나를 들을 수록 다변량 시계열 예측 모델링이 얼마나 많은 정보를 고려해야 하는지에 대해 깨닫게 됩니다. 항상 좋은 자료와 함께 발표해주셔서 감사합니다.

이번 세미나는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting에 대한 내용으로 진행되었습니다. N-HiTS는 time series forecasting을 위해 제안된 방법론이며 특히 multi-rate data sampling, hierarchical interpolation을 통해 입력 시계열을 decomposition하여 예측 성능을 높이고자 하였습니다. 입력 시계열을 decomposition 하면, frequency와 scale이 다른 데이터에 대해서도 준수한 예측 성능을 보인다는 장점이 있습니다. 특히 최근 좋은 성능을 보였던 transformer 기반의 방법론들과 달리, MLP 만으로 구성되어 있기 때문에 효율 측면에서 굉장한 이점을 가지고 있다고 할 수 있습니다. 보통 장기 시계열 예측에 더 좋은 성능을 보인다는 이유로 transformer가 사용되는데, 꼭 그렇지 않다는 것을 알 수 있었습니다. 효율과 각 변수를 독립적으로 예측할 수 있다는 점에서 현업에서 유용하게 쓰일 수 있는 방법론이라고 생각합니다. 좋은 발표 감사합니다.

이번 세미나는 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting으로, Time Series Forecasting관련된 논문을 소개해 주셨습니다. 본 논문은 단순 MLP만을 가지고 layer를 구성함으로써 기존의 연구인 N-Beats를 개선합니다. 개인적으로 생각했을 때 푸리에를 통해서 강제적으로 seasonal 특징을 뽑아주는 것이 더 효율적일 것이라고 생각했는데 본 세미나에서 발표해주신 논문이 성능과 효율성 측면에서 선행 연구를 이겼다는 점이 놀라웠습니다. N-Hits는 Multi-rate data sampling, hierarchical interpolation 기법을 통해 모델에서 입력 시계열을 분해(decomposition)하며 특징을 학습하고, 각각의 특징에서 나온 예측 값들을 결합하여 최종 예측을 수행하게 됩니다. Max pooling과 interpolation만을 활용하여 Trend와 Seasonality를 효율적으로 분해할 수 있다는 점이 놀라웠고, interpretability 측면에서도 매우 유익했던 것 같습니다. 유익한 발표 감사합니다!

금일 세미나는 "N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting" 논문에 대해 소개해주셨습니다. 본 논문에서 제안하는 방법은 이전 N-BEATS 이후로 개선된 방법으로 N-BEATS에서 제안된 기여점인 attention-free, Multi-step forecasting, 그리고 interpretablilty 에 추가적으로 Hierarchical한 구조를 더하여 더 나은 성능을 보였습니다. 이전 다른 시계열 task에서 제안된 방법과 달리 인상깊은 점은 transformer에서 벗어난 논문이라는 것과 univaraite 지만 multivariate task에서도 좋은 성능을 나타내었다는 점이었습니다. 변수 간의 correlation을 고려하지 않아도 높은 성능을 낼 수 있다는 점에서 의문이 들긴하지만 기존 다른 Autoformer나 Informer에 비해 좋은 성능과 연상 비용이라는 점에서 인상깊었습니다. 좋은 발표 감사합니다.

MLP layer를 사용하여 시계열예측을 수행하는 N-HiTS에 대해 소개해주셨습니다. 최근 transformer 기반 모델이 많이 연구되었고, 이후 효율성을 위해 attention-free 구조 역시 제안된 배경의 연장선상에서 large-scale forecasting 환경에서 이점을 가져가기 위해 본 논문에서는 mlp를 차용합니다. 전반적인 컨셉은 단변량데이터 대상 방법론인 N-BEATS와 유사하지만, 다변량 데이터에 대해서도 준수한 성능을 보이고 hierarchical stacked block을 사용하여 high/low frequency를 구조적으로 모델링합니다. 최근 embedding interpolation에 대해 궁금한 점이 있었는데 시계열 예측에서도 활용되는 것을 확인할 수 있어 좋았습니다. 잘 들었습니다.

금일 세미나를 통해 알아본 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 연구는 최근 다양한 분야에서 널리 사용되는 Transformer 구조를 사용하지 않고 MLP 구조를 통해 multivariate forcasting을 진행합니다. 연산 속도 뿐만 아니라 정확도 측면에서도 기존의 성능을 상회하는데 이는 비전 도메인에서 MLP mixer 류의 연구들이 ViT-based 모델들에 비해 성능이 낮은 것을 생각하면 신선한 결과였습니다. 개인적으로는 trend와 seasonality를 분해하는 방식도 기존과 달라서 신기했고, pooling과 interpolation으로 이어지는 내부 블럭도 신기헀습니다. 세미나때 드린 질문에 대해서 고민해본바 max pooling은 CNN에서 spatial invariance를 guarantee 하는 역할을 하게 되는데 시계열 데이터에서도 유사한 효과를 보이지 않나 생각됩니다. 또한 복원을 하는 과정에서 네트워크를 사용하지 않고 단순히 linear interpolation을 사용하는 것은 구조적으로 이해할 수 있으며 이러한 이유로 블럭이 쌓임에따라 점점 dense한 output을 생성하도록 구성했다고 이해했습니다. 개인적으로는 오랜만에 매우 신선한 접근이었습니다. 감사합니다.

금일 세미나를 통해 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting 에 대한 리뷰를 진행하였습니다. 현재 Transformer 기반의 모델이 활발히 연구되고 있는데, MLP 만을 사용하여도 성능이 나온다는 점이 흥미로웠습니다. 본 방법론의 경우 Multi-rate data sampling, hierarchical interpolation 기법을 통해 model에서 입력 시계열을 분해하고 예측값을 합성하면서 frequency와 scale이 다른 시계열 데이터에 효과적인 구조를 제안하였습니다. 또한 transformer를 사용하지 않고 MLP만을 사용했기 때문에 연산 효율 측면에서 우위를 보이고, 성능 또한 상회했습니다. 추가적으로 Trend와 seasonality 에서 interpretability를 제공하였습니다. 본 세미나를 통해 Time series의 main task들에는 어떤 것들이 있는지 그 중에서도 Forecasting의 경우 어떤 이슈가 있고 해당 이슈를 해결하기 위한 어떤 접근이 있었는지 알 수 있었습니다. Forecasting의 경우 장기 시계열 예측이 가장 challenging 한 문제로 대두되고 있는데, 본 연구에서는 MLP 기반의 layer를 사용하며 연산 효율 개선 및 정확도 향상을 달성하였습니다. 시계열 분석에 대한 전반적인 흐름을 알 수 있었던 유익한 발표였습니다. 좋은 발표 감사합니다.