Autocorrelation과 time-delay aggregation을 활용하여 self-attention을 대체하며 시계열 예측에 좋은 성능을 보이는 autoformer에 대해 소개해주셨습니다. 또한 autocorrelation block 내 연산의 complexity를 FFT를 사용하여 줄이고, 시계열 데이터의 특성인 trend와 seasonality를 decompose하여 학습에 반영합니다. 모델의 입력으로 month, week, day 등 time stamp에 대한 정보를 활용하는 것이 인상적이었습니다. 트랜스포머를 기반으로 점차 시계열 task에 맞는 형태로 잘 변화하고 있는 것 같습니다. 많은 경우 전통적인 기법인 arima와 성능을 비교하는데 이 자체가 딥러닝에만 의존하기에는 시계열에서 고려해야 할 복잡한 가정이 많다는 것을 의미하는 것 같습니다. 잘 들었습니다.

이번 세미나에서 다뤄주신 논문은 “Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting”으로, 이름에서 알 수 있듯이 Auto-Correlation을 활용한 Transformer입니다. 본 연구의 의의는 Auto-Correlation 기법을 활용하여 단순 point-wise가 아닌 series level에서의 dependency들을 찾고 이를 information aggregation해주어 정보를 추출했다는 점이 있습니다. 또한, 이러한 연산을 그냥 내적을 통해 수행했으면 O(N^2)의 높은 연산량이 필요한 작업을 Fast Fourier Transform을 통해 O(NlogN)의 연산만으로도 도출할 수 있도록 하였습니다. 뿐만 아니라, decoder에서는 Timeseries를 seasonal과 trend로 분리함으로써 seasonal 정보를 학습하며 autocorrelation과 series decomposition을 반복하여 trend정보를 develop해주었습니다. 흥미롭게 잘 들었습니다. 좋은 발표 감사합니다!

이번 세미나에서 다룬 모델은 Autoformer입니다. 본 논문에서는 transformer 모델을 기반으로 시계열 데이터의 자기상관성 정보를 반영하고자 했습니다. 보통 Auto correlation을 구하려면, O(N^2)의 연산이 불가피하지만, Autoformer에서는 fast fourier transform을 사용해서 보다 효율적인 연산으로 동일한 정보를 얻어 활용하고자 했습니다. Decoder단에서는 seasonal과 trend를 분리하여 모델을 구상한 것이 특징인데, seasonal 정보로 auto correlation을 구한 후, decomposition을 통해 trend를 분리하여 기존 trend 정보에 더해주는 것을 수행함으로써 seasonal과 trend 정보를 구축한 후 마지막 단에 더하여 최종 예측을 수행하도록 했습니다. Seasonal과 trend, auto correlation 모두 효과적으로 반영할 수 있는 모델을 잘 구축한 것 같다는 점에서 흥미로운 논문이었습니다. 다만, decoder 단의 seasonal만을 사용한 decomposition 과정에서 trend 정보가 어떻게 얼마나 분리가 되는 것인지 보여주었으면 하는 아쉬움이 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 시계열 예측 문제에 있어서 Transformer 구조를 사용하되, quadratic한 연산량 등으로 긴 길이의 series를 예측하는 데에 어렵다는 등의 한계점을 여러 방면에서 극복하고자 한 논문인 “Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting”를 소개해주셨습니다. 해당 논문이 제안하는 Autoformer의 가장 큰 특징이라고 하면 일반적인 self-attention layer가 아니라 자기상관성을 이용하는 block을 이용하였다는 점입니다. 해당 블록은 series의 자기 상관성을 통해 period-based dependencies를 찾습니다. 이 때 가장 series 내 가장 correlation이 높은 sub-series에 대해 aggregation을 수행하는 time-delay aggregation을 활용하는데, 이 때 연산적인 효율을 위해 FFT(Fast Fourier Transform)을 사용합니다. 디코더의 경우 series를 trend/seasonal 정보로 구분하여 학습에 활용하게 됩니다. 시계열 데이터에 굉장히 특화된 구조라고 생각하고, 연산 측면에서의 효율성을 위해 FT를 적극 활용하였다는 점도 흥미로웠습니다. 좋은 발표 감사합니다.

본 세미나에서는 Time Series Forecasting을 위해 Transformer를 사용하는 방법인 Autoformer를 소개해주셨습니다. 기존 Transformer 기반으로 시계열 예측을 진행하는 모델들은 기존 모델 구조를 답습하여 어떻게 Self-Attention의 성능을 향상시킬 지에 대한 방법을 고민하였지만, Self-Attention 대신 다른 방식을 통해 시계열 예측에 접근한 모델입니다. 시계열의 근간인 Auto-correlation을 이용해 Series LEvel에서 의존 관계를 찾아 정보를 취합하고, Fast Fourier Transformation을 통해 자기 상관을 계산하여 시간 복잡도를 개선합니다. 마지막으로 Series Decomposition을 이용해 계절성과 트렌드를 분리해 복잡한 시계열의 패턴을 학습하게 됩니다. 최근 논문을 읽다보면 Self-Attention 자체가 처음 Transformer가 디자인 되었을 때 단순한 가정으로 구성되었기 때문에 실상 큰 역할을 못한다는 이론적인 주장과 실제 실험에서 Self-Attention이 다른 기법들에 비해 다소 성능이 낮아 베이스라인 정도의 역할을 하게 되는 것을 많이 보게 됩니다. 시계열 예측 분야에서도 같은 현상이 나타나 해당 주장의 근거가 하나 추가된 듯 하며, 좋은 발표 잘 들었습니다.

긴 시간의 유닛을 가진 시계열 데이터를 다루기 위해 Transformer 구조를 기반으로 자기상관을 고려하는 방법을 제안한 Autoformer에 대해서 알아본 세미나였습니다. Transformer는 self-attention block들이 stack되어 있는 구조를 가지지만 실제로 많은 vision 연구들에서 self-attention이 기대처럼 작동하지 않음을 보이고 있습니다. Autoformer에서도 시계열 데이터를 처리하는데는 self-attention의 연산이 문제가 된다고 주장하며 Fourier Transform 을 통한 자기 상관을 고려하는 block으로 대체합니다. 또한 디코더의 경우 seasonal과 trend를 분리함으로써 복잡한 Time-series의 temporal pattern을 학습하게 되는데 접근 자체가 굉장히 합리적이라는 생각이 들었습니다. 많은 분야에서 Transformer를 사용하고 있지만 내부적으로 block을 구성하는 방식은 여전히 많은 연구가 필요해 보입니다. 앞으로도 테스크에 맞는 block을 제안하는 연구들이 이어지지 않을까 생각이 들었습니다. 감사합니다.

금일 세미나는 “Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting”에 대한 리뷰로 진행되었습니다. Autoformer는 시계열 데이터에서 계산한 auto correlation을 transformer의 input으로 활용하여 period-based denpendency를 찾고, 유사한 sub-series끼리 정보를 aggregation 하는 방식으로 attention mechanism이 구성됩니다. Autocorrelation과 time delay aggregation을 연산을 하면 시간 복잡도가 quadratic하게 되므로, fast fourier transform(FFT)을 적용하여 효율적인 연산을 가능하게 합니다. 위너-킨친 정리에 따르면, 주파수 도메인에서의 fourier series의 제곱의 inverse는 auto correlation의 시간 평균과 동일하므로, Auto-correlation block 내에서 FFT를 적용한 query와 key를 dot product한 것을 inverse로 계산하여 auto correlation을 빠르게 계산하였습니다. Auto correlation과 self-attention 연산을 효율적으로 활용하기 위해 FFT를 도입한 것이 매우 인상적이었으며, 특히 신호처리에서의 위너-킨친 정리에 대해서도 자세히 알 수 있어 유익했습니다. 좋은 논문 공유해주셔서 감사합니다.

이번 세미나는 long term series forecasting에서 transformer 기반의 방법론을 발전 시킨 연구 "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting"를 주제로 진행되었습니다. Time-series Forecasting이란 시계열 정보를 사용하여 series의 미래 값을 예측하는 task입니다. 기존 transformer 기반의 시계열 예측 방법론들은 self attention 메커니즘을 활용하여 RNN 대비 long range dependency를 잘 포착할 수 는 있으나 연산과 메모리 측면에서 비용이 크다는 점이 한계점으로 지적되어 왔습니다. 이에 따라 본 논문에서 제안하는 방법론인 Autoformer는 이름에서 알 수 있듯이 Auto-Correlation을 활용한 transformer로 series level에서 dependency를 찾고 정보를 모으는 역할을 수행합니다. 또한, fast fourier transform을 통해 연산 효율성을 증대하고자 했고, 복잡한 시계열의 temporal pattern을 학습하기 위해 series decomposition을 이용하여 seasonal과 trend를 분리하였습니다. 중간 과정에서 푸리에 변환 개념이 등장하여 이해가 어려울 것이라 생각했으나 발표자분께서 핵심 위주로 명확히 설명해주셔서 이해하는데 도움이 되었습니다. 시계열 연구에서 최근 다양한 방식으로 Transformer를 발전시킨 방법론들을 제안하고 있는데 그 흐름을 흥미롭게 보고 있습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나는 transformer 모델을 기반으로 시계열 데이터 내의 auto-correlation을 활용하여 장기 시계열 예측의 성능을 높인 Autorformer라는 모델이 소개되었습니다. 대다수의 transformer 기반의 모델들은 self-attention 을 중점적으로 활용하는 점에 비해 Autoformer는 self-attention의 연산량 대비 효율성이 높지 않음을 지적하며 Fast Fourier Trasnform을 적용하여 auto-correlation을 고려하는 방법을 택했습니다. 푸리에 변환은 신호처리, 음성 쪽에서 많이 활용이 되는 것으로 알고 있는데 이는 데이터 타입이 모두 시계열이기 때문에 충분히 reasonable 한 시도인 것으로 보입니다. 특히 기존의 푸리에 변환이 아닌 Fast Fourier Transform을 적용한 아이디어를 처음으로 확인한 것인 또한 모델의 후반부에 위치한 decoder에서는 시계열 데이터가 가지고 있는 계절성과 추세를 분리하여 복잡한 패턴을 어느정도 단순화하여 학습하는 방식을 시도하였습니다. 본 발표를 들으며 최근의 딥러닝 분야의 연구에서 새로운 무언가를 창출해내기 보다는 기존의 지식들을 잘 융합하고 조합하는 것이 critical 하다는 것을 재차 확인할 수 있었습니다. 준비를 정말 꼼꼼히 잘 하신 발표였습니다. 감사합니다.

이번 세미나는 Transformer 기반의 시계열 모델을 소개해주셨습니다. Autoformer는 시계열의 auto-correlation 정보를 활용하여 self-attention 구조를 대체하였습니다. 이를 통해 긴 길이를 갖는 시계열 데이터에 대한 예측 성능을 향상시켰습니다. 또한 디코더에서 seasonal 패턴과 trend 패턴을 분리하여 사용하여 복잡한 시계열 데이터의 temporal pattern을 잘 학습하도록 하였습니다. 문제점을 파악하고 이를 하나씩 해결하여 최종적으로 하나의 모델을 제안한 논문으로 배울점이 많았습니다. 좋은 발표 감사드립니다.

금일 세미나는 "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting"라는 주제로 진행되었습니다. Autoformer는 long-sequence time-series forecasting의 관점에서 기존 transformer 기반의 모델들이 point-wise dependency만 추출할 수 있다는 한계점을 보완하였습니다. 해당 모델은 attention layer를 auto-correlation mechanism으로 대체하여 series level에서 dependencies를 찾았습니다. 더불어 series decomposition을 이용하여 input을 seasonal과 trend로 분리하여 모델링함으로써 시계열 데이터를 더 잘 모델링하였습니다. 개인적으로 시계열 데이터가 여러가지 특징을 가지고 있기 때문에 하나의 input으로부터 다양한 관점에서 특징을 추출하는 것이 중요하다고 생각하기 때문에 본 논문에서 seasonal과 trend를 분리하여 모델링한 점이 가장 인상 깊었습니다. 더불어 효과적이고 효율적으로 auto-correlation 정보를 추출하는 부분의 논리적인 전개도 훌륭하다고 생각했습니다. 좋은 발표 감사합니다.

이번 세미나에선 Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting 연구에 대해 소개되었습니다. Autoformer 는 기존 transformer 의 일반적인 attention layer 가 아닌 시계열 데이터에 적합한 auto-correlation layer 를 제안합니다. Auto-correlation layer 는 기존 attention layer 의 연산량을 개선하면서도 period-based dependency 를 찾아 모델이 시계열 데이터에 적합한 representation 을 학습할 수 있게 합니다. 또한 시계열 데이터의 seasonality 와 trend 를 분리하는 decomposition 아디이어를 제안합니다. 이러한 모델 구성은 모델이 적절한 human bias 를 학습할 수 있도록 하여 성능을 개선한 것으로 생각됩니다. 이렇게 사람이 정한 feature 를 disentangled 형태로 모델이 학습하게 한 부분이 인상깊은 연구였던 것 같습니다. 모델에서 auto-correlation 의 연산속도를 개선하기 위해 사용한 fast fourier transform 부분 설명에서 영상자료를 함께 준비하신 것을 보고 발표자분의 준비성과 열의를 느낄 수 있었습니다. 항상 좋은 발표 감사합니다.

금일 세미나에서 소개된 autoformer 에서의 auto 는 auto-correlation 을 활용하는 transformer 입니다. 시계열 데이터의 발전과정에서 최근 추가적으로 사용되는 기법중 고전적인 시계열 패턴을 분석하는 방법들이 많이 적용되고 있습니다. 시계열 sequence 간의 유사도를 계산할 때 auto correlation 이 주로 사용되었고, 이를 통해 패턴을 파악할 수 있었습니다. 이를 attention layer 부분에 적용한 방법론으로, 최근 sparse attention 관련하여 많은 연구가 진행되는데 직접적으로 sequence 에 적합한 attention 이 적용된 방법론으로 이해했습니다. 해당 내용 뿐만 아니라 발표자의 관련연구 관련하여 정리한 내용들이 매우 잘되있어, 연구의 흐름을 한번에 파악할 수 있어 매우 좋았습니다. 감사합니다.

금일 세미나는 NeurIPS 2021에 발표된 Autoformer를 주제로 진행되었습니다. trasnformer기반의 모델들이 longsequence를 다룰 수 있도록 발전되어왔던 것 처럼, 해당 논문도 시계열 domain에서 길이가 긴 time series를 다루는것에 초점을 맞추고 있습니다. 시계열 논문들은 여전히 arima와 같은 방법론들이 좋은 성능을 기록하고있는데, 시계열의 특성을 이해하는것이 가장 중요한 component라는 것을 알 수 있습니다. 저는 모델 구조에서 input rerpesentation을 생성하는 파트가 가장 흥미로웠는데, time series의 특성을 모두 encoding하기위해 정말 다양한 정보를 feature로 사용하는것을 알 수 있었습니다. 일반적으로는 machine learning에서는 feature이 크리티컬한것에 비해 deeplearning은 대량의 데이터만 보장된다면 feature engineering이 우선적인 요소가 아니라 알려져있습니다. 하지만 여전히 시계열에서는 시계열을 나타내는 중요한 time feature가 성능에 큰 영향을 미칠 수 있음을 시사하고 있습니다. 더불어 auto correlation block도 시계열의 특징을 잡아내기 좋은 구조라 생각했으며 fourier transform을 활용합니다. 신호처리에서 사용되는 fourier tranform이 효과적인 방법으로 적용되는것이 흥미로웠습니다. 감사합니다.

금일 세미나는 time-series 데이터에 transformer를 효과적으로 사용하기 위해 연구된 Autoformer 에 대해 소개해 주셨습니다. 기존에도 time-series를 학습하기 위한 여러 방법이 존재하고 기존 transformer가 가진 time or computational complexity를 줄이기휘해 연구되어 왔는데, 이번 논문에서 또한 이와 같은 방향으로 complexity를 낮추고 seasonality와 trend를 분리하여 학습하는 방법을 연구하였습니다. 이번 세미나 소개에서 흥미로웠던 것은 기존 self-attention의 complexity를 줄이는 방법과 달리 time-seires 특성에 맞게 fourier transform을 활용했다는 점입니다. 여기서는 fast fourier transform을 활용하여 complexity를 줄이고 효과적으로 time-series가 학습될 수 있음을 실험적으로 보였습니다. 최근 time-series 에 대해서 많은 연구 소식이 들리고 있는 것 같아서 연구실에서도 좋은 결과가 많이 생겼으면 하는 바람입니다. 좋은 발표 감사합니다.

금일 세미나는 Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting에 대해 진행되었습니다. Time series forecasting에 대해 관심을 갖고 있던 터라, 흥미를 갖고 들을 수 있었습니다. 오늘 소개해주신 Autoformer는 시계열 데이터에서 존재하는 Auto correlation을 활용할 수 있도록 하는 transformer를 기반으로 한 모델입니다. 시계열 데이터에는 시간이 흐름에 따라 어떠한 trend, seasonality등을 갖게 됩니다. Autoformer는 auto correlation을 반영하면서도 trend와 seasonality를 분리합니다. 그리고 long sequence를 가져가기 위해 transformer를 활용합니다. 앞서 세미나 서두에서 말씀해주신 것과 같이 vanilla transformer가 갖는 문제점을 개선해 적용합니다. Transformer 구조 안에서 입력, attention layer, decomposition layer추가 등 시계열 데이터의 주요한 Feature를 반영하기 위한 다양한 노력들을 볼 수 있었습니다. 기존 machine learning 방법론에서는 trend, seasoanlity를 별도로 분리해 개별 feature로 추가해주는 feature engineering을 시행하곤 합니다. 더불어 residual의 정상성 분석등을 더해 분석 결과를 검증하곤 합니다. Autoformer는 역시나 deep learning 모델의 철학 처럼 End-to-End로 모델 안에서 자체적으로 trend, seasonality를 추출하고 auto correlation등을 학습하게끔 합니다. 개인적으로 FFT부분에 대한 이해의 어려움은 있었지만, 자료에서 자세하게 설명해주셔서 보다 잘 이해할 수 있었습니다. 쉽지 않은 내용 깔끔하고 잘 설명해주신 발표자분께 감사드립니다.

오늘 세미나는 time series forecasting을 위해 제안된 방법론인 autoformer에 대해 진행되었습니다. autoformer는 시계열의 특징을 반영하고자 기존 transformer의 self-attention을 autocorrelation에 대한 attention으로 대체하였고, 그 결과 point-wise가 아닌, series-wise의 attention을 구할 수 있게 합니다. 특히 series 사이의 attention을 구하기 위해서 fourier 변환을 사용하는데, 이는 시간 기존 attention만큼의(O(L^2)) 시간 복잡도가 필요합니다. 그렇게 되면 시계열의 길이가 길수록 계산량이 기하급수적으로 증가하기 때문에 논문에서는 이 대신 fast fourier 변환을 사용하고 있습니다. FFT를 통해 key와 query가 되는 series를 변환한 후, 이들의 dot-product를 통해 series 사이의 attention을 구합니다. 이후 encoder, decoder 모두에서 trend와 seasosnal을 decomposition하는데, encoder에서는 seasonal 정보만 사용하고, decoder에서는 seasonal과 trend를 단계적으로 분리하여 trend 정보를 점진적으로 발전시켜 최종 trend를 구합니다. 최종적으로 trend와 seasonal vector를 합하여 prediction을 수행합니다. 최근 시계열의 특성을 transformer에 반영한 방법론이 다수 연구되고 있는 것 같습니다. 좋은 발표 감사합니다.