금일 세미나에서는 Autoformer에 새로운 아이디어를 추가하여 시계열 forecasting의 성능을 향상시킨 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting에 대하여 살펴보았습니다. FEDformer에서는 시계열 데이터에 Fourier transform만 적용하는 경우 시간 정보를 포함하지 못한다는 한계가 있음을 지적합니다. 그리고 이러한 한계를 타파하기 위하여 Fourier transform과 wavelet transform을 함께 사용합니다. 이 과정에서 low rank matrix를 사용함으로써 연산 효율성을 높이고 있습니다. 코드는 많은 부분에서 Autoformer의 것을 그대로 사용하고 있지만 이전 연구의 문제점을 합리적인 이유로 지적하고 이 부분을 이론적으로 잘 설명하고 실험적으로도 잘 증명한 논문이라는 생각이 들었습니다.

이번 세미나는 "FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting"이었습니다. 해당 논문은 기존의 Autoformer 에서 사용하는 푸리에 변환이 시점의 변화에 따른 주기 변화 등을 반영하지 못한다는 한계점을 개선한 방법론을 제시합니다. 이는 시간 축에 따라 주기가 변하는 Wavelet Transform을 통해 극복할 수 있게 됩니다. 특히 이때 low frequency는 주로 장기 변화를 나타내고, high frequency는 중요한 이벤트를 나타내지만 많은 high frequency 는 단순 노이즈라는 점에 주목합니다. 이를 해결하기 위해 모든 Fourier Component를 사용하지 않고, row rank approximation을 통해 일부 Fourier Component만 사용합니다. 선행 연구에 대해 명확한 한계점을 지적하고, 이를 해결할 수 있는 확실한 방법론을 엄밀한 증명과 다양한 개념의 도입을 통해 자연스럽게 기존 모델에 녹이고, 이를 실험을 통해 확실히 증명한 좋은 연구였던 것 같습니다. 좋은 논문을 소개해주셔서 감사합니다.

이번 세미나에서는 Autoformer의 단점을 보완한 FEDformer라는 시계열 예측 모델을 소개해주셨습니다. FEDformer는 Autoformer에서 더 나아가 fourier transform에 wavelet transform까지 활용합니다. 이를 통해 시간에 따라 주기가 변화하는 특성을 반영하지 못하는 Autoformer의 한계를 극복하고자 하였습니다. Autoformer의 단점을 개념적으로 잘 지적하여 이를 해결할 수 있는 새로운 방안을 도출했다는 점에서 매우 흥미로웠습니다. 또한 시계열적인 정보를 반영하는 좋은 representation vector를 도출하기 위해 어떤 점들을 고려해야되는지 고민해볼 수 있는 시간이었습니다. 좋은 발표 감사드립니다.

이번 세미나에서 소개된 논문은 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 입니다. 이 모델은 이전에 발표자분께서 소개해주셨던 Autoformer를 개선한 모델로, 기존의 autoformer가 auto-correlation을 반엉할 수 있는 모델을 제안했다면, 여기서는 fourier와 wavelet을 활용해 frequency domain의 정보를 반영할 수 있는 block구조를 제안합니다. Wavelet transform을 통해 시간에 대한 정보를 담지 못하는 fourier transform의 한계점을 개선하며 성능을 더욱 높인 것이 인상 깊었고, 동시에 효율적인 연산도 가능하도록 한 점이 인상깊었습니다. 내용이 매우 어려웠으나 발표 자료를 꼼꼼히 잘 준비해주신 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에선 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 라는 논문이 소개되었습니다. FEDformer는 이전 세미나에서도 소개된 Autoformer 를 개선한 연구입니다. 논문에선 Fourier transform 이 시간적 정보를 담지 않는다는 점을 지적하며 wavelet transform을 함께 사용하는 방식을 제안합니다. Autoformer 와 비교하면 크게 두 가지 차이가 있는데, Autoformer에서 trend와 seasonal을 분리했던 decomposition block을 multi trend components를 추출할 수 있도록 Mixture of Experts(MOE) decomposition block 을 사용했다는 점과 auto-correlation 부분을 frequency enhanced block 이후에 attention을 사용하는 형태로 변경하여 연산량을 개선했다는 점입니다. 개인적으로 상당히 어려운 논문이었다고 생각되고 Wavelet transform과 Neural operator 등의 background가 많이 필요한 논문이었는데 짧은 시간안에 깔끔하게 정리해주신 것 같습니다. 좋은 세미나 발표 감사합니다.

본 세미나에서는 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting에 대한 리뷰를 진행하였습니다. FEDformer의 경우 Frequency domain mapping을 통해 time-series에서 중요한 구조를 캡처할 수 있도록 Frequency enhanced structure를 제안하였습니다. 또한 기존의 Time-series forecasting에서 transformer의 시간정보를 담지 못한다는 단점을 보완하기 위해 푸리에 변환이 아닌 wavelet 변환을 사용하여 개선하였습니다. 기존의 구조에서 문제가 되었던 부분을 정확히 지적하고, 그 부분을 개선하여 성능 향상을 이룬 것이 굉장히 인상적이었습니다.
본 논문의 이해를 위해 wavelet 변환, neural operator, 르장드르 다항식과 같은 수학적 개념을 요구하는데, 어려운 내용을 쉽게 잘 설명해주셔서 발표를 잘 따라갈 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 논문을 다루어 주셨습니다. 해당 논문에서는 frequency domain mapping을 통해 time-series에서 중요한 구조를 포착하고자 하고 있습니다. 또한 다양한 average filter들을 통해 time-series의 global property를 더 잘 캡처할 수 있는 mixture of experts decomposition block을 이용하였습니다. 또한 소수의 fourier component들을 이용하여 time-series의 효율적인 계산을 가능하게 하고 있습니다. Wavelet transform을 활용하여 frequency enhanced 구조를 갖게끔 하고 있습니다. 모델 측면에서 FEDformer는 feature extraction을 위해 sequence를 multiple frequency domain modes로 분해한다는 점이 있습니다. 상세한 background 설명이 이해에 많은 도움이 된 것 같습니다. 좋은 발표 감사합니다!

금일 세미나는 “FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting”연구에 대해 진행되었습니다. 전반적으로 long term forecasting을 위해 time series 데이터의 주요한 특징들을 잘 잡아낼 수 있도록 방법론을 고민한 것으로 이해할 수 있었습니다. 트랜스포머 기반의 모델에 푸리에 변환, wavelet을 적극적으로 활용해서 그 효과를 얻으려 하였는 데, 흥미로웠습니다. Frequency 정보를 Fourier transform, wavelet transform을 활용해 각각 풍부하게 만들어 주는 데, 다소 복잡했지만, 이에 대해 발표자분께서 잘 설명해주셔서 잘 이해할 수 있었습니다. Fourier transform이 갖는 cost efficient한 효과를 기대하면서 이를 적극적으로 활용하는 것이 인상적이었습니다. 결국 transformer 기반의 모델임에도, 굉장히 time, memory 면에서 효율적인 모델을 완성해냈습니다. 다소 어려운 논문이었지만, 그 시도 자체는 매우 공학적이면서도 좋았던 논문이라고 생각합니다. 좋은 발표해주신 발표자분께 감사드립니다.

이번 세미나는 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 논문을 소개해 주셨습니다. 최근의 Time Series Forecasting 연구에서는 Short time Fourier transform을 통해 시간에 대한 정보를 유지한 채 Data를 간단한 파동의 결합으로 분리하여 분석해 왔습니다. 그러나 이 방식은 시간에 국한되지 않는 사인파의 합으로 데이터를 나타내기 때문에 급격한 변화가 있는 신호 및 이미지를 정확하게 분석하려면 새로운 방법이 필요했습니다. 이에 본 논문에서는 사인파 대신 평균이 0이고 크기가 줄어드는 진동 파동인 Wavelets을 통해 Data를 분리하는 방법을 함께 사용하는 것을 제안합니다. 즉, FEDformer는 Fourier transform과 wavelet transform을 함께 사용하는 것으로 Autoformer보다 시간에 따라 주기가 변화하는 특성을 잘 반영할 수 있게 됩니다. 복잡한 파동을 간단한 파동의 결합으로 이해한다는 직관적인 기본 아이디어를 계속 확장하며 다양한 모델들이 나오고 있는 것 같은데, 그 과정에서 많은 수학적 개념이 사용되고 있어 공부가 더 필요함을 느꼈습니다. 이번 논문의 Wavelets transform도 어려운 개념이 많이 등장했는데, 발표자께서 꼼꼼히 설명해 주셔서 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting를 주제로 진행되었습니다. 그간 세미나를 통해 시계열 분야의 논문을 다양하게 접해볼 수 있었는데, 이번 세미나 역시 시계열 분야의 최신 기법을 다루고 있기에 시계열 task를 이해하는데 많은 도움이 되었습니다. FEDformer는 Frequency domain mapping을 통해 중요한 시계열 구조를 캡쳐하는 Frequency enhanced structure를 제안하였습니다. 또한, Fourier components를 랜덤으로 선택하여 선형 계산 복잡도와 메모리 비용을 달성하였으며, 다양한 average fileter를 사용하여 시계열의 global 속성을 잘 잡아내는 mixture of experts decomposition block을 고안하였습니다. 발표자분께서 지난 세미나에서 소개해주신 푸리에 변환 개념이 이번 세미나에서도 등장하여 다시금 이해해보려 했고, 내용이 많이 어려웠음에도 차근차근 설명해주셔서 흐름을 따라갈 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 ICML 2022년에 억셉된 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 논문으로 진행되었습니다. 지난 세미나에서 발표해주신 Autoformer 방법론과 비교해서 (1) Single Series Decomposition Block을 다양한 average filters를 통해 time-series의 global property를 더 잘 캡처하는 Mixture of experts decomposition block로 변경했고, (2) Auto-correlation을 Frequency domain mapping을 통해 time-series에서 중요한 구조를 캡처할 수 있는 fourier enhanced blocks과 wavelet enhanced block으로 교체하는 방법론을 제안한 논문입니다. 또한, Fourier components을 랜덤하게 선택하는 방식을 통해 연산량과 필요한 메모리를 linear하게 줄였다고 합니다. 항상 수식이 많은 시계열 분야 논문들을 좋은 시각 자료와 함께 이해하기 쉽게 설명해주셔서 도움이 많이 되는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 논문을 주제로 진행되었습니다. 최근 시계열 예측 모델에서 transformer 기반의 방법론들이 대부분 퓨리에 도메인, 신호처리 같은 분야에서 정보를 최대한 활용하고자 하는 것을 볼 수 있습니다. 신호처리를 깊게는 공부하지 못했지만, 학부생 때 공부했고 기억나는 것 중 하나는, 데이터를 변환시키고, 복원시키는데 매우 효율적인 구조(중요한건 남김) 였던 것이였는데, 이런 관점에서 시계열 정보의 중요한 정보를 잘 보존하는 것이 아닌가 생각했습니다. 그중 랜덤하게 퓨리에 component 를 선택해서 시계열정보를 표현하는게 다양한 정보를 가지고 올 수 있음을 보여주고, 이러한 아이디어가 효율적으로 signal 보존을 하는 것으로 이어졌습니다. 사실 매우 도메인에 특화된 아이디어인데, 이런 부분을 transformer 의 문제점 혹은 개선점과 연결 시킨것이 놀랍고, 다방면의 아이디어를 잘 알고 있는 것이, 어딘가에 쓸 때가 있음을 한번더 느낍니다. 감사합니다.

이번 세미나는 FEDformer를 주제로 진행되었습니다. 항상 느끼는것이지만 .. 세미나 자료를 강의자료 수준으로 만들어 주셔서 timeseries에 대한 지식을 휘발할 때 마다 새롭게 복습할 수 있어 매우 감사한 마음을 가지고 있습니다. 작년부터 시계열에도 transformer가 활발히 사용되고 있습니다. 다만 Transformer는 local보다 global feature를 잘 capture한다고 알려져 있는데, time series에서는 Overall trend와 같은 global view를 capture할 수 없다고 설명하고 있습니다. FEDformer는 Long-term series forecasting에서 앞선 문제점을 해결하기 위해 seasonal-trend decomposition을 통해 중요한 특징을 추출해내고 Autoformer 기반의 새로운 모델을 제안합니다. timeseries의 global property를 capture하기 위해 Mixture of experts decomposition block을 제안하고 fourier enhanced block과 wavelet enhanced block을 통해 중요한 structure들을 잘 캡쳐했습니다. 개인적으로 대부분의 논문들이 fourier transform을 적용하여 연구하지만, 해당 방법론의 한계점을 지적하고 개선 방향을 제안하는 흐름이 매우 논리적이었다고 생각합니다. 감사합니다.