[Paper Review] Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective

Paper Review
작성자
Jinwoo Park
작성일
2025-02-14 13:19
조회
917
1. 논문 제목: Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective (NeurIPS 2024)
2. 논문 링크: https://arxiv.org/pdf/2402.11463
3. 논문 코드: https://github.com/CityMind-Lab/NeurIPS24-Attraos?tab=readme-ov-file
4. 인용 수: 9회 (2025/2/14, Google scholar 기준)
5. 요약: Chaotic theory에 영감을 받아, 시계열 데이터를 일반화된 Chaotic dynamic system을 통하여 생성된 것으로 간주하여 이에 적합한 모델링 방법 제안
  • Non-parametric Phase Space Reconstruction: 주어진 Discrete 형태의 데이터로부터 Non-parametric Phase Space Reconstruction 방법을 통하여 Continuous 한Temporal dynamcis를 복원
  • Multi-resolution Dynamic Memory Unit(MDMU): 다양한 Dynamic state representation을 이용하고자, Blelloch Scan Algorithm 에서 영감을 받아 Dynamical structures의 Multi-scale hierarchical representation 모델링 방법 제안
  • Frequency-enhanced local evolution strategy: Attractor의 차이를 더 명확하게 구분하기 위하여, Frequency domain에서의 Frequency-enhanced local evolution strategy 제안
6. 발표자료 및 발표영상
- 발표자료: 하단 첨부
- 발표영상: 첨부 예정
전체 11

  • 2025-02-14 14:15

    이번 세미나에서는 Chaotic Theory를 기반으로 장기 시계열 예측을 하는 ‘Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective’ 논문에 대하여 발표해 주셨습니다. 해당 논문은 Attraos 모델을 제안하며, Non-parametric Phase Space Reconstruction(PSR), Multi-resolution Dynamic Memory Unit(MDMU), Frequency-enhanced Local Evolution Strategy의 세 가지 핵심 기법을 통해 시계열 데이터의 근본적인 동역학을 포착합니다. PSR은 이산적인 시계열 데이터에서 연속적인 시간 동역학을 복원해 고차원 Attractor 패턴을 학습하며, MDMU는 Blelloch Scan Algorithm에 기반한 Multi-scale hierarchical representation을 통해 다양한 동적 구조를 포착하고, 주파수 도메인에서 주파수 기반 진화 전략을 사용해 Attractor 차이를 명확히 구분함으로써 노이즈에 강건한 예측 성능을 보입니다. 그 결과, Lorenz96, Air-Convection과 같은 Chaotic 데이터셋에서 기존 Transformer 및 LLM 기반 모델을 능가하는 성능을 보였으며 Frequency-enhanced strategy는 Noise가 포함된 데이터에서도 성능 저하 없이 우수한 강건성을 보인 점이 인상깊었습니다. 무엇보다 Chaotic Theory 기반의 문제 정의와 Multi-resolution 학습 전략이 장기 시계열 예측에서 기존 모델들이 간과한 연속 시스템의 특성을 효과적으로 반영했다는 점이 흥미로웠습니다. 생소한 개념이었지만 잘 풀어서 설명해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표해 주셔서 감사합니다.


  • 2025-02-17 21:57

    이번 세미나에서는 Chaotic Theory를 바탕으로 한 장기 시계열 예측 모델을 제안한 논문에 대해 발표가 있었습니다. 이 논문에서는 시계열 데이터의 동역학을 효과적으로 포착하기 위한 세 가지 주요 기법을 소개했습니다. 첫째, Non-parametric Phase Space Reconstruction(PSR)은 이산적인 시계열 데이터로부터 연속적인 시간 동역학을 복원하며, 고차원 Attractor 패턴을 학습합니다. 둘째, Multi-resolution Dynamic Memory Unit(MDMU)는 Blelloch Scan Algorithm을 이용하여 다층적인 동적 구조를 모델링하고, 마지막으로 Frequency-enhanced Local Evolution Strategy는 주파수 도메인에서 Attractor 차이를 명확히 구분하여, 노이즈가 포함된 데이터에서도 뛰어난 예측 성능과 강건성을 보입니다. 실험 결과로 Lorenz96, Air-Convection 등 Chaotic 데이터셋에서 기존의 Transformer 및 LLM 기반 모델들을 능가하는 성능을 보여주었습니다. 특히, Multi-resolution 학습 전략을 통해 연속 시스템의 특성을 잘 반영한 점이 인상적이었으며, 시계열 예측에서 기존 모델들이 간과했던 중요한 요소를 효과적으로 해결한 점이 눈에 띕니다. 이러한 새로운 접근은 시계열 예측 분야에서의 발전 가능성을 제시하며, 특히 노이즈가 포함된 데이터에 대해서도 강건한 성능을 발휘하는 점이 이 연구의 강점이라 할 수 있습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2025-02-18 12:49

    이번 세미나는 시계열 예측 과업을 주제로 진행되었습니다. 소개해주신 연구는 시계열 데이터의 특성을 잘 나타낼 수 있는 Chaos Theory를 도입한 것이 큰 특징이었습니다. 이는 겉으로 보기에는 무질서해 보이는 패턴 속에서 질서를 찾기 위한 이론으로 실제 벤치마크 데이터를 시각화 하였을 때 고차원의 chaotic system이 나타난 것을 착안하였습니다. 결과적으로 시간에 따른 동적 시스템을 나타내고자 한 것을 목표로 한 것입니다. 즉, 어떠한 형태의 일정 패턴을 의미하는 attractor라는 것을 찾고 frequency 도메인에서 attractor 간의 차이를 찾음으로써 데이터마다 더욱 분명한 패턴을 찾는 것이 핵심일 것입니다. 본 연구에서 활용한 State Space Model(SSM)은 RNN 및 트랜스포머를 대체할 수 있는 프레임워크가 아닌가 생각이 들었습니다. 역시나 실험 결과 트랜스포머 기반 방법론 보다 더 높은 성능을 보였습니다. 또한 의외로 학습 속도가 다른 모델 대비 빠른 것이 인상 깊었습니다. Chaos Theory 와 SSM을 새로이 알게된 유익한 세미나였습니다. 감사합니다.


  • 2025-02-18 18:41

    이번 세미나에서는 Chaotic Theory를 기반으로 장기 시계열 예측에 접근한 ‘Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective’ 논문을 소개해주셨습니다. 제안된 Attraos 모델은 Non-parametric Phase Space Reconstruction(PSR), Multi-resolution Dynamic Memory Unit(MDMU), 그리고 Frequency-enhanced Local Evolution Strategy의 세 가지 핵심 기법을 통해 시계열 데이터의 근본적인 동역학을 효과적으로 포착하는 점이 인상적이었습니다. 특히, PSR을 통해 이산 시계열 데이터를 고차원 Attractor 패턴으로 복원하고, MDMU와 주파수 기반 진화 전략을 도입하여 노이즈에도 강한 예측 성능을 구현한 점이 눈에 띕니다. 생소한 개념들을 쉽게 풀어 설명해주셔서 이해하기 쉬웠고, Chaotic Theory와 다중 해상도 학습 전략이 장기 시계열 예측 분야에 새로운 가능성을 제시한 점이 매우 인상적이었습니다. 좋은 발표 감사합니다.


  • 2025-02-18 18:53

    이번 세미나에서는 Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective 논문에 대해 소개해주셨습니다. 본 연구에서는 Chaos Theory를 기반으로 방법론을 정의하고자 했습니다. Chaos theory 나 attractor 같은 익숙하지 않은 개념이 있어서 이해하는데 시간이 필요했지만 새로운 접근 방식이라 흥미롭게 들었습니다. 발표에서 state space model에 대한 설명과 예시를 잘 들어주어서 이해하기 좋았습니다. 좋은 발표 감사합니다.


  • 2025-02-19 21:24

    이번 세미나에서는 Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective와 관련된 방법론을 제시한 논문을 중심으로 진행되었습니다. 본 연구는 시계열 데이터가 연속적 동역학 시스템에서 샘플링된 데이터라는 점을 강조하며, Chaos Theory 기반의 새로운 예측 모델을 제안합니다. 기존의 Transformer 및 RNN 기반 시계열 모델들이 Temporal Dynamics를 충분히 반영하지 못하는 한계를 극복하기 위해, 본 논문에서는 Non-parametric Phase Space Reconstruction(PSR), Multi-resolution Dynamic Memory Unit(MDMU), Frequency-enhanced Local Evolution Strategy 등의 기법을 도입하여 시계열 데이터를 Chaotic Dynamic System으로 모델링하는 접근법을 제안합니다. 실험 결과, Lorenz96, Air-Convection과 같은 Chaotic dataset뿐만 아니라 ETT, Exchange, Crypto 등 일반적인 LTSF(Long-Term Sequence Forecasting) 데이터셋에서도 높은 성능을 기록하였으며, 특히 Phase Space Reconstruction을 활용한 Chaotic Representation이 모델 성능에 크게 기여하는 것으로 나타났습니다. 또한, SSM(State Space Model) 기반의 Dynamical Representation을 활용하여 Attractor 패턴을 학습하고, Frequency Domain Evolution을 통해 Noise Robustness를 강화하는 전략이 효과적임을 입증하였습니다. 다만, 연구 과정에서 Chaotic Theory를 기반으로 문제를 정의하였으나 실제 구현에서는 State Space Model로 다루고 있어 이론적 정합성이 부족하다는 지적이 있을 수 있으며, Discretization 과정에서 추가적인 최적화가 필요할 것으로 보입니다. 발표를 통해 시계열 예측에서 Chaotic System을 활용한 접근법이 새로운 가능성을 제시할 수 있음을 확인할 수 있었습니다.


  • 2025-02-21 17:48

    이번 세미나에서는 "Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective"라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 시계열 데이터를 일반화된 Chaos 동적 시스템으로 간주하고, 이에 적합한 모델링 방법을 제안합니다. 주요 기술로는 Non-parametric Phase Space Reconstruction, Multi-resolution Dynamic Memory Unit (MDMU), 그리고 Frequency-enhanced local evolution strategy가 있습니다. Non-parametric Phase Space Reconstruction 방법을 통해 이산 형태의 데이터로부터 연속적인 시간 동력학을 복원하여, 시계열 데이터의 근본적인 동역학을 포착합니다. MDMU는 다양한 동적 상태 표현을 사용하여 동적 구조의 다중 해상도 계층적 표현을 모델링하는 방법을 제안합니다. 이는 특히 Blelloch Scan Algorithm에서 영감을 받은 기법으로, 데이터의 다양한 동적 구조를 효과적으로 포착할 수 있습니다. 또한, Frequency-enhanced local evolution strategy는 주파수 영역에서 evolution 전략을 활용하여 Attractor의 차이를 더 명확하게 구분하도록 설계되었습니다. 이는 특히 노이즈가 많은 데이터셋에서도 모델의 Robustness을 유지하면서 정확도를 향상시키는데 기여합니다. 결과적으로 해당 논문은 Chaos Theory를 기반으로 문제룰 정의하고 다중 해상도 학습 전략을 통해 long-term time-series forecasting에서 기존 모델들이 놓치고 있던 연속 시스템의 특성을 효과적으로 반영하였습니다. 이러한 동역학 이론을 통해 시계열 예측 분야에 적용하여 미래 값을 추정하는 점이 매우 인상 깊은 논문이었습니다. 좋은 발표 진행해주셔서 감사합니다.


  • 2025-02-23 15:52

    금일 세미나는 물리학에서 시작된 chaotic 이론과 최근 다양한 ML 분야에서 널리 활용되는 State Space Model을 이용하여 time series forecasting 분야의 방법론을 제안한 "Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective"을 중심으로 진행되었습니다. 시계열 데이터는 샘플링을 통해 연속적인 도메인을 discrete domain으로 전환하여 모델 학습에 이용하게 되는데, 이는 State Space Model에서도 널리 극복하고자 하는 제약 상황입니다. 특히, 노이즈가 다수 존재하는 데이터와 매우 다양한 패턴을 가진 상황은 chaotic theory를 도입함으로써 모델링에 접목할 수 있는 가능성을 보여주고 있습니다. 이외에도 시계열 도메인에서 널리활용되는 frequency 개념을 이용한 모델 구조 수정 등을 통하여 기존 방법론 대비 높은 성능을 보이고 있었습니다. 결국 실제 물리 세계에 대해 sampling을 통해 수집되는 시계열 도메인의 특성상 SSM과 chaotic theory가 중요한 역할을 할 수 있다는 점을 입증한 것이 가장 흥미로운 연구였다고 생각합니다. 이외에도 기존에 높은 성능을 보이는 모델과 비교하여 학습 시간, 파라밈터 크기가 매우 작음에도 불구하고 좋은 성능을 보이는 점이 Physics-informed ML 분야가 시계열 도메인에서 추가적으로 도입될 가능성을 확인하는 계기였다고 생각합니다. 향후 더욱 다양한 접근법이 가능할 것으로 보였습니다. 좋은 발표 감사합니다.


  • 2025-02-24 16:44

    이번 세미나에서는, 물리학의 Chaotic Theory와 State Space Model을 접목하여 시계열 데이터의 동역학과 고차원 Attractor 패턴을 효과적으로 포착하는 장기 예측 모델에 대해 발표가 진행되었습니다. 해당 연구는 시계열 데이터를 discrete domain으로 전환하는 한계를 극복하기 위해 Non-parametric Phase Space Reconstruction(PSR)을 활용하여 연속적인 시간 동역학을 복원하고, Multi-resolution Dynamic Memory Unit(MDMU)와 Frequency-enhanced Local Evolution Strategy를 도입해 노이즈가 다수 포함된 데이터에서도 강건한 예측 성능을 입증하였습니다. 특히, Lorenz96 및 Air-Convection과 같은 Chaotic 데이터셋에서 Transformer 및 LLM 기반 모델들을 능가하는 성능을 보였으며, 학습 시간과 파라미터 수가 적음에도 높은 예측 정확도를 달성한 점이 인상적이었습니다. 이러한 접근법은 실제 물리 세계의 샘플링 데이터 특성을 반영하는 동시에, Physics-informed ML 분야의 발전 가능성을 제시하는 중요한 계기가 되었음을 확인할 수 있었습니다. 좋은 발표 감사합니다.


  • 2025-02-25 21:36

    이번 세미나에서는 "Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective" 논문이 발표되었습니다. 본 연구는 Chaotic Theory를 기반으로 Attraos 모델을 제안하며, PSR, MDMU, 주파수 기반 진화 전략을 활용해 시계열 데이터의 동역학을 효과적으로 포착합니다. 이를 통해 Lorenz96, Air-Convection 등 Chaotic 데이터셋에서 Transformer 기반 모델보다 우수한 성능을 보였으며, 노이즈에도 강건한 예측력을 확인할 수 있었습니다. 특히, 연속적인 시간 동역학을 복원하고 Multi-resolution 학습을 적용한 점이 인상적이었습니다. 좋은 발표 감사합니다!


  • 2025-02-26 13:19

    이번 세미나에서는 “Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective” 논문이 소개되었습니다. 본 연구는 시계열 데이터를 Chaos Theory 기반의 동적 시스템으로 해석하고, 이를 예측 모델에 적용하는 새로운 접근 방식을 제안합니다. 기존 Transformer 및 RNN 기반 모델들이 시간적 동역학(Temporal Dynamics)을 충분히 반영하지 못하는 한계를 극복하기 위해, 본 논문에서는 Non-parametric Phase Space Reconstruction(PSR)을 통해 이산 데이터에서 연속적인 동역학을 복원하고, Multi-resolution Dynamic Memory Unit(MDMU)을 도입하여 다양한 해상도의 동적 구조를 학습하도록 설계되었습니다. 또한 Frequency-enhanced Local Evolution Strategy를 활용하여 노이즈 환경에서도 강건한 예측 성능을 유지하도록 하였습니다. 실험 결과, Lorenz96과 같은 Chaotic Dataset뿐만 아니라 ETT, Exchange, Crypto 등 일반적인 LTSF(Long-Term Sequence Forecasting) 데이터셋에서도 기존 SOTA 모델 대비 우수한 성능을 기록하였으며, 특히 Phase Space Reconstruction을 활용한 Chaotic Representation이 모델 성능 향상에 큰 기여를 하는 것으로 나타났습니다. 다만, Chaotic Theory 기반으로 문제를 정의했지만, 실제 구현에서는 State Space Model(SSM) 방식으로 다루어 이론적 정합성이 부족할 가능성이 있다는 점이 한계로 지적될 수 있습니다. 이번 발표를 통해 Chaotic System을 활용한 시계열 예측의 가능성을 확인할 수 있었으며, 향후 Physics-informed ML 연구와의 융합 가능성이 기대되는 연구였습니다. 좋은 발표 감사합니다!


전체 554
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 14911
관리자 2020.03.12 0 14911
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 13661
관리자 2020.03.12 0 13661
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 14602
관리자 2020.03.12 0 14602
551
[Paper Review] Programming Refusal with Conditional Activation Steering (12)
Sunmin Kim | 2026.03.10 | 추천 0 | 조회 179
Sunmin Kim 2026.03.10 0 179
550
[Paper Review] Towards a General Time Series Anomaly Detector with Adaptive Bottlenecks and Dual Adversarial Decoders (9)
Sunghun Lim | 2026.03.01 | 추천 0 | 조회 221
Sunghun Lim 2026.03.01 0 221
549
[Paper Review] Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective (9)
Suyeon Shin | 2026.02.25 | 추천 0 | 조회 162
Suyeon Shin 2026.02.25 0 162
548
[Paper Review] Recent Research Trends Foundation Model for Visual Anomaly Detection (10)
Jaehyuk Heo | 2026.02.12 | 추천 0 | 조회 354
Jaehyuk Heo 2026.02.12 0 354
547
[Paper Review] Vision-based and Multimodal Approaches for Time Series Analysis (9)
Hyeongwon Kang | 2026.02.10 | 추천 0 | 조회 329
Hyeongwon Kang 2026.02.10 0 329
546
[Paper Review] Introduction to Neural Operator (10)
Hankyeol Kim | 2026.02.03 | 추천 0 | 조회 408
Hankyeol Kim 2026.02.03 0 408
545
[Paper Review] Enhancing Time Series Forecasting through Selective Representation Spaces: A Patch Perspective (13)
Sieon Park | 2026.01.29 | 추천 0 | 조회 459
Sieon Park 2026.01.29 0 459
544
[Paper Review] ELFS: Label-Free Coreset Selection with Proxy Training Dynamics (13)
Subeen Cha | 2026.01.28 | 추천 0 | 조회 323
Subeen Cha 2026.01.28 0 323
543
[Paper Review] Model Merging for Continual Learning (12)
Hun Im | 2026.01.24 | 추천 0 | 조회 315
Hun Im 2026.01.24 0 315
542
[Paper Review] Selective Learning for Deep Time Series Forecasting (14)
Jinwoo Park | 2026.01.24 | 추천 0 | 조회 461
Jinwoo Park 2026.01.24 0 461

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 김재희: jaehee_kim@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호