[Paper Review] HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting

Paper Review
작성자
Sunghun Lim
작성일
2025-08-04 23:48
조회
458
  1.  논문 제목
    HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting
    링크 : https://doi.org/10.1609/aaai.v38i11.29155
  2.  Overview
    다변량 시계열 예측에서 사용되는 기존의 patch 기반 Transformer/CNN 구조들은
    고정된 길이로 시계열을 자르기 때문에, semantic 단위가 경계에서 잘려 정보 손실이 발생한다는 한계를 가짐.
    이를 해결하기 위해 HDMixer는 다음과 같은 두 가지 핵심 모듈을 제안
    1. Length-Extendable Patcher (LEP) 모듈 제안
      - 기존 고정 패치 방식의 한계를 극복하기 위해, patch 중심과 길이를 학습 기반으로 조절
      - 실수 인덱스 기반 패치 샘플링을 위해 선형 보간(Bilinear Interpolation) 사용
      - 추가로 Patch Entropy Loss를 도입하여 서로 유사한 patch가 만들어지지 않도록 정보 다양성을 유도
    2. Hierarchical Dependency Explorer (HDE) 모듈 제안
      - 순수 MLP 구조를 기반으로 patch representation을 처리
      - 다양한 의존성 학습을 위해 3단계 계층 구조(Short-term/Long-term/Cross-Variable Dependency)로 학습
      - Transformer 없이도 시계열 특성 반영이 가능하며, 경량 모델 구조를 유지
  3. 발표자료 : 하단 첨부
    발표영상 : 추후 첨부
전체 11

  • 2025-08-06 16:53

    시계열 데이터를 다룰 때 흔히 사용되는 patching에 대해 크게 깊이 생각해본 적이 없었던 것 같은데, patching 방식 자체를 개선해보고자 했다는 점에서 의의가 있는 연구라고 느꼈습니다. 학습 가능한 extendable patch를 도입하여 기존의 patch보다 더 합리적인 segmentation을 수행하고, 기존 patching 방식과의 entropy 차이를 loss로 사용함으로써 extendable patch의 사용 의의를 더욱 높이려는 시도가 신선했습니다. 다만 논문에서 제안한 patch entropy loss 중 이웃 patch와의 유사도가 높아질수록 다양성은 낮아지는 것이라 해석할 수 있기에 entropy 역시 하락해야 할텐데, entropy가 유사도 C에 대한 증가함수로 설정된 것이 다소 의아했습니다. 뭔가 추가적인 이유가 있을 수도 있으나, 일단 논문의 내용에는 이와 관련하여 자세한 설명은 없는 듯하여 아쉬움이 있습니다. 그럼에도, 보다 효과적인 patching을 수행하겠다는 아이디어와 objective function을 설정 방향성만큼은 고유한 의의를 갖는 아이디어라는 생각이 들어 인상깊었습니다. 좋은 세미나 감사합니다!


  • 2025-08-07 11:37

    이번 세미나를 통해 단순한 시계열 예측 모델링을 넘어서, 다변량 시계열 데이터가 가지는 복합적인 구조적 특성을 어떻게 효과적으로 반영할 수 있을까에 대한 고민과 해법을 엿볼 수 있어서 매우 흥미롭고 유익한 시간이었습니다.
    특히 Patch를 고정된 구조가 아닌 학습 가능한 의미 단위로 확장시켰다는 점, 그리고 Transformer 없이도 MLP 구조만으로 계층적 의존성을 효과적으로 학습할 수 있다는 점이 인상 깊었습니다. Patch Entropy Loss를 통해 정보의 다양성을 정량적으로 유도하는 방식도 신선했고, 실제 다양한 데이터셋에서 우수한 성능을 보여준 점에서 모델의 실효성을 느낄 수 있었습니다.
    다만 LEP 구조가 갖는 강점은 분명하지만, 그로 인해 생길 수 있는 정보 왜곡이나 Patch 간 해석 가능성 감소 등에 대해서는 조금 더 구체적인 논의가 있었으면 좋았을 것 같습니다. 또한, 실제 산업 현장에서의 적용 가능성을 고려한 논의가 있었다면 실용성 측면에서 더 좋았을 것 같습니다.
    발표자분께서 복잡한 내용을 명확하고 차분하게 설명해주셔서 전반적인 이해에 큰 도움이 되었고, 최근 시계열 예측 분야의 트렌드와 한계, 그리고 앞으로 나아가야 할 방향에 대해 생각해보게 되는 계기가 되었습니다. 좋은 발표 진행해 주셔서 감사합니다!


  • 2025-08-07 21:10

    이번 세미나는 패치 기반의 다변량 시계열 예측 모델들이 고정된 길이의 패치를 사용하여 Semantic Incoherence 문제가 발생하며, 다변량 시계열 데이터에서 변수 간의 관계를 제대로 고려하지 못하며, 패치 내부에 있는 Short-Term에 대한 시간적 정보를 제대로 반영하지 못한다는 한계점을 지적하며 의미의 단절 없이 다양한 정보의 흐름을 반영하는 적응형 패치 및 MLP 구조의 모델인 HDMixer를 제안한 “HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting”라는 논문에 대한 발표를 중심으로 진행되었습니다. 발표 초반에 다변량 시계열 예측을 위해 초기 딥러닝 적용 과정부터 Transformer의 적용, 패치 단위의 처리 등의 순으로 설명을 해주셔서 실제 패치 기반의 다변량 시계열 예측 모델들이 어떠한 방향으로 발전되어 왔는지 이해할 수 있어서 좋았습니다. 방법론의 구조에서 흥미로웠던 부분은 동적으로 패치의 길이를 변경하는 부분이었습니다. 기존 패치에 기반한 방법론들이라면 당연히 패치의 크기는 고정된 상태로 처리 과정이 이루어진다고 생각했었는데, 이를 학습 가능하게 구성해 동적으로 변경할 수 있다는 것이 인상깊었습니다. 그러나 다변량 시계열 데이터에 대한 예측을 수행하는 과정에서 가장 중요하다고 생각하는 변수 간의 상호 관계에 대한 구조는 제가 이해하기로는 2-Layer의 MLP 정도밖에 없는 것으로 파악했는데, 이 부분이 좀 불충분하다는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.


  • 2025-08-11 15:18

    이번 세미나는 시계열 도메인에서 패치 단위로 처리하는 모델을 다룰 때 변동 길이의 패치를 사용할 수 있는 모듈을 제안한 :"HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting"을 중심으로 진행되었습니다. 패치의 크기에 따라 동일한 시계열 데이터라 하더라도 정보 손실이 발생할 수 밖에 없는 한계가 없습니다. 이에 해당 논문에서는 패치 분할에 따른 정보량을 엔트로피로 간주하고, 이를 최대화하는 모듈을 제안하고 있습니다. 특히 해당 모듈이 fourier transform 같은 기존 이론을 기반으로 구성되는 것이 아니라, entropy를 최대화하는 방향으로 최종 loss를 구성하여 학습을 진행합니다. 이외에도 이렇게 분할된 패치 정보를 최대한 이용할 수 있도록, 패치 내, 패치 간, 변수 간 정보 융합을 위해 FFNN 레이어를 순차적으로 사용하여 transformer 구조 없이도 좋은 성능을 보여주고 있습니다. transformer의 구조가 적은 inductive bias로 인해 강건한 성능을 보이고 있으나, 반대로 시계열 도메인의 특징을 잘 반영할 수 있는 모델 구조 역시 필요하다는 점을 상기시키는 논문이었던 것 같습니다. 좋은 발표 감사합니다.


  • 2025-08-12 14:02

    이번 세미나에서는 "HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting" 라는 주제로 진행되었습니다. HDMixer는 다변량 시계열 예측에서 기존 patch 기반 방법론들이 겪는 정보 손실과 경계 단절 문제를 근본적으로 해결하기 위해, 학습 기반으로 패치 경계와 길이를 동적으로 조절하는 Length-Extendable Patcher(LEP)와 다양한 계층의 의존성을 순수 MLP 구조로 학습하는 Hierarchical Dependency Explorer(HDE) 모듈을 도입한 점이 매우 인상적이었습니다. HDMixer는 패치 단위의 유연성, 계층적 의존성 학습, 경량 설계 등 시계열 예측 모델의 발전 방향을 새롭게 제시한 점에서 큰 의미가 있었고, 발표 자료도 구조적 흐름이 잘 정리되어 이해하는 데 도움이 많이 되었습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2025-08-12 16:10

    이번 세미나에서 고정 길이 패치 사용으로 인한 Semantic Incoherence 문제와 변수 간 관계, 단기 시간 정보를 충분히 반영하지 못하는 한계를 개선하고자, 학습 가능한 extendable patch와 MLP 구조를 결합한 “HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting” 논문이 소개되었습니다. 제안된 방법은 동적으로 패치 길이를 조정해 더 합리적인 segmentation을 수행하고, 기존 패치 방식과의 entropy 차이를 loss로 활용함으로써 extendable patch의 효과를 극대화했습니다. 특히, 패치 길이를 학습 가능하게 설계해 상황에 맞게 유연하게 변경할 수 있도록 한 점이 인상적이었으며, 이를 통해 다양한 정보 흐름을 의미 단절 없이 반영할 수 있었습니다. 다만, 변수 간 상호 관계를 처리하는 구조가 비교적 단순한 MLP에 그친 점과, entropy가 유사도 증가 함수로 설정된 이유가 논문에서 충분히 설명되지 않은 부분은 아쉬움으로 남았습니다. 그럼에도 불구하고, 패칭 방식 자체를 개선하려는 시도와 이를 뒷받침하는 objective 설계 방향은 참신하고 의미 있는 접근이었다고 생각됩니다. 좋은 발표 감사합니다.


  • 2025-08-17 23:16

    이번 세미나는 고정된 패치 구조의 한계를 지적하며, 학습 가능한 확장형 패치(LEP)와 계층적 의존성 탐색기(HDE)를 도입한 “HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting” 논문을 다루었습니다. 단순히 패치를 나누는 것에 그치지 않고, 의미 단위 기반으로 패치를 유연하게 확장하며, Transformer 대신 MLP 구조만으로도 단기·장기·변수 간 상호작용을 효과적으로 모델링했다는 점이 신선했습니다. 다만 패치 확장이 가져올 수 있는 정보 왜곡이나 해석 가능성 저하에 대한 논의가 부족했던 점은 아쉬웠습니다. 그럼에도 Patch Entropy Loss를 통해 정보 다양성을 유도하고, 다양한 데이터셋에서 SOTA 성능과 효율성을 동시에 달성했다는 점에서 분명히 의미 있는 연구라고 생각합니다. 발표 덕분에 최근 시계열 예측 모델이 나아가는 방향을 잘 이해할 수 있었습니다.


  • 2025-08-18 12:46

    금일 세미나는 ”HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting” 논문을 바탕으로 진행되었습니다. 제안 연구에서는 기존에 고정된 길이로 사용하던 patch는 항상 적합한 정보만을 가져올 수 없기에, 고정 길이 패치 방식의 한계를 넘어 학습 가능한 확장형 패치를 도입하여 보다 합리적인 patching을 수행하고, Patch Entropy Loss를 통해 정보 다양성을 정량적으로 유도한 점이 인상적이었습니다. Patch 기반 방법론들이 patch의 size와 stride에 민감하기 때문에, dynamic하게 patching을 수행하는 연구가 있으면 좋겠다라고 생각했던 경험이 있어 더욱 인상적으로 다가온 연구였습니다. 다만 세미나 진행 중 질문에서 나온 것처럼 entropy 손실 항의 정의가 직관과 다소 어긋나는 부분은 아쉬웠고, 변수 간 상호 관계 모델링이나 패치 확장 과정에서의 해석 가능성 문제에서는 조금은 더 깊은 논의가 필요하다고 느꼈습니다. 물론 기존에는 큰 의미 없이 설정하여 사용하던 patching 방식을 근본적으로 adaptive하게 사용 하려는 시도와 이를 뒷받침하는 objective 설계는 의미 있는 접근이라 생각되었습니다. 좋은 발표 정말 감사드립니다.


  • 2025-08-18 13:56

    이번 세미나에서는 “HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting” 논문을 중심으로, 고정된 패치 기반 접근의 한계와 이를 극복하기 위한 새로운 구조가 소개되었습니다. 기존 모델들이 고정 길이 패치로 인해 의미 단절(Semantic Incoherence) 문제를 겪고, 변수 간 관계나 단기 시간 정보를 충분히 반영하지 못한다는 점을 지적하며, HDMixer는 학습 가능한 확장형 패치와 단순한 MLP 구조를 결합해 이를 개선하고자 했습니다. 특히 패치 길이를 학습 과정에서 동적으로 조정할 수 있도록 설계한 점이 신선했고, 이를 통해 더 자연스러운 정보 흐름을 반영할 수 있다는 부분이 인상 깊었습니다. 다만 변수 간 상호작용을 단순한 MLP로 처리한 점은 아쉬움이 남았지만, 패치 구조 자체를 개선하려는 시도와 Patch Entropy Loss를 활용한 학습 설계는 의미 있는 기여라고 생각합니다. 좋은 발표 감사합니다.


  • 2025-08-19 17:08

    이번 세미나는 "HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting" 논문을 중심으로 진행되었습니다. HDMixer가 고정된 patch 구조의 한계를 잘 짚어내고, LEP(Length-Extendable Patcher)와 HDE(Hierarchical Dependency Explorer)를 통해 문제를 해결한 점이 인상적이었습니다. 특히 patch를 학습 가능한 단위로 확장하고 Patch Entropy Loss를 도입해 정보 다양성을 보장한 부분은 기존 연구와 차별화되었으며, 또한 MLP 구조만으로 short-term, long-term, cross-variable dependency를 효과적으로 학습하면서도 연산 효율성을 확보한 점에서 인상깊었습니다. 다만 발표에서 언급된 것처럼 patch 확장 과정에서 정보 손실이나 데이터 왜곡 위험이 발생할 수 있다는 점은 한계로 보이며, 이에 대한 개선이 향후 연구에서 고려될 수 있을 것 같습니다. 좋은 발표 감사합니다!


  • 2025-11-02 00:00

    이번 세미나에서는 “HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting” 논문을 중심으로, 다변량 시계열 예측에서 복잡한 변수 간 상호작용을 정교하게 모델링하기 위한 새로운 구조를 소개해주셨습니다. 이 연구는 기존 고정 길이 패치 기반 방법이 시간 경계 정보를 제대로 반영하지 못한다는 한계를 지적하고, 이를 해결하기 위해 계층적 의존 구조(hierarchical dependency)와 가변 길이 패치 메커니즘을 결합한 HDMixer를 제안했습니다.

    발표에서는 HDMixer의 두 핵심 구성요소로 **Length-Extendable Patcher(LEP)**와 **Hierarchical Dependency Explorer(HDE)**를 소개하셨습니다. LEP는 패치 길이를 학습 가능하게 조정하여 시계열의 의미적 경계를 유연하게 반영하고, HDE는 단기·장기·변수 간 의존성을 계층적으로 탐색해 예측 정확도를 높이는 구조로 설계되었습니다.

    이번 연구는 패치 설계의 유연성과 계층적 의존 모델링을 결합함으로써, 계산 효율성을 유지하면서도 일반화 성능을 개선할 수 있음을 보여주었습니다. 실제 응용에서도 다양한 시계열 구조에 대응할 수 있는 실용적 가능성을 제시한 의미 있는 발표였습니다. 좋은 발표 감사합니다!


전체 532
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 13121
관리자 2020.03.12 0 13121
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 11894
관리자 2020.03.12 0 11894
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 12882
관리자 2020.03.12 0 12882
519
[Paper Review] From Local to Global: A GraphRAG Approach to Query-Focused Summarization (8)
Doyoon Kim | 2025.08.15 | 추천 0 | 조회 581
Doyoon Kim 2025.08.15 0 581
518
[Paper Review] AutoUAD: Hyper-parameter Optimization for Unsupervised Anomaly Detection (5)
Woojun Lee | 2025.08.12 | 추천 0 | 조회 334
Woojun Lee 2025.08.12 0 334
517
[Paper Review] Prototype-oriented unsupervised anomaly detection for multivariate time series (10)
Suyeon Shin | 2025.08.08 | 추천 0 | 조회 589
Suyeon Shin 2025.08.08 0 589
516
[Paper Review] HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting (11)
Sunghun Lim | 2025.08.04 | 추천 0 | 조회 458
Sunghun Lim 2025.08.04 0 458
515
[Paper Review] Multi-Scale Finetuning for Encoder-based Time Series Foundation Models (9)
Hyeongwon Kang | 2025.07.29 | 추천 0 | 조회 643
Hyeongwon Kang 2025.07.29 0 643
514
[Paper Review] Recent Research Trends in Video Anomaly Detection (11)
Jaehyuk Heo | 2025.07.27 | 추천 0 | 조회 692
Jaehyuk Heo 2025.07.27 0 692
513
[Paper Review] Introduction to PINN (Some basic concepts and research directions) (11)
Hankyeol Kim | 2025.07.18 | 추천 0 | 조회 2196
Hankyeol Kim 2025.07.18 0 2196
512
[Paper Review] TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment (10)
Sieon Park | 2025.07.14 | 추천 0 | 조회 757
Sieon Park 2025.07.14 0 757
511
[Paper Review] Exploring Intrinsic Normal Prototypes within a Single Image for Universal Anomaly Detection (9)
Subeen Cha | 2025.07.10 | 추천 0 | 조회 504
Subeen Cha 2025.07.10 0 504
510
[Paper Review] Theory of Everything (About Sequence Modeling with DL Models…) (14)
Jaewon Cheon | 2025.06.27 | 추천 0 | 조회 746
Jaewon Cheon 2025.06.27 0 746

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 김도윤: doyooni303@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호