NLP, CV에서와 같이 시계열 도메인에서도 foundation model을 구축하려는 시도의 흐름을 흥미롭게 생각했는데, 관련한 논문을 다뤄주셔서 흥미롭게 세미나를 들을 수 있었습니다. 물론 데이터의 형태 자체가 자연어나 이미지보다는 의미론적 다양성이 떨어지는 동시에, 최대한 많은 데이터의 일반적인 분포를 근사하기보다는 특정 데이터에 대한 정확한 예측을 수행해야 하는 경우가 많기에, 시계열 도메인에서도 foundation model의 의의가 충분할지에 대해서는 막연한 의문을 갖고 있으나, 소개해주신 연구와 같은 시도들을 보면 가능성이 있을 수도 있겠다는 기대가 생깁니다. 이 논문에서는 multi-scale data에 대해 일반적인 대응이 가능한 foundation model 학습을 위해 LoRA 기반의 fine-tuning을 수행했는데, Bayesian에 기초한 인과관계부터 논리를 전개한 것이 인상적이었습니다. 다만 causation을 모델에 반영하기 위해 크게 특별한 논리를 사용했다기보다는, 다소 일반적인 방법론을 사용했기에 아쉬웠던 지점도 있었습니다. 그럼에도, multiscale에 대응하기 위한 in-scale attention이나 cross-scale aggregator 등을 결합하고자 한 시도는 유의미했다고 생각합니다. 이후로도 time-series foundation model 연구가 이어져서 타 도메인에서 경험했던 impact를 조금이나마 느낄 수 있었으면 좋겠습니다. 좋은 세미나 감사합니다!

이번 세미나는 시계열 데이터의 foundation 모델에 대해 다루었습니다. 특히 forecasting 과업에 특화된 foundation 모델에 대해 살펴보았습니다. 시계열 데이터의 foundation 모델을 생성하는 것이 다른 유형의 데이터에 비해 많이 까다롭지 않나 생각됩니다. 즉, 텍스트와 이미지의 경우에는 semantic 정보가 확실하기 때문에 foundation 모델 형성의 의미가 있어 GPT나 pretrained with ImageNet 같은 것들이 발전되어 온 것이라 생각합니다. 그래서 본 세미나에서 언급이 된 바와 같이 시계열의 경우에는 scale이라는 semantics를 설정해서 scale 별로 또 scale 간의 정보를 모델링 하는 것을 핵심으로 삼습니다. 아마 존재할 듯한데, 시계열 데이터에 FFR를 적용한 결과에 대해서 주파수라는 semantics에서의 foundation 모델도 충분히 형성될 수 있지 않을까 싶습니다. 흥미로운 발표 감사합니다.

이번 세미나에서는 time-series 데이터에 대한 foundation model의 가능성과 그에 대한 구체적인 접근 방식을 소개해주셨습니다. 텍스트나 이미지와 달리 시계열 데이터는 명확한 semantics가 부족하고, 도메인 특성에 따라 패턴이 크게 달라지는 경우가 많기 때문에 foundation model을 구축하는 것이 상대적으로 까다로운 영역이라고 생각해왔는데, 이번 발표를 통해 그 한계를 극복하려는 다양한 시도들을 알 수 있었습니다. 특히 scale을 semantics의 대체 개념으로 설정하고, 이를 기반으로 설계된 in-scale attention과 cross-scale aggregation 구조는 시계열의 multi-resolution 특성을 잘 활용하고자 한 점이 인상 깊었습니다. 또한 Bayesian 기반의 causal reasoning을 LoRA fine-tuning과 연결지은 방식도 흥미로웠지만, 인과 구조를 반영하기 위한 설계가 비교적 일반적인 수준에 머물렀다는 점은 다소 아쉬움으로 느껴졌습니다. 그럼에도 시계열 도메인에서 pretraining과 generalization의 방향을 구체적으로 모색한 연구였다는 점에서 의의가 있었고, 향후 frequency semantics나 frequency-aware representation과의 연계 가능성도 기대해보게 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 시계열 데이터의 foundation 모델을 주제로 진행되었는데, 시계열 도메인에서 foundation model의 가능성을 인과적 관점에서 새롭게 조명한 점이 인상 깊었습니다. 특히 각 scale에 따라 활성화되는 knowledge module을 명시적으로 분리하고, in-scale attention과 cross-scale aggregator를 통해 시간적 의존성을 정렬하려는 시도는 단순한 구조적 개선을 넘어 실제 causal confounding 문제를 해결하려는 접근으로 보였습니다. 시계열 데이터의 granularity가 혼란 변수로 작용할 수 있다는 점이 현실적인 예시(전력소비량 예측)와 함께 설명되어, 실용적인 문제의식과 학술적 접근이 잘 결합된 느낌을 받았습니다.

다만 인과추론의 개념이 도입되었음에도 불구하고, 도출된 구조가 기존 방법론에 비해 얼마나 더 "인과적"으로 해석될 수 있는지는 조금 더 논의가 필요하지 않나 생각됩니다. 예컨대, backdoor adjustment를 구현한 방식이 실제 causal effect를 얼마나 잘 근사하는지, 또는 scale-specific module이 얼마나 독립적으로 학습되는지를 추가적으로 검증할 수 있다면 더욱 설득력이 있었을 것 같습니다. 그럼에도 다양한 스케일 간 정보를 효과적으로 통합하여 fine-tuning 성능을 끌어올렸다는 점에서 의의가 있다고 생각되며, 이후 forecasting 외의 task로의 확장도 기대됩니다. 좋은 발표 감사합니다 🙂

금일 세미나는 Multi-Scale Finetuning for Encoder-based Time Series Foundation Models 논문을 바탕으로 진행되었습니다. 제안 연구에서는 최근 주요 연구 주제로 급부상하는 time series foundation model의 multi-scale 예측 능력을 인과적인 관점에서 재해석하고, 이를 효과적으로 활용하기 위한 fine tuning framework를 제안하고 있습니다. 우선, 기존의 time series foundation models은 대체로 multi-scale 시계열 데이터로 사전학습되어 있어, 본질적으로 강력한 다중 시계열 스케일 예측 능력을 내포하고 있습니다. 그러나 기존의 단순한 fine-tuning 기법은 입력 데이터의 원래 스케일에만 학습을 국한시키기 때문에, 사전학습된 모델의 잠재력을 충분히 활용하지 못하고, 결과적으로 시간적 패턴의 일부만을 포착하는 한계를 가집니다. 이에 본 연구는 모델이 갖고 있는 multi-scale 예측 능력을 인과적으로 해석하고 이를 fine-tuning 단계에서 활용할 수 있도록 세 가지 핵심 모듈을 제안합니다. 먼저 Scale-specific Knowledge Activation에서는 입력 및 attention 경로에 스케일별 adapter (LoRA, Linear)를 도입하여, 특정 스케일의 표현을 효과적으로 활성화하며, Decoupled Token Dependency Modeling에서는 각 스케일 내에서는 in-scale attention을 적용하고, 스케일 간 종속성을 모델링하기 위해 Coarse-to-Fine 및 Fine-to-Coarse aggregator를 도입하는 방식을 수행하고 있습니다. 마지막으로 Multi-scale Mixing에서는 다양한 스케일의 예측 결과를 가중합 방식으로 통합하여 최종 예측을 구성합니다. Multi-scale patch를 조합한다는 것이 단순한 아이디어 처럼 보였지만, 그 이면의 이론적인 기반이 탄탄했던 좋은 연구였던 것 같습니다. 생소한 개념임에도 불구하고 발표자 분께서 명확하게 설명해 주신 덕분에 이해하는 데 큰 도움이 되었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 시계열 도메인에서의 Foundation Model 구축이라는 주제로, 최근 활발히 논의되고 있는 time-series foundation model의 가능성과 그 구현 방식을 중심으로 진행되었습니다. 텍스트나 이미지에 비해 semantics가 명확하지 않고, 도메인 특성과 granularity가 예측 성능에 큰 영향을 미치는 시계열 데이터에서 과연 foundation model이 어떤 의미를 가질 수 있을지를 고민하게 하는 흥미로운 주제였습니다.
발표에서는 특히 multi-scale 정보를 효과적으로 활용하는 방식을 핵심으로, 사전학습된 모델의 표현력을 극대화하고자 한 다양한 시도들이 소개되었습니다.
예를 들어, 각 scale에 대해 독립적인 knowledge module을 활성화하고, in-scale attention과 cross-scale aggregator를 결합하여 시간적 종속성과 스케일 간 연관성을 모두 포착하고자 한 구조가 인상 깊었습니다.
또한, 단순한 성능 개선을 넘어서 이를 Bayesian 기반 인과 추론의 관점에서 해석하고자 한 시도 역시 흥미로웠으며, LoRA 기반 fine-tuning 기법과의 결합도 실용적인 접근이라는 생각이 들었습니다.
단일 스케일에 국한된 기존 fine-tuning의 한계를 지적하고, 이를 multi-scale semantics를 활용해 극복하려는 이 연구는 시계열 도메인에서 foundation model의 가능성을 새각해보게 한 의미 있는 사례라고 생각됩니다.
시계열 데이터에서의 generalization과 pretraining에 관심 있는 연구자들에게 훌륭한 출발점이 되는 발표였으며, 이후 frequency semantics나 forecasting 외 task로의 확장도 기대해봅니다. 좋은 발표 감사합니다!

이번 세미나는 시계열 데이터의 특성을 고려한 사전학습 및 추가학습 방법론을 제안하는 "Multi-Scale Finetuning for Encoder-based Time Series Foundation Models"을 중심으로 진행되었습니다. 타 도메인과 달리 시계열은 수집 주기 등을 의미하는 scale이 학습에 중요한 고려대상이 됩니다. 특히 논문에서는 이를 인과추론의 관점으로 해석하여 사전학습 및 추가 학습 시 적용되는 scale이 별도의 정보량으로 취급되며, 이를 정확히 반영하지 못하면 결국 왜곡된 모델을 사용할 수 밖에 없음을 보이고 있습니다. 이에 해당 연구에서는 다양한 scale의 데이터를 별도로 처리하는 layer와 cross attn 등을 통해 취합하는 레이어를 제안하고 있습니다. 특히 추가학습 시에 기존 지식을 유지하기 위해 lora 레이어만 scale마다 다르게 적용하여 뛰어난 성능을 보이고 있습니다. 전반적으로 매우 설득력 있는 전개가 인상적인 논문이었습니다. 다만, 실제 구현은 self attn/cross attn과 lora 등으로 구성되고, 실험에서 learnable parameter 수가 통일되지 않아 구조의 효과성을 정확히 확인하기 어려운 점 등은 아쉬움으로 남는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Multi-Scale Finetuning for Encoder-based Time Series Foundation Models" 라는 주제로 진행되었습니다. 본 연구는 Time Series Foundation Model이 지닌 multi-scale 예측 능력을 인과적인 관점에서 재해석하고, 이를 fine-tuning 단계에서 최대한 활용할 수 있도록 새로운 프레임워크를 제안한 점이 인상적이었습니다. 기존 방식의 한계는, 사전학습된 모델이 다양한 시간 해상도(분, 시간, 일 등)의 패턴을 근본적으로 내포하고 있음에도, downstream task에서 입력 스케일에만 국한되어 강점을 충분히 살리지 못한다는 부분인데, 이번 세미나는 각 스케일별로 활성화되는 knowledge module을 명확히 분리하고 scale 내, scale 간 의존성을 분리하여 모델링하는 전략으로 해결책을 제시했습니다. 좋은 발표 준비해주셔서 감사합니다.