이번 세미나는 NeurIPS 2024에 게재된 "AutoTimes" 논문을 다루었습니다. AutoTimes는 LLM의 autoregressive 특성을 시계열 예측에 직접 적용하여 다양한 길이의 lookback/forecast를 유연하게 다룰 수 있고, in-context forecasting 개념을 도입해 과거 시계열을 prompt로 활용한다는 점이 인상적이었습니다. 특히 LLM을 동결한 채 소수의 파라미터만 학습해도 SOTA 수준 성능과 함께 학습/추론 비용 절감을 이룬 것은 실용적 가치가 크다고 생각합니다. 다만 adaptor만 추가해도 상당한 성능을 내는 상황에서 전체 구조의 기여도를 좀 더 명확히 보여주었으면 좋겠고, 불확실성 추정이나 다양한 도메인(금융·의료 등)에서의 일반화 가능성, in-context prompt 선택의 민감성, 그리고 LLM 활용이 기존 Transformer 기반 모델 대비 가지는 실질적 이점 등에 대한 논의가 더해지면 연구의 설득력이 높아질 것 같습니다. 좋은 발표 준비해주셔서 감사합니다 🙂

이번 세미나는 기존 LLM을 시계열 예측 과업에 적용시킨 연구들이 Non-Autoregressive한 방식으로 사용하기 때문에, 대부분 Causal Decoder Only 구조에서 좋은 성능을 보이는 LLM의 잠재력을 최대한 활용하지 못한다는 문제점을 제시하고, 이를 개선한 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models”라는 논문에 대한 발표를 중심으로 진행되었습니다. 발표를 들으며 본 논문에서 지적하는 문제점에 공감할 수 있었습니다. 실제 LLM이 효과를 발휘했던 모델 구조를 제대로 채택하지 못한다는 것이 한계가 될 수 있기 때문에 1) Autoregressive 2) Freeze LLM 3) Multimodal에 해당하는 LLM4TS의 핵심 요소들을 잘 만족시킨 모델을 제안했다는 생각이 들었습니다. 그러나 시계열과 텍스트 간 정렬 과정이 충분히 고려되었는지에 대한 의문이 있었고, 이에 대해 입증할 수 있는 실험이 추가적으로 더 진행되었으면 좋겠다는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나는 LLM을 이용한 시계열 예측 방법론을 제시한 "AutoTimes: Autoregressive Time Series Forecasters via Large Language Models"를 중심으로 진행되었습니다. 해당 논문에서 주로 주장하는 바는 기존의 LLM을 활용하는 논문들이 단순하게 feature extractor로서 LLM을 간주하는 과정에서 사전학습과 다른 방식으로 동작하게 하여 성능 저하가 발생한다는 점이었습니다. 이에 해당 논문에서는 각 시점 별 정보를 담당하는 time stamp, 실제 해당 시점의 정보를 담고 있는 단순 MLP의 segement embedding을 이용하고 llm은 별도로 훈련시키지 않아서 LLM이 시계열 modality에 대응하도록 유도하고 있습니다. 이와 같은 단순한 방식은 심지어 autoregressive한 추론 방식과 결합되어 기존 LLM 활용 방법론 대비 높은 성능을 보이고 있습니다. 기존의 LLM 활용 논문들이 대부분 시계열 데이터의 특성을 반영하려고 노력하는데 반해 해당 연구는 LLM의 능력을 최대한 활용하는데 초점을 맞춘 새로운 접근 방법론을 제시하는데 의미가 있는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models” 논문을 다루었습니다. 이 논문은 기존 LLM을 활용한 시계열 예측방법을 제안하고 있습니다. 해당 논문에서는 LLM 전체를 재학습하지 않고, Segmentation 관련 레이어만 학습하며 시계열 데이터의 타임스탬프를 압축하는 임베딩 텍스트를 사용하는 것을 제안하였습니다. 또한, 기존의 non-autoregressive 접근법 대신 autoregressive 방식을 활용하여, lookback length와 prediction length에 관계없이 적용 가능한 방법을 제시하였습니다. 논문은 기존 문제를 명확히 정의하고 해결책을 제시했다는 점에서 의미가 있지만, 논문의 설명이 다소 부족해 핵심 contribution를 명확히 이해하기 어려웠다는 점이 아쉬웠습니다. 그럼에도 불구하고, 문제 정의와 해결 방법을 제시하는 시나리오 구성이 잘 정제되어 있어 향후 논문 작성 시 참고할 만한 가치가 있다고 생각합니다. 논문 내용이 다소 모호해 발표 준비가 쉽지 않았을 텐데, 이해하기 쉽게 정리하고 발표해 주셔서 감사드립니다.

이번 세미나에서는 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models”를 중심으로 LLM의 autoregressive 특성을 시계열 예측에 직접 적용하는 접근을 살펴볼 수 있었습니다. 과거 시계열을 프롬프트로 활용하는 in-context forecasting 설계와, LLM을 동결한 채 소수의 어댑터·세그먼트 임베딩만 학습해 효율성과 성능을 동시에 확보한 점이 특히 인상적이었습니다. 다양한 길이의 lookback/forecast에 유연하게 대응하는 추론 방식은 실제 응용에서 실용적 가치가 크다고 느꼈습니다. 한편 시계열 값과 LLM 토큰 전이 간 정렬의 타당성, 프롬프트 선택의 민감도, 도메인별 일반화와 불확실성 추정에 대한 추가 검증이 이루어진다면 기여가 더욱 명확해질 것 같습니다. 전반적으로 기존 LLM을 단순 feature extractor로 쓰던 한계를 넘어, LLM의 고유한 추론 능력을 시계열에 정제된 방식으로 접목했다는 점이 돋보였습니다. 좋은 발표 감사합니다.​

이번 세미나에서는 "AutoTimes: Autoregressive Time Series Forecasters via Large Language Models" 라는 논문을 주제로 진행되었습니다. AutoTimes는 기존 시계열 예측에 LLM을 적용하면서 발생했던 LLM의 autoregressive 특성과 decoder-only 구조를 충분히 활용하지 못하는 문제를 해결하는 새로운 방법론입니다. 시계열 데이터를 일정 길이의 segment 단위 토큰으로 정의해 LLM의 latent 공간에 임베딩하고, 이를 autoregressively 생성하는 방식으로 미래 시계열을 예측합니다. 또한, 시계열 자체를 프롬프트로 활용하는 in-context forecasting을 도입해 모델이 추가 학습 없이도 과거 데이터를 기반으로 효과적인 예측을 하도록 설계한 점이 인상적이었습니다. AutoTimes는 LLM 본연의 autoregressive 구조를 시계열 예측에 자연스럽게 적용해 기존 한계를 극복하고, 효과적이고 유연한 forecasting 모델로 자리잡을 가능성이 커 보였습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 기존 LLM4TS 연구들이 비자동회귀(non-autoregressive) 방식으로 LLM을 활용하면서 성능을 온전히 끌어내지 못한 한계를 지적하고, LLM의 autoregressive 구조를 그대로 활용한 시계열 예측 모델인 AutoTimes를 제안한 논문을 다루었습니다. 시계열 segment를 토큰화하여 LLM의 latent space에 매핑하고, timestamp 임베딩을 LLM으로 직접 학습하는 방식으로 시간적 연속성을 보존한 점이 인상적이었습니다. 또한 In-context forecasting을 통해 예시 데이터만으로 새로운 환경에서도 예측을 수행할 수 있다는 점이 흥미로웠습니다. 다만 LLM 임베딩 공간과 수치 기반 시계열 토큰 간의 정렬이 충분히 이루어지는지에 대한 검증이 부족한 점은 아쉬웠습니다. 그럼에도 불구하고 LLM의 본질적인 구조를 유지한 채 시계열 예측에 자연스럽게 적용했다는 점에서 의의가 큰 연구였습니다. 발표 덕분에 시계열 예측에서 LLM이 나아갈 방향을 명확히 볼 수 있었습니다.

금일 세미나는 "AutoTimes: Autoregressive Time Series Forecasters via Large Language Models" 논문을 바탕으로 진행되었습니다. 해당 연구는 LLM이 가지는 capability를 바탕으로 시계열 데이터를 예측하기 위하여, LLM에 적합한 autorefressive한 inference 방식을 이용하여 예측을 수행하고 있습니다. 기존의 LLM 기반 시계열 예측 연구들이 대부분 direct한 방식으로 출력을 도출하기 때문에, 기존의 LLM이 디코더 구조에서의 autoregressive한 방식으로 출력을 도출함으로써 가질 수 있는 일반화 능력을 충분히 발휘하지 못한다는 것이 제안 연구에서의 주된 문제제기였습니다. 이러한 문제점을 해결하기 위하여, 해당 연구에서는 LLM의 고유한 token transition을 시계열 예측으로 활용하며, 시간적 맥락을 고려한 임의 길이의 예측 가능하도록 하는 구조를 제안하며, 시계열이 스스로 프롬프트로 활용되는 In-context forecasting을 제안해주고 있습니다. 기존의 LLM 기반 시계열 연구들이 단지 기존의 성능 좋던 LLM에 그냥 시계열을 사용하고 있다는 느낌을 많이 받았는데, 제안 연구에서는 LLM이라는 모델이 가지는 특성에 기반하여 예측을 수행하여 적어도 시계열을 LLM이 잘 추론하기 위해 구성한 점이 인상깊었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 NeurIPS 2024에 게재된 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models” 논문을 발표해주셨습니다. 본 연구는 기존 LLM 기반 시계열 예측 연구들이 LLM의 autoregressive 구조를 충분히 활용하지 못한다는 한계를 지적하고, 이를 개선하기 위해 LLM의 본질적인 디코더 특성을 시계열 예측에 그대로 적용한 점이 핵심이었습니다. 특히, 시계열 데이터를 segment 단위로 토큰화하여 LLM의 입력 시퀀스로 구성하고, timestamp embedding과 segment embedding을 결합해 temporal dependency를 학습하도록 설계한 부분이 인상 깊었습니다. 또한, LLM을 프리징하고 소수의 어댑터 파라미터만 학습하여 효율적인 fine-tuning을 가능하게 했다는 점에서 실용성이 높다고 느꼈습니다. 다만, 수치 기반 시계열 토큰을 LLM의 언어적 latent 공간에 투영하는 과정에서 정보 손실이 발생하지 않는지에 대한 검증이 다소 부족하다고 느꼈습니다. 좋은 발표해주셔서 감사합니다.

이번 세미나는 LLM을 시계열 예측 과업에 적용한 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models” 논문으로 진행되었습니다.
기존 연구들이 LLM을 주로 feature extractor로만 사용하거나 non-autoregressive한 구조를 채택해 LLM의 본래 autoregressive 특성을 충분히 활용하지 못했다는 문제의식이 인상깊었습니다.
특히 본 논문이 제안한 방식처럼 LLM의 고유한 token transition 특성을 시계열 예측에 직접 활용하고, 모델을 freeze한 채 time stamp 및 segment embedding을 통해 시계열 정보를 정렬시키는 접근은 LLM for Time Series 연구의 핵심 방향성을 잘 보여준다고 생각합니다. 좋은 발표 감사합니다!

이번 세미나에서는 NeurIPS 2024에 게재된 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models” 논문을 다루었습니다. 본 연구는 기존 LLM 기반 시계열 예측 방법들이 LLM의 autoregressive 특성과 causal decoder 구조를 충분히 활용하지 못한다는 한계를 지적하며, 이를 근본적으로 개선한 접근을 제안한 점이 인상적이었습니다. AutoTimes는 시계열 데이터를 일정 길이의 segment로 토큰화하여 LLM의 입력 시퀀스로 직접 구성하고, timestamp embedding과 segment embedding을 결합해 시간적 종속성을 모델링합니다.
또한, 과거 시계열 자체를 프롬프트로 활용하는 in-context forecasting 개념을 도입함으로써, 추가 학습 없이도 새로운 환경에 유연하게 적응할 수 있도록 설계된 부분이 돋보였습니다.
논문은 LLM의 언어적 추론 능력을 시계열 도메인으로 자연스럽게 확장한 사례로서, “LLM을 시계열에 맞추는 것이 아니라, 시계열을 LLM에 맞추는” 방향성을 제시했다는 점에서 의미가 크다고 생각합니다. 다만, 수치 기반 시계열을 언어적 latent 공간으로 투영하는 과정의 정렬 타당성, 프롬프트 선택의 민감도, 불확실성 추정 및 도메인 일반화 가능성 등에 대한 검증이 보완된다면 연구의 완성도가 한층 높아질 것 같습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 LLM의 autoregressive 특성을 바탕으로시계열 예측을 수행하는 "AutoTimes: Autoregressive Time Series Forecasters via Large Language Models" 논문을 소개해 주셨습니다. 해당 논문에서 주로 주장하는 바는 기존 LLM 기반 시계열 예측 연구들이 non-autoregressive 방식으로 LLM을 feature extractor처럼 사용함으로써, LLM의 decoder-only 구조와 autoregressive 학습 특성과 불일치하여 잠재력을 제대로 발휘하지 못한다는 점입니다. 이에 해당 연구에서는 시계열을 segment 단위로 분할한 후 단순 MLP를 통해 LLM의 잠재 공간으로 매핑하고, timestamp를 LLM으로 임베딩하여 위치 정보를 통합하며 LLM 파라미터를 동결시켜 효율적인 modality alignment를 실현합니다. 이 접근은 next token prediction을 MSE 손실로 autoregressive하게 학습하여 임의 길이의 multi-step 예측을 가능하게 합니다. 결과적으로 우수한 예측 정확도와 학습/추론 시간 절감을 달성하며, 모델 규모 확대에 따른 scaling behavior도 입증되었습니다. 해당 방법은 시계열의 통계적 특성에 초점을 맞추기 보다는 LLM의 내재된 일반화 능력을 최우선으로 활용하는 혁신적인 패러다임을 제시하는데 의의가 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “AutoTimes: Autoregressive Time Series Forecasters via Large Language Models” 논문에 대해 소개해주셨습니다. AutoTimes는 LLM의 autoregressive 특성을 시계열 예측에 그대로 적용하여 lookback과 forecast 길이에 관계없이 유연하게 대응할 수 있는 점이 인상적이었습니다. 특히 기존 연구들이 LLM을 단순히 feature extractor로 활용한 데 반해, 본 논문은 LLM의 token transition을 시계열 패턴 학습에 직접 연결하고, past series를 프롬프트로 활용하는 in-context forecasting 방식을 제안한 점이 흥미로웠습니다. 또한 LLM 전체를 재학습하지 않고 일부 세그먼트 임베딩만 학습하여 학습/추론 비용을 80% 절감하면서도 SOTA 수준의 성능을 달성했다는 점은 실용적이라고 느꼈습니다. 다만, 시계열 데이터와 텍스트 토큰 간 정렬 방식의 타당성, 프롬프트 구성에 따른 예측 민감도, 도메인 간 일반화 가능성 등에 대한 검증이 보완된다면 좋지 않을까 싶었습니다. 전반적으로 AutoTimes는 LLM의 고유한 autoregressive 메커니즘을 시계열 문제에 자연스럽게 접목한 새로운 시도를 보여준 흥미로운 연구였다고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.

시계열 데이터 분석에의 LLM 적용 연구들이 유의미한 성과를 보이고 있긴 하나, 직관적으로는 LLM 모델의 본질적안 적합성이 잘 와닿지 않기도 했습니다. 그러나 본 연구에서 제안한 LLM을 시계열 데이터에 적합화하는 대신, 시계열을 LLM의 언어적 생성 프레임에 맞추고 있어 보다 자연스러운 연결성이 느껴지는 듯했습니다. LLM을 사용하면서도 상당히 적은 학습 파라미터로도 SOTA급 성능을 확보하는 동시에 학습 및 추론 비용 절감을 달성한 것 역시 시계열 LLM 연구로서 상당히 유의미하다는 인상을 받았습니다. 추가적으로, context 길이 및 tokenization 방식에 대한 민감도와, 다양한 도메인의 데이터에 대한 robustness, 그리고 timestamp embedding 만으로 해결되기 어려울 듯한 긴 주기나 비정상성을 함유하는 데이터에 대한 성능이 궁금하기도 했습니다. 방법론의 novelty와 별개로, 확장 가능성이 보다 확인되면 실질적인 사용이 가능해질 수도 있지 않을까 생각했습니다. 좋은 연구 소개 감사합니다!

이번 세미나에서는 시계열 예측 과업을 수행하기 위해 LLM 기반의 방법론을 제안한 연구가 소개되었습니다. AutoTimes라는 이름의 방법론으로 언어모델의 autoregressive 예측 특성을 시계열 데이터 자체에도 적용하는 방안이 가장 큰 특징이었습니다. 특히 소개해주신 자료에도 있듯이 Related Works에서 다른 방법론들과의 비교를 통해 제안하는 방법론의 강점을 강조하는 표를 제시한게 인상깊습니다. 방법론 자체에 대한 부분에서는 LLM에 절대적인 시간(timestamp)의 정보를 입력하는 것이 실제로도 도움이 되는지도 궁금했고, position embedding이라는 것의 효과를 ablation study 통해서 보여주었으면 어땠을까 하는 생각이 들었습니다. 한편, LLM에 해당 시계열에 대한 정보(ex. 도메인 정보, 변수 설명 등)을 주었을 때 확실히 효과가 있을지, 그것이 LLM의 장점을 활용하는 방안이지 않을까 생각이됩니다. 흥미로운 발표 잘 들었습니다.