이번 세미나에서는 사전 학습된 대규모 언어 모델(LLM)을 시계열 예측에 Reprogramming하는 새로운 접근법인 TimeLLM을 제안한 ‘Time-LLM: Time Series Forecasting by Reprogramming Large Language Models’ 논문에 대해 발표해 주셨습니다. 저자들은 자연어와 시계열 데이터라는 서로 다른 두 모달리티를 align하기 위해 Patch Reprogramming 기법을 도입하고, 모델의 추론 능력을 향상시키기 위해 자연어 가이드라인인 Prompts-as-Prefix를 사용하였습니다. 실험 결과, TimeLLM은 다양한 시계열 예측 작업에서 기존 모델을 능가하는 성능을 보여주었습니다. 특히, 장기 및 단기 예측, Few-shot 및 Zero-shot 설정에서 우수한 성능을 입증했습니다. 이는 TimeLLM이 다양한 데이터와 상황에서 강력한 예측 능력을 가질 수 있음을 시사합니다. 또한, 논문은 Patch Reprogramming과 Prompts-as-Prefix를 통해 LLM을 시계열 예측에 어떻게 적용할 수 있는지에 대한 깊이 있는 분석을 제공하였습니다. 이러한 방법론은 LLM의 추론 및 패턴 인식 능력을 활용하여 시계열 데이터의 복잡한 패턴을 효과적으로 학습할 수 있게 합니다. 해당 발표를 듣고 TimeLLM이 제시하는 방법론이 시계열 예측의 새로운 지평을 열 수 있다고 생각하였습니다. 특히, Multimodal과 관련된 연구를 하고 있는 학생으로서 다양한 모달리티의 데이터를 통합하고, 대규모 언어 모델의 강력한 능력을 다른 분야에 적용할 수 있는 가능성을 열어준 점이 인상적이었습니다. 다만, 실제 적용 시에는 데이터의 특성과 모델의 성능을 면밀히 분석할 필요가 있다고 생각했습니다. 좋은 발표해주셔서 감사합니다.

본 세미나는 박진우 발표자님께서 "Time-LLM: Time Series Forecasting by Reprogramming Large Language Models"이라는 논문을 바탕으로 진행해주셨습니다. 해당 논문은 서로 다른 Modality를 Align하는 Reprogram을 바탕으로 LLM 기반으 Time-series forecasting을 수행하는 방법론을 제안했습니다. 특히 2가지의 기여점이 있는데, 첫 번째는 Patch Reprogramming이라고 하는 서로 다른 Modality인 Tims-series data와 Natural language를 align 함으로써, Time-series data에 대한 Backbone model의 이해능력을 제공하는 것입니다. 두 번째는 Prompt-as-Prefix라고 하는 Time-series의 사전 정보를 자연어 형태로 제공함으로써, LLM의 Pattern recognition과 Reasoning ability를 향상시키는 방법론입니다. 특 Data에 대한 Guideline을 context, instruction, statistics라는 3가지를 Prompt로 주는 방식입니다. 특히 당연하게도 해당 실험은 Zero-shot 성능이 높았다는 것이 흥미로웠습니다. Time-series 데이터는 현업에서 다양하게 들어오는 경우가 많다고 생각하기 때문에, 본 연구의 결과처럼 Zero-shot 성능이 중요하다고 느꼈고 이를 위해서는 LLM을 사용하는 것이 필수불가결처럼 느껴졌습니다. 물론 LLM을 사용하지 않고도, 혹은 distillation 같이 최소한만 사용해서 Zero-shot 성능을 높이는 연구도 해보면 좋을 것 같다고 생각하였습니다. 마지막으로 발표자님이 말씀 주신 것처럼, 도대체 LLM의 어떤 부분이 Time-series task의 성능을 향상시키는지 logit 값을 뽑아보면서 분석해봐도 재밌겠다. 라고 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 NLP 분야에서 사전학습된 LLM을 이용한 Time Seriese Forecasting 태스크를 수행한 "Time-LLM: Time Series Forecasting by Reprogramming Large Language Models"을 중심으로 진행되었습니다. 최근 대량의 코퍼스로 매우 많은 파라미터를 사전학습한 LLM이 시계열 도메인에서도 유의미한 모델일 수 있다는 연구 결과물이 발표되고 있습니다. 해당 논문 역시 이러한 LLM을 활용하되 자연어로 구성된 데이터 메타 정보와 시계열 정보를 잘 융합하여 LLM의 입력으로 삽입하는 방법론을 제안합니다. 구체적으로 기존의 메타 데이터는 Embedding Layer를 이용하여 입력하게 되고, Patch 단위의 시계열 데이터는 Multi Head Attention Layer에서 Patch 정보를 Query로, Embedding 파라미터를 Key, Value로 하여 입력하고 있습니다. 이를 이용하여 전혀 다른 도메인이지만, LLM이 사전학습 시 입력되었던 Representation의 분포를 유지할 수 있는 장점이 있습니다. 실제로 성능 측면에서도 최근 발표되고 있는 시계열 도메인의 모델 및 단순 GPT 활용 방법론 대비 높은 성능을 보이면서 Long/Short-Term 예측 및 Few/Zero-Shot에서도 매우 좋은 성능을 보이고 있습니다. 시계열 도메인에서 사전학습 데이터를 수집하고 이를 가공하여 사전학습된 모델을 구축하는 작업이 매우 까다로운 것으로 알려져 있는데, 이를 우회하는 방법의 일환으로 LLM을 활용하는 연구가 지속되고 있는 것 같습니다. 향후 데이터 별 상이한 변수의 갯수를 고려하고, OOD Detection에도 사용될 수 있는 일반화된 시계열 모델의 등장을 기대해봐도 좋을 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 LLM을 시계열 분석에 활용한 연구인 "Time-LLM: Time Series Forecasting by Reprogramming Large Language Models "을 중심으로 진행되었습니다. 해당 연구는 단순히 사전학습된 LLM을 시계열 도메인으로 fine-tuning하는 것에 그친 기존 LLM4TS 연구에서 나아가 자연어와 시계열을 align하는 방법론을 제안합니다. 이를 위해 Patching된 시계열과 시계열의 특성을 설명할 수 있는 Connecting language cues 간의 cross-attention을 수행하는 Patch Program을 제안합니다. 또한, 입력되는 시계열 데이터에 대한 정보를 prompt template에 맞춰 언어 모델에 입력한 뒤 해당 representation을 반환하는 Prompt-as-prefix 모듈을 제안합니다. 이후, 두 모듈의 출력을 concat한 뒤 사전 학습된 언어 모델에 입력하고, Task에 적합한 Output Projection을 거쳐 최종적인 출력을 반환합니다. "상승" "급락" "하락" 등 시계열의 특성을 설명할 수 있는 데이터와 시계열을 matching 시켜 두 모달을 align 하는 방법론이 매우 참신한 것 같습니다. 또한, 데이터 셋 별로 특성이 매우 다른 시계열의 특성상 Prompt Template을 활용하여 추가적인 정보를 제공하는 점이 매우 독창적입니다. 두 개의 모달을 모두 적절히 활용하기 위해 적합한 방법론을 제안했다는 생각이 들며 prompt를 활용하는 방안은 특히 확장성이 많아 보여 매우 관심있게 세미나를 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 LLM을 Time Series 영역에 활용한 연구인 'Time-LLM: Time Series Forecasting by Reprogramming Large Language Models' 논문을 소개해 주셨습니다. 해당 연구에서는 서로 다른 Modal인 시계열과 자연어를 align하기 위해 1) Patch Reprogramming과 2) Prompt-as-Prefix (PaP)를 제안하고 있습니다. 먼저 1) Patch Reprogramming의 경우 단일 시점의 scalar 값은 semantic information을 제공할 수 없기에 patching을 진행하여 Local semantic information을 보존하고자 하였으며, 이를 text domain에 align시키고자 시계열 데이터의 특성이나 변화를 설명할 수 있는 'Short', 'Steady'와 같은 text를 Connecting language cues로 정의하며 이를 TS Patch와 Cross-attention하여 representation을 도출하고 있습니다. 이 때, Connecting language cues를 도출해내기 위해 전체 vocab을 load하는 것은 불필요하기 대문에 이를 linear layer로 핵심 단어로만 이루어진 Text prototypes를 구성하여 TS Patch와 Cross-attention을 진행하는 것을 알 수 있었습니다. 또한, 2) Prompts-as-Prefix (PaP)의 경우에는 Reprogrammed Time-Series Patches를 더욱 잘 이해할 수 있도록 Template 기반의 Prompts를 Prefix로 사용하여 Downstream task의 수행능력을 키우고자 Dataset의 사전 정보를 자연어 형태로 제공하고 있습니다. 보다 자세히는 Dataset의 필수적인 정보, Downstream task에 대한 guideline, 통계량 등을 같이 제공하고 있습니다. 최근 LLM을 활용한 시계열 연구들과 비교했을 때 해당 연구 또한 여전히 왜 LLM이 시계열 도메인에서 잘 작동하는지에 대한 설명이 부족하여 아쉬웠지만, 시계열을 text domain에 맞춰 정밀하게 모델을 디자인하지 않았나 생각이 들었던 것 같습니다. 끝으로, 최근 LLM을 활용한 시계열 연구 흐름에 대해 쉽게 설명해 주신 발표자분께 감사드리며 발표자분의 향후 연구 또한 기대가 되었던 것 같습니다. 좋은 발표 감사드립니다!

이번 세미나에서는 “Time-LLM: Time Series Forecasting by Reprogramming Large Language Models”라는 연구에 대해서 소개해 주셨습니다. 해당 연구에서는 Text와 시계열이라는 두 가지 모달리티의 데이터를 함께 LLM의 입력으로 사용합니다. 이를 위해 시계열 데이터에 Patch Reprogram 과정을 거쳐 두 모달리티를 Align한 후, LLM의 Input으로 사용해 시계열 예측을 수행합니다. 이때 텍스트는 시계열 데이터에 대한 기본적인 정보, Task Instruction, 시계열 데이터의 Trend, Lag 또는 중앙값 등의 통계적인 정보를 포함시켜 LLM이 시계열 Downstream Task에서의 성능 향상을 도모했습니다. 시계열 데이터 Patch Reprogram 과정에서는 시계열 데이터의 특성이나 변화를 설명할 수 있는 토큰인 “short”, “long”, “up”, “down” 등의 토큰들과 시계열 패치 간의 Cross-Attention을 수행해 Patch Representation을 도출합니다. 논문에서 제시한 실험 결과 높은 성능을 보였지만, 실험 세팅에 대한 의구심이 들긴 했습니다. 예를 들어, Zero-shot Setting에서는 ETTh1 데이터셋으로 모델을 학습한 후, ETTh2에 대한 성능을 측정하고 이를 Zero-shot Setting이라고 했는데 이것이 Zero-shot이라고 할 수 있는지에 대한 의문이 들었습니다. 그럼에도 불구하고 LLM을 시계열 예측 Task에 효과적으로 사용하기 위해 Discrete한 자연어와 Continuous한 시계열 데이터의 임베딩을 Align 시키는 과정이 흥미로웠습니다. 트랜스포머 계열 멀티모달 방법론에서 두 모달리티 간에 Cross-Attention을 이용하는 사례를 이전에 본 적이 있는데 해당 방법론도 이와 동일한 방식을 취했습니다. 시계열 데이터에 대한 임베딩을 구할 때만이 아니라 텍스트 임베딩을 산출할 때에도 각 모달리티 별 토큰 혹은 패치를 Query로 사용하고 다른 모달리티를 Key, Value로 사용하면 성능이 어떻게 변할지도 궁금합니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Time-LLM: Time Series Forecasting by Reprogramming Large Language Models”라는 논문을 소개해 주셨습니다. LLM을 시계열 예측에 적용하는 새로운 방법론인 TimeLLM은 시계열 데이터와 자연어 처리를 결합하여, 시계열 데이터의 변동성을 자연어로 표현하고 이를 LLM에 적용하는 것을 목표로 합니다. TimeLLM애서는 시계열 데이터의 각 시점을 자연어와 유사한 형태로 변환하는 Patch Reprogramming 기술과, 모델의 예측 능력을 끌어올리기 위한 자연어 가이드라인인 Prompts-as-Prefix 기법을 적용하여 LLM으로 하여금 시계열 데이터의 잠재적인 패턴과 변동성을 인식할 수 있게 해주었습니다. Timeserires 분야에 LLM을 접목시키려는 다양한 연구들을 최근들어 많이 들었는데, 이에 대한 taxonomy를 직접 나누어주시고 설명해주셔서 조금 더 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Time-LLM: Time Series Forecasting by Reprogramming Large Language Models"에 대해 소개해주셨습니다. 그동안 다루어 주셨던 시계열 데이터는 그 특성상 foundation model을 학습하기 어려운 점들이 존재하며, 이에 따라 최근에는 LLM을 도입한 시계열 연구들이 활발하게 진행되고 있음을 언급해주셨습니다. 해당 논문에서는 Path Reprogram이라는 아이디어를 통해 문제를 접근하고 있습니다. 이는 시계열 데이터를 natural language domain에 align 시키는 과정으로, 시계열의 특성과 변화를 설명할 수 있는 connecting language cue를 TS patch와 cross attention을 수행하여 patch representation을 도출합니다. 과정은 크게 2가지로, connecting language cue를 구하는 것과 TS patch와 connecting language cue와의 cross attention입니다. connecting cue를 도출하는 단계에서는 pre-trained word embedding 중 필요한 단어들만을 활용하기 위해 linear를 통해 vocab을 줄여 핵심 단어로만 text prototype을 구성한다는 특징이 있습니다. 시계열 연구 분야에서 LLM의 접목에 대한 새로운 시각을 알아볼 수 있었던 시간이었습니다. 좋은 발표 감사드립니다.