금일 세미나에서는 LLMTIME: Large Language Models Are Zero-Shot Time Series Forecasters 논문을 소개해 주셨습니다. 최근 ChatGPT의 영향으로 LLM이 큰 관심을 받고 있는데, 이러한 영향이 시계열 연구에도 영향을 미치고 있는 것 같습니다. 발표자분이 소개해주신 LLMTIME 역시 비슷한 계열의 연구이며, 기존의 LLM(GPT-3, LLAMA)의 구조를 그대로 활용하여 Zero-shot 시계열 예측을 수행하고 있습니다. 이때, 논문에서는 LLM에 시계열 Input을 넣기 위하여 다양한 전처리 및 분석을 진행하고 있습니다. 먼저 시계열 Value(실수 형태)를 Text embedding으로 표현하기 위하여 Tokenization을 진행하는데, 사용하고자 하는 LLM에 맞춰 서로 다른 Tokenization을 진행합니다. 이후 Rescaling을 수행하여 Token 수를 줄이고, 자리 수가 넘어가는 경우에 대해서도 LLM이 인식할 수 있도록 하고 있습니다. 마지막으로는 Discrete probability 모델인 LLM을, Continuous probability 모델로써 근사시키기 위하여, Continuous likelihood라는 방법을 이용하고 있으며, 이를 바탕으로 Output을 도출하고 있었습니다. 기존에 등장하였던 LLM 및 시계열 연구와는 다르게, 전혀 다른 형태로 Input을 구성하는 것이 참신하게 다가왔으나, 실수 형태인 시계열 데이터를 문자열로써 구성하여 넣으면 모델이 내부적으로 시계열 데이터가 가지는 특성들을 잘 반영할 수 있을까라는 생각이 들었습니다. 또한, 모델마다 다른 Tokenizer를 사용하거나, 다른 형태의 전처리를 해주어야 하는 점이 아쉽다고 느껴졌습니다. 발표자 분이 전체적으로 잘 정리해 주셨기 때문에 훨씬 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

금일 세미나는 시계열 데이터를 토큰화하여 LLM에 활용한 "LLMTIME: Large Language Models Are Zero-Shot Time Series Forecasters"을 중심으로 진행되었습니다. 최근 시계열 도메인에서 LLM을 이용한 연구가 활발히 진행중인 것으로 알고 있습니다. 대부분의 연구들이 Representation 단위로 학습/추론을 진행하는 반면, 해당 연구는 LLM의 기존 입력값인 토큰을 이용하고 있습니다. 이는 숫자 데이터 역시 토큰화 될 수 있다는 점을 이용한 것으로, 단순한 방법론이지만 시계열 데이터에 효과적인 적용을 위해 1) rescaling, 2) sampling, 3) continuous likelihood를 제안하고 있습니다. 특히 토큰화 과정에서는 시계열 데이터의 특징을 살리기 위해 숫자들을 모두 분절하여 입력하거나, 생성 과정에서 하나의 수를 생성하기 위해 각 단위별 확률을 고려하는 continuous likelihood는 LLM에 대한 학습이 없이도 시계열 도메인 적용을 위해 고려해야 할 요소가 많은 점을 잘 드러내고 있다고 생각합니다. 다만 실제 실험 측면에서 제안 방법론의 성능을 부각하기 위해 여러가지 제약이 사용된 것으로 보이고, 평가 지표 및 비교 방법론들 역시 다소 편의에 중심을 두고 구색을 맞추었다는 인상을 받을 수 있었습니다. Large Language Model이 다양한 도메인에 활용되면서 시계열 도메인에 적용된다면 과연 그 방향성은 무엇일까? 하는 의문이 있었는데, 이에 대한 방향성을 제시하는 좋은 논문인 것 같습니다. 감사합니다.

이번 세미나에서는 "Large Language Models Are Zero-Shot Time Series Forecasters" 논문을 바탕으로 LLM을 이용한 시계열 예측 방법인 LLMTIME에 대해 소개해 주셨습니다. LLMTIME은 LLM의 기존 입력값인 토큰을 이용하여 시계열 데이터를 처리하는 방법으로, 숫자 데이터 역시 토큰화 될 수 있다는 점을 이용한 것입니다.
시계열 값을 텍스트 임베딩으로 표현하기 위해 Tokenization을 수행합니다. 이때, gpt타입은 시계열 값의 특성을 고려하여 자리수마다 공백을 추가하여 tokenizing을 수행하고 llama타입은 공백을 추가하지 않습니다. 또 이렇게 tokenize된 token들에 대해 수를 줄이고, 자리 수가 넘어가는 경우에 대해서도 LLM이 인식할 수 있도록 하기 위해 Rescaling 하는 방법을 택했습니다. 이러한 전처리 과정을 통해 LLMTIME은 다양한 시계열 데이터에 대해 Zero-shot으로 예측을 수행할 수 있습니다. 결과적으로 LLMTIME은 LLM을 시계열 데이터에 적용하는 새로운 방법으로, 기존의 시계열 예측 방법에 비해 성능이 우수한 것을 확인할 수 있었습니다. 요즘 연구들에서 modal간의 장벽이 조금씩 사라지는 느낌이 들고 있습니다. 이렇게 흥미로운 논문을 소개해주신 발표자님께 감사드립니다.

이번 세미나에서는 LLM을 이용해 zero-shot time series forecasting을 위한 framework인 LLMTIME을 제안한 Large Language Models Are Zero-Shot Time Series Forecastors, Gruver et al., NeurIPS 2023 논문을 다뤄주셨습니다. 시계열 Task에 LLM을 사용한다는 것이 잘 와닿지 않는데 본 논문에서는 LLM이 갖고 있는 예측 능력을 Time series에 적용하기 위한 Tokenizing, rescaling, continuous likelihood를 제안하고 있습니다. 시계열 데이터의 형식과 feature를 LLM에 맞춰 변형 하여 inference를 한 뒤 이를 다시 시계열 데이터로 변환하는 과정 혹은 프레임워크로 생각할 수 있는 것 같습니다. 시계열 데이터에서는 사전학습이 어렵기 때문에 대규모 데이터의 이점을 잘 살릴 수 없다는 문제가 있었지만 LLM을 이용한다면 이러한 문제를 극복할 수 있지 않나 생각이 들었습니다. 다만 시계열 모델 또는 방법론의 가벼운 무게의 이점이 LLM 때문에 사라진다는 것은 아쉽지만 추후 발전 가능성은 농후하다 생각이 들었습니다. 좋은 발표 감사합니다!

금일 세미나는 Large Language Models Are Zero-Shot Time Series Forecasters 라는 논문을 주제로 진행되었습니다. 해당 논문에서 시계열 데이터의 특징으로 인해 사전학습이 어려운것을 설명합니다. 대규모 사전학습 데이터셋이 없기 때문에 시계열에서 Pretrain 방법을 활용하기 힘들다는 점인데, 이를 해결하기 위해 LLM 을 활용한 Zero shot 시계열 예측을 수행합니다.
시계열 value 를 LLM 에 입력하기 위해 자체적인 TOKENIZATION 을 수행하고, 효율적인 예측을 위해 rescaling sampling continuous likelihood 를 사용합니다. 간단하게 수치값을 토그나이징하고, 조건부확률로 계속해서 확률값을 계산합니다. 이러한 수치값이 토크나이징을 하면 이산적인 값인데 이를 확률모델로 근사하는 방법이 인상적이였습니다. 사실 이런 시도를 하는게 너무 신기했고, 이게 정말 맞는 접근인가에 대해서는 의아함이 남아있지만, 만약 숫자자체를 언어모델로 해석할 수 있다면 새로운 연구의 방향이 되지않을까 생각합니다.

이번 세미나에서는 Large Language Models Are Zero-Shot Time Series Forecastors 라는 논문을 다루었습니다. 해당 논문은 LLM을 활용하여 zero-shot 시계열 예측을 수행하는 방법론을 제안합니다. 해당 방법론은 backbone 모델로 사전학습된 LLM을 그대로 사용하고 시계열 데이터 처리를 효과적으로 수행하기 위해 tokenization을 비롯한 다양한 방법을 제안합니다. 먼저, 시계열 데이터는 실수이기 때문에 이를 text embedding 형태로 표현하기 위해 자리수마다 공백을 추가하고 고정된 자리수로 소수를 표현합니다. 또한 token 수를 줄이고 자리수를 초과하는 경우에도 LLM이 인식할 수 있도록 rescaling을 수행합니다. 그리고 top-k value를 LLM으로 샘플링하여 deterministic, probabilistic 예측을 모두 수행합니다. 마지막으로 각 자리수마다 값을 예측하도록 하여 LLM의 이산확률 분포를 연속확률 분포로 근사하는 방법을 제안합니다. 실험에서 다양한 데이터에 대해 Baseline보다 어느정도 높은 성능을 기록하였습니다. 이번 세미나에서 시계열 예측에 LLM을 사용하는 방법론을 처음으로 접해보았는데 아이디어가 참신하였고 아직 동작 원인에 대해서는 크게 밝혀진 것이 없는 것으로 보아 연구 가능성이 충분한 분야라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 LLM(Large Language Model)을 시계열 예측에 적용하는 "LLMTIME: Large Language Models Are Zero-Shot Time Series Forecasters"에 대한 논문 리뷰를 진행해 주셨습니다. 이 연구는 특히 LLM의 기존 입력값인 토큰을 시계열 데이터에 적용하는 방식을 제안함으로써 기존 시계열 예측 방법과 다른 점을 부각합니다. 이 연구에서 제안한 방법론은 시계열 값의 텍스트 임베딩을 위한 Tokenization, Rescailing, Sampling, Continuous Likelihood에 중점을 두고 있습니다. 토큰화 과정에서는 숫자 데이터를 효과적으로 분절하여 LLM에 적합한 형태로 변환하는 독창적인 접근을 보여주었습니다. 특히 Continuous Likelihood 방법을 통해 이산확률 모델인 LLM을 연속확률 모델로 근사화하여, 시계열 값 예측에 활용한 점이 매우 인상깊었습니다. 이는 숫자 데이터를 이산형의 패턴이 있는 문자로 치환하여 LLM이 시계열 예측에 유용하게 사용될 수 있음을 보여주었습니다. 그러나 이러한 방법론에도 불구하고, ‘Zero-shot’ 이라는 개념에서 일부 의문점이 제기되고 있습니다. 현재 시계열 분야에서 LLM의 적용은 여전히 초기 단계이며, 이러한 방식이 실제로 얼마나 효과적인지에 대한 추가 연구가 필요하다는 생각을 하게 되었습니다. LLM이 현재 부각되고 있는 현 상황에서 시계열 데이터와 같은 전통적인 숫자 데이터를 LLM에 적용하는 아이디어가 매우 참신하였으며 앞으로 시계열 예측 분야에서 발전 가능성이 매우 많다고 느끼게 되었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 “LLMTIME: Large Language Models Are Zero-Shot Time Series Forecasters”라는 연구에 대해 소개해 주셨습니다. 해당 연구는 LLM의 구조를 활용하되 시계열 데이터에 맞게 Tokenization,Rescaling을 비롯한 일련의 전처리를 수행해 Time Series Forecasting을 수행하는 방법론을 제안했습니다. One Fits All이라는 논문을 처음 연구실 동료 분을 통해 알게 된 시점에서 드디어 PLM이 Vision 분야를 넘어 Time Series 분야까지 도달했다는 것이 인상적이었습니다. 이후 Time Series 분야에서도 PLM을 Backbone으로 활용한 연구가 서서히 등장해 흥미롭게 지켜볼 수 있었습니다. LM에게는 데이터를 인식하는 최소한의 단위가 Token 단위라 Tokenization이 매우 중요합니다. 해당 연구에서 제안한 Tokenization 방법은 실수 형태의 시계열 값의 Embedding을 위해 각 시계열 숫자 하나를 통째로 하나의 Token으로 임베딩하는 것이 아니라 자리수마다 공백을 추가해 Tokenize하는 방식을 취했습니다. 또한 자연어 데이터와 달리 시계열 값은 숫자에 소수점이 존재하는 경우가 많기에 고정된 자리수로 값을 표현해 소수점을 사용하지 않는 방법 또한 적용했습니다. 실험 결과 LLM이 우수한 Zero-shot Performance를 보였는데 LLM이 시계열의 주기성 및 차분을 잘 포착하고 있는 것이 주요한 이유라고 서술했습니다. 해당 논문 외에도 Time Series 분야에 PLM을 활용한 연구들은 왜 PLM이 준수하거나 높은 성능을 보이는지에 대한 원인을 언급 혹은 분석 시도를 했으나 아직 명확하게는 분석이 되지 않아 발표자 분께서 말씀해주신 것처럼 이 또한 중요한 연구가 될 것입니다. 마지막까지 좋은 발표 감사드리고 2년 동안 수고 많으셨습니다.

이번 세미나는 LLM을 활용한 시계열 예측을 주제로 한 "Large Language Models Are Zero-Shot Time Series Forecasters"라는 논문에 대해 소개해주셨습니다. 논문의 제목처럼 LLM을 통해 zero-shot으로 time series forecasting할 수 있는 방법론을 제안했습니다. 해당 논문에서는 시계열 데이터를 LLM을 통해 처리하고자 시계열 데이터를 tokeniziation하는 방법론을 제안했는데, 실수 값인 시계열 데이터를 임베딩 하기 위하여 자리 수를 고정하고 숫자 자체를 분절하는 방식을 사용했습니다. 이 때, 자리 수를 초과하는 소수점 또한 표현하고자 rescaling을 도입했습니다. 최종적으로 LLM을 통해서 예측한 후 이를 다시 시계열 데이터 값으로 변환함으로써 시계열 데이터에 대한 예측을 수행하였습니다. LLM 모델을 시계열 예측에 적용할 수 있다는 생각해 본 적이 없어서 저자들이 제안한 방식이 참신하다는 생각이 들었지만 여전히, 이게 왜 잘 작동하는지에 대한 직관적인 이해는 되지 않는 것 같습니다. 그럼에도 불구하고, LLM의 또 다른 활용 가능성을 제시했다는 점에서 매우 흥미로웠습니다. 좋은 발표 감사드립니다.

금일 세미나에서 시계열 데이터를 LLM에 넣어 활용한 "LLMTIME: Large Language Models Are Zero-Shot Time Series Forecasters" 을 소개해주셨습니다. 최근 LLM의 활용이 Language Modal 뿐만 아니라, image, timeseries 도메인까지 널리 활용되고 있습니다. 해당 논문에선 시계열 데이터를 LLM에 사용하기 위해, 시계열 데이터의 숫자 정보를 공백추가, 자리수 변환, 이후 tokenization을 거쳐 text embedding 형태로 바꾸어 넣어주게 됩니다. 해당 방식으로 tokenize 된 값들의 rescaling 또한 적용하여, 자리 수가 넘어가는 문제 또한 방지했습니다. LLM이 이산적인 자연어 생성을 위한 모델임에도, 연속적인 시계열 데이터 예측을 위해 데이터 처리에 신경써, 모델이 잘 동작하도록 만든 것이 매우 인상깊었습니다. 이제는 정말 모달 간의 장벽이 점점 없어짐을 느꼈던, 흥미로웠던 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나는 Time-series forecasting 연구에 LLM을 사용한 LLMTIME: Large Language Models Are Zero-Shot Time Series Forecasters를 주제로 진행되었습니다. 모델 구조만 그대로 가져다 사용했던 기존의 LLM을 사용한 연구들과 다르게 텍스트 자체를 입력을 하도록 tokenization 방법을 사용하였습니다. 또한, LLM의 이산적인 결과를 연속확률 모델로 근사하기 위해 continuous likelihoods 방법을 제안하였습니다. 해당 방법을 통해 각 자리수 마다 값을 예측하도록 하였습니다. 기존의 LLM을 사용한 연구들과 다르게 시계열 데이터를 진짜 텍스트로 다루려고 했던 점이 인상 깊었지만, 텍스트로 다루기 위해 시계열적 특징은 모두 배제하고 억지로 끼워 맞추는 느낌이 굉장히 강하게 들었습니다. 또한 실험파트에서 실제 수치를 기록하지 않으며 그래프로만 보여주는 점, 그리고 각 데이터셋에 동일한 baseline 모델을 비교하지 않았으며, 최신 방법론들과의 비교가 없다는 점이 해당 논문의 신뢰성을 낮춘다고 생각합니다.

이번 세미나에서는 'Large Language Models Are Zero-Shot Time Series Forecasters'라는 논문을 중심으로, Large Language Models(LLM)을 시계열 예측에 활용하는 새로운 접근에 대해 논의했습니다. 발표자는 특히 시계열 데이터의 Tokenization, Rescaling, Continuous likelihoods 적용 방법에 초점을 맞췄습니다. 이 방법들은 시계열 값을 텍스트 임베딩으로 변환하고, LLM의 이산확률 모델을 연속확률 모델로 근사하는 데 중요한 역할을 합니다. 하지만, 실수 데이터를 문자열로 변환하는 접근과 모델마다 다른 전처리 요구는 의문을 남겼습니다. 발표자의 명확한 설명은 주제에 대한 이해를 도왔으며, LLM의 시계열 분야 적용에 대한 흥미를 불러일으켰습니다. 전반적으로 혁신적이지만, 여전히 해결해야 할 의문점들이 존재합니다. 좋은 발표 감사합니다.

금일 세미나에서는 Large Language Models Are Zero-Shot Time Series Forecasters를 주제로 발표가 진행되었습니다. LLM이 점점 발전함에 따라 다양한 task들이 LLM을 사용하여 문제를 풀이하고 있습니다. 기존 논문들이 전혀 다른 modality임에도 불구하고 prompting만으로 문제를 해결하는 경향이 있었으나, 해당 논문에서는 시계열 데이터를 위한 tokenization부터 진행되었습니다. 개인적으로는 이러한 시도들이 참신한 도전일 수 있겠으나, 시계열을 왜 LLM으로 풀이해야 하는가에 대한 research motivation을 깊게 공감하기는 어려웠습니다. 실제로 논문 리뷰를 살펴보면, 극과 극의 리뷰를 확인할 수 있다는 점이 매우 인상깊었습니다. 새로운 시각의 연구를 리뷰해주셔서 재미있게 들을 수 있는 발표였습니다.

이번 세미나에서는 "Large Language Models Are Zero-Shot Time Series Forecasters" 논문을 다루어 주셨습니다. 본 논문에서는 LLM을 이용하여 zero-shot time-series forecasting을 수행하는 LLMTIME을 소개해 주셨습니다. LLM을 time series 분야에 적용하게 되는 배경 연구를 함께 소개해 주셔서 이해에 많은 도움이 되었습니다. 본 논문에서 제안하는 LLMTIME에서는 LLM을 그대로 사용하기 위한 전처리를 수행하고 있는데, 이중에는 시계열 value를 LLM에 입력하기 위해 자체적인 tokenization을 수행하는 과정이 포함되어 있습니다. 이 부분에 있어 실수값인 시계열 value 특성을 고려하여 텍스트 임베딩으로 표현하고 있습니다. 타논문들 대비 분석 부분을 다수 제공하고 있는 부분이 인상적이었습니다. 마지막까지 세미나 발표 준비 하시느라 수고 많으셨습니다. 좋은 발표 감사합니다!

금일 세미나는 기존 LLM (GPT3, LLAMA)의 구조를 활용하여 Zero-shot time-series forecasting 방법을 제안한 'Large Language Models Are Zero-Shot Time Series Forecasters'라는 논문을 소개해 주셨습니다. 해당 논문에서 제안하는 LLMTIME은 LLM을 Time-series 분야에 적용했다는 점에서 개인적으로 흥미가 많이 갔던 것 같습니다. 제안되는 LLMTIME에서는 tokenization부터 시작하고 있습니다. Tokenization에서는 시계열 value를 text embedding으로 표현하는 과정에서 각 자리수마다 공백을 추가하여 tokenizing을 수행하고 있으며 소수점을 입력으로 사용하지 않기 위해 고정된 자리수로 값을 표현하는 방식을 제안하고 있습니다. 이후 Rescaling을 거쳐 Continuous likelihoods라는 방식을 통해 이산확률 모델을 연속확률 모델로 근사하는 방식을 채택하고 있습니다. 각 자리수마다 값을 예측하는 Continuous likelihoods을 통해 최종적으로 해당 방식으로 시계열 value를 예측을 진행하고 있으며 실험결과로 Probablistic metric을 사용했을 때 reporting 결과를 보면 성능의 향상을 확인할 수 있었습니다. 다만, 논문의 제목에도 써있고 발표자분께서도 언급해주셨듯이 과연 Zero-shot이라고 말을 할 수 있는지에 대한 의문점이 있었던 것 같습니다. 최근 LLM을 시계열 분야에 많이 접목하는 추세이긴 하지만 Zero-shot이 가능함을 보이는 연구에서는 아직까지 많은 의문점이 들 수 밖에 없기 때문에 LLM이 왜 시계열 분야에 잘 작동하는지에 대한 How, Why에 대한 의문점부터 해결해야 연구자의 입장에서 논리적으로 납득할 수 있는 현재 시점이라고 생각이 들었던 것 같습니다. 끝으로, 금일 발표자분께서 진행해주셨던 발표가 마지막이었기에 더욱 아쉬웠고 이러한 좋은 발표를 더 이상 들을 수 없음에 아쉬웠지만 발표자분을 통해 시계열과 관련한 많은 것들을 배울 수 있어서 정말 감사했다는 말씀을 드리고 싶습니다. 좋은 발표 감사합니다!

이번 세미나는 거대언어모델(LLM)을 이용하여 시계열 데이터 과업을 수행하는 연구에 대해서 소개되었습니다. 기존의 숫자로 되어있는 데이터 값을 텍스트화하여 zero-shot 상황에서 forecasting을 수행하는 방법론에 대한 연구였습니다. 크게 tokenization, rescaling, sampling, continuous likelihood 등의 과정을 거치게 되는데 이 중 rescaling이 인상 깊었습니다. 값의 범위가 변수 별로 다를 것이고 이에 대한 scale을 조정함으로써 더 엄밀히는 소숫점 자리를 통일함으로써 언어모델에 입력시, 즉 tokenization 시 잘 구분할 수 있도록 함이라고 이해됩니다. 더불어, 소숫점 자리를 통일함으로써 연속형의 숫자를 이산형의 패턴이 있는 문자로 치환할 수 있는 특징도 가지게 되는 것 같습니다. LLM으로 모든 것이 가능한 상황 속에서 시계열 데이터를 다루는 아이디어 자체는 참신하나 그 효용성은 얼마나 될지는 잘 모르겠습니다. 위에서 언급한 tokenizing, rescaling 등의 과정을 거치는 것 보다기존의 시계열 전용 모델/방법론들이 더 효율적이지 않을까라는 생각도 남겨봅니다. 흥미로운 주제의 세미나였습니다. 감사합니다.

본 세미나는 이성계 발표자님께서 "Large Language Models Are Zero-Shot Time Series Forecasters"라는 논문을 바탕으로 진행해주셨습니다. 해당 논문의 핵심은 제목 그대로, LLM을 통해 Zero-shot Time-Series forecasting을 수행하는 방법론을 제시한 것입니다. 이를 위해서 LLM에 입력으로 들어가기 위해 시계열의 Tokenization 방법을 제시하고, 예측 성능 향상을 위해 Rescaling, sampling, continuous likelihood를 사용하는 방법을 사용하였습니다. 특히 전처리에서 신기했던 것은, 시계열 값 자체를 하나의 token으로 변환하는 것이 아닌 자리수마다 공백을 추가하여 tokenization하는 것이었습니다. 또한 Continuous likelihoods를 통해 한 번에 모든 값을 예측하는 것이 아닌, 각 자리수마다 값을 예측하는 모델을 사용했습니다. 두 가지의 방법을 통해 숫자라는 token에서 자리수에 대한 의미를 추가하여 부여하는 것이 얼마나 중요한지 나타내주었습니다. 해당 방법론이 NLP 연산추론 부분에서도 유의미하다고 생각하였고, 자리수에 대해 좀 더 텍스트를 인식하게 만들면 연산 시 더 잘 수행할 수 있지 않을까 생각해보았습니다. Time-series에서는 LLM이 어떻게 쓰이는지 흥미로웠는데 매우 트렌디하면서도 효율적인 논문을 소개해주셔서 흥미로웠습니다. 좋은 발표 준비해주셔서 감사합니다.