금일 세미나에서 Multi-horizon time series forecasting 이란 태스크를 수행하는 Transformer 기반의 모델을 소개해주셨습니다. 해당 task 는 과거 데이터를 바탕으로 미래 시점을 예측하는 문제입니다. 핵심은 예측 대상의 시점이 여러가지라는 것이며, Input의 형태가 다양하게 존재한다는 점입니다. 이에 따라 제시한 모델을 살펴보면 Variable selection과 Gated Residual Network 등으로 input의 정보에 대해 일종의 필터링이 많이 적용되는 것 같습니다. 또한 quantile loss 에대해서도 처음 접하게 되었는데 다른 도메인에서도 적용가능할지 고민해보면 좋을 것 같습니다. 차분하게 상세한 설명이 늘 인상깊은 발표자님의 말씀 잘 들었습니다. 감사합니다.

금일 세미나는 Variable Selection Network를 제안하여 Time-series forecasting task를 수행하는 Temporal Fusion Transformer를 주제로 진행되었습니다. 해당 논문에 여러가지 정보들을 반영하기 위한 여러 기믹들이 존재하지만 제가 생각했을 때 핵심은 Variable Selection Network인것 같습니다. Variable Selection Network는 각 변수 별로 GRN(Gated Residual Network)를 통과한 값들과 모든 변수들을 flatten한 후 GRN에 통과하여 변수들의 중요도를 도출한 값과 곱하여 가중합하게 됩니다. 이렇게 가중합된 값은 예측에 중요하게 기여하는 변수의 값은 가중시키고 중요하지 않은 변수들을 제거 또는 약화시킨 값이 됩니다. variable selection network 외에도 해당 방법론은 static metadata를 활용하기 위하여 LSTM Encoder의 셀들의 init value로 사용하고, future known input을 사용하는 등의 데이터의 여러 feature들을 이용하기도 하였고, 해석력을 갖기 위해 interpretable multi-head attention을 제안하였습니다. 모델의 전체적인 틀은 GPT처럼 Masked self-attention을 이용하여 autoregressive하게 future를 예측합니다. 최종 ouput으로는 quantile forecast를 수행하여 해당 ouput의 신뢰도 또한 확인 할 수 있습니다. 해당 논문은 Time-series forecasting에서 다뤄야할 여러 task들을 모두 다룰 수 있도록 많은 고민을 한 흔적이 보이는 논문인 것 같습니다. 현재 발표자와 함께 해당 방법론을 사용한 연구를 진행 중인데 좋은 결과 있기를 바랍니다. 좋은 발표 감사합니다.

이번 세미나는 Transformer 구조를 통해 시계열 forecasting task를 수행한 연구 Temporal Fusion Transformers for interpretable multi-horizon time series forecasting을 주제로 진행되었습니다. Multi-horizon 시계열 예측은 과거 데이터를 바탕으로 미래 시점을 예측하는 task로 input의 형태가 다양하게 결합되어 있다는 특징을 가집니다. 이때문에 다양한 input 값을 효과적으로 처리할 수 있는 방법이 요구되고, 본 연구는 해석 가능한 시계열 예측 모델을 제안했다는 점에서 의의가 있습니다. 모델 구조는 크게 Gating mechanism(사용하지 않는 component를 건너뛰도록 학습하여 모델의 깊이와 복잡도 조정), Variable Selection network(예측에 기여하는 성분들 선택 및 불필요한 noisy 입력 변수 제거), Static covariate encoders(static 메타 정보를 context vector로 각 component input으로 사용), Temporal processing, prediction intervals로 구성됩니다. 시계열 분야의 연구를 근래 세미나에서 많이 접하고 있습니다. 시계열 논문들을 아직 완전히 이해하지는 못하고 있지만, 딥러닝을 활용한 다른 task와의 연결 지점이 sequential하다는 특성에서 비롯된다고 생각하여 흥미롭게 듣고 있습니다. 금일 소개해주신 논문은 다양한 형태의 input을 처리하는 task를 다루고 있다는 점에서 인상 깊었고, 이해하기 쉽게 설명해주셔서 잘 따라갈 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

본 세미나는 Temporal Fusion Transformers (TFT)를 통해 단일 시점이 아닌 Multi-horizon을 예측하는 모델을 소개했습니다. TFT는 Seq2seq와 Attention을 다른 time scale을 시계열의 관계를 학습하고, gating 요소로 예측에 불필요한 요소를 포함하지 않으며, 매 시점마다의 예측에서 variable selection을 사용하고 예측의 범위를 산출하기 위해 quantile prediction이 모두 포함되어 있는 모델입니다. 이런 모델의 특성에 따라 데이터 셋의 포함되어 있는 정보가 적든 많든 예측이 원활하고 Attention based이기 때문에 시계열에 대한 설명력을 얻을 수도 있습니다. 시계열 연구를 집중해서 바라보시는 최정우 연구원님의 모습이 너무 멋있습니다. 감사합니다.

금일 세미나는 Temporal Fusion Transformer for interpretable Multi-horizon Time Series Forecasting연구에 대해 진행되었습니다. 개인적으로 발표자분과 함께 시계열 예측에 관한 연구를 진행 중이서, 관심있게 들을 수 있었습니다. TFT는 tranformer를 기반으로 하기에, Attention구조를 베이스로 하고 있고, 따라서, 이를 활용해 feature importance까지 해석해낼 수 있는 소스를 제공하는 활용가능성이 높은 모델이라고 생각합니다. 더불어 기존 통계적 기계학습 모델로는 쉬이하기 어려운 multi-horizon forecasting을 다변량의 입력 데이터에 대해 도전하는 모델이라는 점도 흥미롭습니다. 모델 내부적으로 입력 값에 대한 전처리부터 TFT 모델 내부 구조까지 network들이 많이 사용되어, 다소 복잡해보일 수도 있는 데, 세부적으로 하나하나 잘 설명해주셔서 이해에 많은 도움이 되었습니다. DeepAR과 함께 다변량 시계열 예측에서 앞으로 많이 회자가 될 연구 같습니다. 오늘 소개해주신 내용을 토대로 계속해서 공부해 더 좋은 연구가 될 수 있도록 노력하겠습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Temporal Fusion Transformer for interpretable Multi-horizon Time Series Forecasting 제목의 논문을 살펴보았습니다. 최근 연구실에서 time series 데이터를 다루는 논문들을 많이 공부하고, 또 세미나에서 소개해 주시는데 여러 세미나에서 동일한 주제의 다양한 논문들을 접할 수 있어서 여러모로 좋은 것 같습니다. 본 논문에서도 Transformer 구조를 기반하여 multi-horizon forecasting 을 진행합니다. 단일 시점이 아니라 multi-horizon forecasting을 진행하는 부분은 추후 연구들에서 지속적으로 발전할 것 같습니다. 다만 본 논문에서는 예측을 위해 매우 다양한 구조를 거치게 되는데 실제 사용을 위한 모델의 학습 안정성이 얼마나 뛰어난지 궁금하고 만약 안정성이 떨어진다면 이를 향상시키는 연구도 후속 연구로 매우 좋을 것 같습니다.

금일 세미나는 "Temporal Fusion Transformer for interpretable Multi-horizon Time Series Forecasting"라는 주제로 진행되었습니다. 본 발표에서는 Transformer 구조 기반의 해석 가능한 시계열 예측 모델인 temporal fusion transformer가 소개되었습니다. 본 논문에서는 transformer 구조와 다양한 형태의 input을 활용하여 시계열 데이터의 다양한 정보를 잘 추출할 수 있는multi-horizon time series forecasting 모델을 제안하였습니다. 개인적으로 temporal fusion transformer의 구조 중 예측에 기여하는 성분들을 선택하고 불필요한 입력 변수들을 제거하는 variable selection networks와 static 메타 정보를 context vector로 각 component의 input으로 사용하는 static covariate encoders가 흥미로웠습니다. 특히 변수 선택이라는 고전적인 방법을 GRN 기반의 변수 선택 가중치 계산 방식으로 변형하여 활용한 부분이 인상 깊었습니다. 또한 variable selection networks와 static covariate encoders 구조를 활용하여 좋은 성능을 도출한 것을 통해 시계열 데이터 분석에서는 역시 데이터를 다양한 형태로 활용하는 것이 중요하다는 것을 다시 한 번 느낄 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 Temporal Fusion Transformers 를 통해 multi-horizon time series forecasting을 하는 model을 살펴보았습니다. 해당 model은 시계열 문제에서 당시에 SOTA를 달성할 정도로 훌륭한 성능은 물론이고 'interpretablity' 까지 겸비한 model입니다. 본 세미나를 통해 기존의 XAI 기법(LIME, SHAP) 등을 review 할 수 있었고 이러한 방법들이 시계열 분석에서 왜 적합하지 않은지 알 수 있었습니다. 추가로 quantile forecast/loss에 대해서도 알 수 있었습니다. 처음 접해본 내용이었지만 설명이 잘 이루어져 쉽게 이해할 수 있었고 시계열 분석에 꼭 필요한 내용이라는 생각이 들었습니다. 현업에서 근무를 하면 시계열 데이터를 다루는 경우가 굉장히 많은데 본 연구를 통해 현업 특히 제조 현장에서 많은 접목이 가능할것이라는 생각이 들었습니다. 이미 물류 데이터를 이용한 시계열 분석을 진행하고 계시지만 물류 데이터 외에도 설비, 반도체 공정 계측 등에도 시계열 분석을 적용하여 좋은 성과를 낼 수 있을거라 생각됩니다. 좋은 발표 감사합니다.

다양한 형태의 input이 결합되어 나타나는 패턴을 학습하여 t step까지의 미래 시점을 예측하는 multi-horizon timeseries forecasting을 설명해주셨습니다. RNN과 attention을 거쳐 모델이 발전해왔으나, 다양한 input이 섞인 시계열 데이터를 다루어야 하는 방법이 필요했습니다. 관련하여 gating mechanism, variable selection network 등 모듈 측면에서의 새로운 구조를 제안합니다. 데이터의 특성에 맞는 quantile loss의 사용은 적절한 것 같습니다. 시계열 도메인에서는 아직까지는 모델 측면에서도 발전할 여지가 많아 다양한 구조가 등장하는 것 같고, 연구실 내에서 많은 분들이 관심있어하는 만큼 재미있는 결과물이 나오길 기대합니다. 잘 들었습니다.

이번 세미나는 시계열 예측 관련 연구인 "Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting, International Journal of Forecasting"(TFT) 을 주제로 진행되었습니다. TFT는 다양한 입력 데이터를 사용하여 Multi-horizon forecasting 을 진행하고 attention based 모델 구조를 활용하여 새로운 interpretable insight 를 제공합니다. TFT 에서 제안한 구조 중 Gating mechanism 과 variable selection 구조가 모델이 학습에 필요한 connection 을 효율적으로 선택할 수 있도록 하여 기존 모델 대비 성능 향상이 가능했던 것으로 생각됩니다. 개인적으로 시계열 예측, 시계열 anomaly detection 관련 연구들에 대해 이해도가 높지 않은데, 이전에 연구실 세미나에서 소개된 다양한 연구들에 대해 related works 에서 설명해주셔서 이해하는데 많은 도움이 되었던 것 같습니다. 항상 좋은 발표 감사합니다.

이번 세미나에서는 "Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting, International Journal of Forecasting" 논문을 다루어 주셨습니다. 해당 논문에서는 multi-horizon forecasting 문제를 해결, 즉 과거의 데이터를 바탕으로 미래 시점(긴 sequence의 다중시점)을 예측하고자 합니다. 기존의 모델들에서 해석력이 부족했다는 한계점을 해결하기 위한 deep learning 방법론을 제시하고 있는데 단계별로 많은 시각자료와 함께 설명해 주셔서 이해하는데 도움이 되었습니다. 가장 인상적이었던 부분은 Interpretable multi-head attention 부분이었습니다. 기존의 transformer에서 attention을 구하는 방법과 달리 head별로 Query, Key로 구한 score값에 softmax를 하고, 이들의 평균을 사용한다는 내용입니다. 이렇게 수정을 하여 설명력을 갖게 한다는 점이 와닿았습니다. 추후에 모델의 설명력에 대해 더 나은 방안을 찾고자 할 때, 해당 아이디어를 참고하면 좋을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting이라는 제목의 논문 소개가 있었습니다. 본 논문에서는 transformer 기반의 해석 가능한 새로운 deep learning 시계열 예측 방법론을 제안하는데, 특히 다양한 형태의 input을 효율적으로 처리할 수 있는 네트워크를 제안하고 있습니다. 본 논문에서는 gating mechanism을 기반으로 예측에 기여하는 variable을 선택하고 불필요한 입력 변수를 제거합니다. 그리고 이 모델에서는 static 메타정보를 context vector로서 함께 input으로 활용한다는 특징이 있습니다. 또한 quantile prediction을 통해 다중시점 예측을 가능하게 하였는데, 이번 세미나를 통해 quantile loss에 대해서 처음 접했으나 발표자분께서 예시와 함께 잘 설명해주셔서 이해가 잘 됐습니다. 시계열 예측 문제에서 불확실성을 고려한 quantile loss를 사용한 것이 설득력이 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting, International Journal of Forecasting(이하 TFT)" 논문을 다루어 주셨습니다. TFT에서 가장 인상깊었던 구조는 Variable Selection Network 구조를 예측에 기여하는 성분들을 선택하고, 불필요한 noisy한 변수들을 제거해주는 역할을 수행합니다. Variable Selection Network는 각 변수 별로 GRN을 통과한 값들과 모든 변수들을 flatten시킨뒤 GRN에 통과하여 앞에서 구한 변수들의 중요도를 도출한 값과 곱하여 가중합하여 불필요한 noisy한 변수들을 제거해줍니다. 또한 static covariate encoder를 통해 static 메타 정보를 context vector vector로 활용하여 각 component의 input으로 사용하였습니다. 이번 세미나 통해 Quantile prediction과 Multi-horizon forecasting 등 기존에 알지 못했던 새로운 개념들을 알 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다.

금일 세미나는 Multi-horizon time series forecasting 문제에서 높은 성능을 가진 해석가능한 딥러닝 방법론을 제시한 “Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting, International Journal of Forecasting” 논문으로 진행되었습니다. 복잡한 모델 구조에서 Variable Selection Network 부분이 가장 인상 깊었는데 다양한 형태의 input을 받아서 예측에 기여하는 성분들을 선택하고 불필요한 노이즈 입력 변수들은 제거하는 방법을 PLM의 input에도 적용해볼 수 있지 않을까하는 생각이 들었습니다. 또한, 일반적인 attention 구조와 달리 head 별로 구한 softmax 값에 평균을 취해 설명력을 얻는다는 점도 인상깊었습니다. Multi-horizon forecasting 모델 figure를 처음 봤을 땐 너무 복잡해보여서 설명을 듣기 앞서 걱정이 되었는데, 컴포넌트들을 하나씩 설명해주신 덕분에 이해가 수월했던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Multi-horizon time series forecasting task에서 보다 높은 설명력을 가지는 Temporal Fusion Transformer 활용 모델을 Temporal Fusion Transformer for interpretable Multi-horizon Time Series Forecasting이란 논문을 중심으로 소개해 주셨습니다. Multi-horizon time-series 예측 task는 다양한 시점에서 다양한 형태의 input이 존재하는 것을 해결할 필요가 있습니다. 여기서 Temporal Fusion Transformer은 다양한 시점과 다양한 형태의 input을 Gating mechanism과 variable selection network 등의 새로운 모듈을 제안하여 해석 가능성이 큰 모델을 만들어 냈습니다. 구체적으론 Gating mechanism은 사용하지 않는 변수를 학습 과정에서 넘어가도록 하고, variable selection network은 사용되는 변수들을 선택하도록 합니다. 이러한 과정에서 기존의 attention model과는 다르게 head별로 softmax 값을 구한 것을 평균을 취하는 Interpretable multi-head attention 방식을 사용하기 때문에 변수의 중요도를 산출하고 설명력을 얻을 수 있습니다. Time series forecasting task는 이전부터 관심이 있었으나 아직 공부하지 못한 분야인데 다양한 관련 연구들을 함께 설명해 주셔서 매우 공부가 많이 되고 이해도 잘 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting, International Journal of Forecasting"라는 논문에 대하여 소개해주셨습니다. 해당 논문의 경우 시계열 예측 방법론을 제안하는데, 해당 방법론은 transformer를 기반으로 하고 특히 variable selection network 등 구조를 활용하여 예측에 기여하는 성분들을 선택하게 됩니다. 이러한 방식을 채택함으로써 해당 방법론은 학습 시 모든 connection이 아니라 필요한 connection을 선택하게 된다는 점에서 contribution을 갖는 것 같습니다. 요새 time series 문제에 대하여 다양한 세미나가 진행되고 있는데, 그 일환으로서 굉장히 재밌게 들었습니다. 항상 좋은 발표 감사합니다.

금일 세미나는 시계열 데이터로부터 정보를 잘 추출하기 위해 transformer를 사용한 예측모델인Temporal Fusion Transformers(TFT)에 대한 소개로 진행되었습니다. TFT모델은 multi-horizon forecasting 문제를 해결하기 위한 모델이며, 여러 개 시점에 대한 예측을 수행하기 위해 Gating mechanisms, Variable selection networks, Static covariate encoder 등으로 모델을 구성하였습니다. Gating mechanism, Variable selection networks를 통해 학습에 활용하지 않거나 예측에 크게 기여하지 않는 성분을 제거함으로써 연산을 효율적으로 할 수 있습니다. encoder단에서 흥미로웠던 점은 static 정보를 context vector로 활용하며, temporal 정보도 같이 fusing할 수 있도록 구성한 부분이었습니다. Quantile loss 등 시계열 예측에서 많이 활용되는 지표에 대한 내용도 매우 유익했습니다. 좋은 발표 감사합니다.

오늘 세미나는 시계열 예측을 위해 제안된 Temporal Fusion Transformer를 주제로 진행되었습니다. Temporal Fusion Transformer는 특히 다변량 시계열에 특화된 variable selection network를 사용하는데, 이는 각 변수 별 예측에 대한 기여도를 계산하여 기여도에 따라 예측값을 산출하는데 가중치를 다르게 줍니다. 이를 통해 항상 문제가 되는 예측 결과에 대한 설명력 부족 문제가 해소될 수 있다는 점에서 contribution을 가지는 것 같습니다. 또한 미래 여러 시점을 예측하기 위해 quantile prediction을 사용하는데, 이러한 점 덕분에 안정적인 예측만 가능하다면 실제 현업에서 사용하기 적합한 모델이라고 생각합니다. 좋은 발표 감사합니다.

이번 세미나에선 interpretability를 확보하면서 multi-horizon time seriese forecasting이 가능한 Temporal Fusion Transformer에 대해 다루었습니다.
TFT는 GRN을 이용해 gating mechanism을 도입하면서 varible importance 산출이 가능한 모델입니다. 이때 트랜스포머의 전체 구조를 따르면서도 attention을 변형하여 각 헤드의 attention score를 평균으로 사용하여 interpretability를 확보했습니다.

무엇보다 모델의 복잡도를 통제하고 시계열적 특성을 반영하기 위해 gating과 residual connection이 모델 전체에서 반복적으로 사용되는 모습이 인상깊었습니다. 특히 단순히 실제 값을 예측하는 것이 아니라 활용도의 관점을 고려하여 4분위 수를 예측하는 점은 처음 접하는 내용이라 신기했습니다.
이전에 트랜스포머를 이용한 시계열 모델을 접한 적이 없어 새로운 내용이 많았지만 워낙 자료가 충실하고 설명이 명료하셔서 이해할 수 있었습니다. 감사합니다.

금일 세미나는 Temporal Fusion Transformers for interpretable multi-horizon time series forecasting을 주제로 진행되었습니다. 해당 논문은 2019년에 아카이브에 올라온 논문이며, 당시 time series forecasting 문제에서 굉장히 좋은 성능을 나타낸 모델입니다. 논문에서 해결하고자 하는 TASK는 한개의 시점을 예측하는 one-step time series forecasting이 아니라, 긴 길이의 미래시점을 예측하는 multi-horizon forecasting 문제입니다. 특히 해당문제는 input값이 다양한 형태로 존재하므로, 이러한 input 값을 효과적으로 처리 할 수 있는 방법이 필요합니다. 해당 모델은 multi-horizon time-series forecasting을 위해 1) 입력 변수들을 select 하여 도움되는 variable을 사용하고 2) temporal feature의 local 값을 찾기 위해 LSTM encoder를 사용하며 3) 추출한 값들을 모두 통합하는 static enrichment layer를 통과합니다. 또한 Quantile prediction을 통해 multi horizon forecasting을 수행합니다. 해당 논문의 모델 아키텍쳐가 복잡한 만큼 저자들이 time series data encoding에 대해 깊게 고민한 흔적을 살펴볼 수 있었습니다. time series data는 feature engineering 요소가 많이 필요한데, 이후 나오는 연구들이 해당 연구를 발판삼아 발전하는지 양상이 궁금해졌습니다. 감사합니다.

세미나의 주제는 Temporal Fusion Transformers for interpretable multi-horizon time series forecasting 였습니다. time series forecasting task 에서 multi step의 예측은 주로 auto-regressive 한 방법론을 이용해서 주로 활용되었습니다. 해당 논문의 특징은 논문제목에서도 볼 수 있듯이 해석가능한 모델이라는 점인데, 이는 variable selection 을 통해서 각 time step 에서 주요변수를 선택하게됩니다. 이를 발표자분 께서 대부분 transformer 의 구조를 잘 알지만 구체적으로 잘 설명해주셨습니다. 특히 모델 구조에서 temporal fusion 구조를 설명해 주셨는데, 최근 연구들의 흐림 혹은 추가적인 데이터를 활용할 때, 이러한 fusion 구조를 많이 활용하는것 같습니다.

금일 세미나는 "Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting, International Journal of Forecasting" 논문에 대해 소개해 주셨습니다. Time series에 transformer를 적용한 논문입니다. 최근 time series에서도 transformer를 적용하고자 하는 연구가 많다고 생각되었습니다. 이번 논문에서 인상 깊었던 점은 단순히 multi-horizon forecasting을 목적으로 한 것이 아니라 variable selection과 같은 과정을 통해 주요변수에 대해서 파악할 수 있는 구조라는 점에서 인상 깊었습니다. 기존 transformer와는 다르지만 특정 task에 맞추어 사전학습을 위한 용도가 아닌 transformer가 가진 self-attention의 장점을 잘 활용하여 구조를 개선시킨 것이 재밌었습니다. 좋은 발표 감사합니다.