이번 세미나에서 발표해주신 논문은 “Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series”으로 Train과 Test 데이터 분포가 다른 상황에서의 성능 향상 방법을 제시한 논문입니다. 기존의 non-stationary time-series forecasting 연구들(ex. Autoregressive process, gaussian process 등)은 model-dependent하고 딥러닝과 통합하기 어렵다는 한계점이 존재합니다. 이를 극복하기 위해 본 논문에서는 Image Rotation Task에서 사용되었던 Test Time Training 방법을 시계열 문제에 적용함으로써, Self-Adaptive Forecasting 방법을 제시합니다. Test-time training은 test 시점의 분포를 예측하는 대신에 test sample로부터 얻은 정보로 model을 조정합니다. Test-time training을 Non-stationarity time-series data에 적용하여 예측을 수행하기 전인 Masked inputs을 back-casting하는 Self-Adaptation stage 방법론을 제안하고, 이를 통해 변화하는 분포에 Encoded representation을 적응시켜 generalization과 robust hyperparameter selection을 달성합니다. 좋은 발표 감사합니다!

이번 세미나에서는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 제목의 논문이 소개 되었습니다. 이는 시계열 데이터 중 trend나 계절성이 존재하는 non-stationary 데이터에 대해서 train과 test 데이터에서 분포가 많이 차이날 경우 이를 보완하기 위해 제시된 방법론 입니다. 일반적으로 머신러닝 수행에 있어 학습용, 검증용, 시험용 데이터를 나누게 되는데 이때 샘플은 iid(independently identically distributed)임을 가정합니다. 하지만 non-stationary 시계열 데이터의 경우 위 가정을 따르지 않게 됩니다. 이에 저자들이 제시한 방법론은 Test-Time Training을 기반으로 Self-Adaptive Forecasting을 할 수 있도록 합니다. Test-Time Training이란 쉽게 Test 시점에서 test 샘플로 학습을 다시 한 번 수행하는 것을 의미합니다. Test 데이터 샘플을 이용할 때는 Self-supervised를 적용해야하고 그 중 Masking 된 값을 Backcasting을 제안하였습니다. 그럼으로써 encoding 과정에서 좀 더 generalization의 효과를 거둘 수 있었음을 확인되었습니다. 분포의 비교가 중요한 시계열 데이터에 대해서 합리적으로 잘 적용한 아이디어인 것 같습니다. 좋은 발표 재밌게 잘 들었습니다.

이번 세미나에서는 “Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series”라는 논문을 소개해주셨습니다. 시계열의 경우 non-stationary하게 되면 학습 데이터와 평가 데이터의 분포가 동일하다는 머신러닝의 기본 가정이 망가지기 때문에 성능이 크게 하락할 수 밖에 없습니다. 따라서 오늘 세미나에서 설명을 듣기 전 까지 사실상 이러한 문제를 푸는 것은 거의 불가능에 가깝다고 생각하였습니다. 그런데 본 논문에서 test time training 방법으로 모델 파라미터를 튜닝하여 non stationary 시계열 예측의 정확도를 향상하는 방법론은 제안한 것을 보고 이러한 해결법이 존재하는 것을 처음 알게 되었습니다. 본 논문에서는 test time training을 위해 masked inputs을 back-casting하여 학습을 진행하였고, 이를 통해 generalization 효과를 도모하였습니다. 비록 또 다른 self supervised 방법론인 rotation과 다르게 back casting의 효과에 대해서는 바로 동의하기 어려웠지만 시계열 데이터에서 가장 어려운 가정인 non stationary에 대한 문제를 풀었다는 점에서 의의가 큰 논문이라고 생각하였습니다. 좋은 발표 감사합니다.

이번 세미나에서 발표된 논문은 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series입니다. 본 논문에서는 test와 train데이터 분포가 다른 상황에서 적용 가능한 self-adaptation stage 방법을 제안합니다. 이번 세미나에서 test-time training이라는 개념에 대해 처음 접하게 되었는데, 이는 test time 시에 self-supervised task를 수행하면서 test data에 대한 정보를 얻어 gradient를 update한 후, 실제 main task를 보다 잘 수행할 수 있도록 하는 기법을 의미합니다. 시계열 데이터를 다루는 본 논문에서는 input window의 일부를 masking하고 backcasting하는 self-supervised task를 정의하여 사용합니다. 이 backcasting error와 input window를 바탕으로 미래 시점을 예측하는데, 실제 inference 시에도 이렇게 backcasting을 수행하며 unseen test data에 대해 adaptive하게 작동할 수 있게 합니다. Test-time training이라는 개념에 대해 처음 접할 수 있어 유익했습니다. 좋은 발표 감사합니다.

금일 세미나는 "Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series"라는 주제로 진행되었습니다. 본 발표에서는 test-time training 방식을 활용한 non-stationary time-series forecasting 모델이 소개되었습니다. 최근 test-time training 관련 논문들이 많이 등장하고 있는데, 이 방법을 시계열 예측에 처음으로 적용한 모델이 다루어져서 관심을 가지고 발표를 청취했습니다. Test-time training은 training 단계에서 train data에 대해서는 target task를 학습하는 동시에 test data에 대해서는 pretext task를 학습하여 test sample이 직접 test data의 분포에 대한 정보를 제공함으로써 모델의 성능을 향상시키는 기법입니다. 개인적으로 training 단계에서 test data를 사용하면 안된다는 고정관념이 있었기 때문에 처음에는 해당 개념을 받아들이기 어려웠으나, test data는 항상 존재하기 때문에 label만 사용하지 않는다면 크게 문제 될 것이 없다는 생각이 들었고 성능이 향상되는 것은 매우 당연하다는 생각도 들었습니다. Test-time training에 대한 개념과 이를 활용하는 방식에 대해 들을 수 있어 매우 흥미로운 발표였습니다. 좋은 발표 감사합니다.

본 세미나에서는 non-stationary time-series forecasting 방법론을 제안한 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 연구에 대해 살펴보았습니다. 이번 세미나를 통해 test-time training이라는 개념에 대해 처음으로 알게 되었습니다. Test-time training은 학습시에 test data를 사용하여 모델의 예측력을 향상시키는 방법입니다. Non-Stationary한 상황을 타개 하기 위해 이러한 방식을 사용하는 것이라 이해했는데 고민을 해봐도 여전히 ML의 기본 전제를 해치는 방법이 아닌가? 라는 생각이 들었습니다. 개인적으로 조금 더 공부가 필요한 분야라고 생각하며, 이런 재미있는 방법을 접할 수 있어서 좋았습니다.

현실 상황에서의 많은 시계열 데이터는 관측 시간에 따라 트렌드 또는 계절성을 보이는 non-stationary한 성질을 갖습니다. 모델링을 용이하게 하기 위해 이를 stationary한 형태로 변환하는 여러 기법을 사용하기도 하는데, 본 세미나에서는 딥러닝 기반의 approach에 대해 소개합니다. 핵심 contribution은 test sample을 통해 test 분포에 대한 힌트를 얻는다는 test-time training입니다. 일반적으로 'test 데이터는 어떠한 경우에도 건드리지 않는다'라는 가정을 갖기 때문에 test 데이터에 대해서 (label이 아닌) pretext task로 추가적인 학습을 수행하는 방법을 처음 보았고 제법 현실적으로 사용하기도 괜찮은 방법인 것 같다는 생각이 들었습니다. 그렇지만 등장하는 test sample의 순서에 따라 그 결과가 많이 달라지지 않을까 우려도 됩니다. 흥미로운 발표 잘 들었습니다.

이번 세미나에서는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 이라는 주제의 논문을 리뷰하였습니다. 시계열 데이터의 Train, Test data의 분포가 다를 때 성능 향상을 기록한 방법론이었습니다. 즉 non-stationary 한 dataset에 적용할 수 있는 방법론입니다. 구체적으로 적용된 방법론을 살펴보면 다음과 같습니다.
첫번째로 예측을 수행하기전 self-adaptation stage 방법을 진행합니다. self-adaptation stage 방법이란 예측을 수행하기전 Masked input을 backcasting 하는 방법입니다. 또한 변화하는 분포에 대해 Encoded representation을 적용 시켜 hyperparmeter의 민감도를 감소 시켰습니다. 이러한 방법론은 다양한 Encoder-Decoder 구조의 모델에 적용할 수 있다는 장점이 있습니다. 현업에서 존재하는 시계열 데이터의 경우 train과 test의 분포가 차이가 나는 경우가 많을 것이라고 생각합니다. 반도체 공정의 data만 생각해보아도 새로운 설비가 들어오거나 공정 recipe가 변경되면 분포의 shift가 분명히 존재할 것 입니다. 그러므로 본 세미나에서 제안된 방법론은 적용가능성이 높은 방법론이라고 판단됩니다. 좋은 발표 감사합니다.

이번 세미나는 "Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series" 논문에 대해 소개해 주셨습니다. 본 논문에서 가장 인상깊었던 부분은 test-time training이라는 방법이었습니다. 해당 방법은 data의 distribution이 shift 되는 경우에 새로운 data의 distribution을 반영할 수 있도록 하는 방법입니다. 본 논문에서 제안하는 방식은 해당 방법과 back-casting을 활용하여 data shift를 반영할 수 있는 self-adaptive forecasting 방법을 제안합니다. Data shift는 현업에서 가장 다루기 어려운 문제 중 하나로 알고 있는데 이를 해결할 수 있는 방법을 새롭게 알게되어 흥미로웠습니다. 또한 해당 방법이 현실에서 적용하게 될때 어떤 상황을 고려해야할지도 고민해 볼 수 있는 시간이 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 시계열 예측 task에서 test와 train 데이터의 분포가 다른 문제를 해결하기 위한 방법론을 다룬 논문 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series를 주제로 진행되었습니다. 시계열은 정상성을 기본 가정으로 하지만, 현실 세계에는 trend나 seasonality가 존재하는 비정상성(non-stationary)을 가진 데이터들이 대다수를 차지하고 있습니다. 이때, data distribution drifts를 예측하는 것이 어려운데, 정확한 Conditional Distrubution을 학습하기 위해서는 함축적으로 외부 변화들과 연관성을 가지며 학습할 수 있도록, 해당 논문에서는 Image Rotation task의 test-time training 방법론을 non-stationary 시계열 task에 적용한 self-adaptive forecasting을 제안합니다. 이는 모델 구조에 관계 없이 적용할 수 있는 architecture-agnostic한 방법론이며, test 분포 기저에 있는 샘플을 통해 시점 정보를 학습합니다. 또한, masking을 취한 부분을 backward로 예측하는 self-supervision을 통해representation을 학습함으로써, 다양한 분포의 state를 반영하여 예측 정확도를 향상시켰습니다. 연구와 현실 세계를 이을 수 있는 징검다리에 대해 개인적으로 흥미를 가지고 있는데, 본 연구가 Real World problem을 해결하기 위한 방법론을 제안했다는 측면에서 굉장히 인상 깊게 들었습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에서는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 논문을 다루어 주셨습니다. 해당 논문에서는 test-time training 방식을 활용한 non-stationary time-series를 예측하는 학습 방법론을 제안하고 있습니다. 여기서 test-time training은 Test 시점의 분포를 예상하지 않고, one sample learning의 형태로 test 분포에 대한 단서를 제공하는 방식으로 이루어집니다. 또한 mask된 부분의 입력값을 예측하는 backcasting 방법을 사용하며, 다양한 분포를 더 잘 학습할 수 있도록 합니다. 또한, 분포의 변화폭이 큰 데이터를 잘 다룰 수 있게 하기 위해 self-supervised learning adaptation으로 부터 error signal을 사용하고자 합니다. backcasting 방법을 통해 시계열에 있어서 마스킹이 어떻게 이용될 수 있는지 알 수 있게 되어 흥미로웠습니다. 좋은 발표 감사합니다!

이번 세미나에서는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 논문을 주제로 진행되었습니다. 논문 첫 부분에서 Non stationary 시계열 데이터에 대해서 설명해 주셨고, 개인적으로도 일반적인 시계열 데이터셋이 stationary 한 것(심박동 데이터 등) 과 그렇지않은 (현실 이상치데이터) 의 차이를 느끼고 있었고, 일반적으로 논문들이 실험 시, 둘중 하나의 task 를 진행하는 것을 알 수 있었습니다. 접근 자체가 다른 영역으로 생각 하고 있었는데, 본 논문은 Non stationary 한 상황에서의 문제를 해결하고자 합니다. 또한 시계열 데이터에서 전통적으로 많이 사용되는 방법들을 한번 더 생각하며 해당논문을 들었습니다. 방법론의 핵심은 예측을 수행하기전에 masked inputs 을 backcasting 하는 self-adaptation stage 방법을 제안하였고, 발표자의 상세한 설명덕에 이해하기 쉬웠습니다. 문제에 대해 명확하게 파악하고, 해당하는 부분을 해결하고자 하는 발표자의 발표에 유익한 시간이였습니다. 감사합니다.

이번 세미나 주제는 “Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series”이었습니다. 해당 논문은 학습 시와 다른 분포를 접할 때 모델이 강건할 수 있는 방법론을 제시한 논문입니다. 시계열 데이터가 stationary 성질을 만족하지 못할 경우 i.i.d 가정이 깨지게 되고, 이는 테스트 시 성능이 크게 저하될 수 있음을 의미합니다. 이를 개선하기 위해서 논문에선, 테스트 시 이전 시점의 데이터를 마스킹하고, 이를 현재 시점의 데이터를 이용하여 복원하도록 하며 모델이 테스트 데이터 분포에 대해 학습할 수 있도록 합니다. 또한, 이러한 backcasting 과정에서 발생한 오차를 실제 미래 시점 예측 시 입력값으로 사용하여, 모델이 학습한 분포와 테스트 데이터의 분포의 차이를 모델링 과정에 포함하도록 합니다. 방법론은 매우 단순하지만, 그 과정에서 해결하고자 하는 문제점에 잘 집중하여 해결했다는 인상을 받았습니다. 특히 테스트 시점에 모델을 학습하게 하고, 이를 실제 예측에 사용하는 아이디어는 처음 접했는데 NLP, CV 등 다른 분야에서도 널리 활용될 수 있을 것 같습니다. 좋은 발표 감사드립니다.

금일 세미나는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 연구에 대해 진행되었습니다. 발표자 분과 함께 저도 마찬가지로 관심을 갖고 봐왔던 time series forecasting 주제에 관한 발표여서 관심을 갖고 볼 수 있었습니다. 본 연구는 non-stationary time series data에 대한 내용을 주로 다루고 있습니다. 사실 non-stationarity는 거의 모든 시계열 데이터에 존재하는 특성이기 때문에, 너무 넓게 특징을 잡은 것은 아닌 가 싶기는 해 계속 지켜보게 되었습니다. Test-time training이 눈에 띄었습니다. Test 샘플이 모델 학습에 활용된다는 것이 다소 낯설긴 했지만 흥미로웠습니다. Test 샘플에 대한 일종의 representation learning으로 모델의 tuning을 진행하는 방식을 test-time training의 핵심으로 이해했습니다. 이 과정에서 target 정보를 cheating하지 않고, self-supervised learning을 활용하는 것으로 이해할 수 있었습니다. Non-stationarity를 유지하면서 그 안에서 distribution shift를 adaptive 학습의 관점에서 진행한다는 점 그리고 그 과정에서 test sample의 non-target 정보가 활용된다는 점 모두 굉장히 신선했습니다. 좋은 연구의 발표 진행해주신 발표자 분께 감사의 말씀을 드립니다. 좋은 발표 잘 들었습니다!

이번 세미나에서 소개된 논문은 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 입니다. 논문은 학습시와 평가시에 입력되는 데이터의 분포가 다른 상황에서 성능향상을 위해 사용 가능한 Self-Adaptive Forcasting 방법을 제시합니다. 제시된 방법은 Image Rotation task 에서 사용되는 Test Time Training 방법에서 착안한 것으로 실제 Test 시에 입력되는 데이터를 통해 이미 학습된 모델을 조정하는 방식을 사용합니다. 평가 데이터를 통해 모델을 조정한다는 점은 domain adaptation, few-shot learning 등의 연구와 목적이 유사한 것으로 이해하였고, 다른 도메인에서 사용되던 방법론을 non-stationary time-series forecasting 에 사용했다는 점에서 흥미롭게 들을 수 있었던 세미나였습니다. 최신 연구를 대상으로 좋은 세미나 발표 진행해주셔서 감사합니다.

이번 세미나는 time-series forecasting에서의 self-adaptive learning을 주제로 진행되었습니다. 본 방법론은 data distribution drifts가 있는 경우에도 강건한 성능을 보이기 위해 제안되었습니다. vision 연구에서의 test-time training을 time-series에 적용하였습니다. test-time에서 masked input window에 대한 representation을 학습하고 backcasting이 수행되며, training 단계에서 backcast loss를 통해 encoder와 decoder를 업데이트하고, 전체 input windows에 대한 encoding, masked window에 대한 backcasting이 수행됩니다. 이때 backcasting을 통해 얻은 error와 input window와 결합하여 미래시점에 대한 forecasting을 수행합니다. time-series를 다루면서 data distribution drifts 문제가 항상 골칫거리였고, 발표자분과 같이 프로젝트를 하면서 해당 문제를 해결할 수 있는 방법에 대해 고민을 했었는데 관련 연구를 들을 수 있었던 것 같아 유익하였습니다. 좋은 발표 감사합니다.

이번 세미나는 Test-time training 방식을 활용해 Non-stationarity time-series data에서 성능을 향상시키는 새로운 방법론을 제안한 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 논문으로 진행되었습니다. Non-stationarity time-series data란 trend나 seasonality가 존재하는 데이터로 주가나 코로나 확진자 수 등 특정 주기로는 쉽게 예측하기 힘든 경향을 가지는 데이터를 말합니다. 이러한 특징을 가진 데이터의 경우 train과 test 데이터 간 분포에 차이가 발생하는데 논문에선 이를 보완하기 위해 Self-Adaptive Forcasting 방법을 제안했습니다. 또한, Test-time training이란 Test 시점에서 self-supervised learning을 통해 얻게되는 representation을 사용하여 예측모델을 수정하는 방법인데 test 시점에 대한 loss function을 갖기 때문에 다양한 조건에서도 효과적으로 적응 가능한 구조라고 합니다. Contribution 중 하나로 해당 방법론을 다양한 encoder-decoder 구조에 적용 가능한 Architecture-agnostic한 방식이라는 것인데 이러한 Contribution이 Real word에서 해당 방법론이 가질 수 있는 가장 큰 의의가 아닐까 싶습니다. 비정상 시계열 데이터를 다룬 최신 논문을 소개해주셔서 전반적으로 흥미롭게 들을 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series 논문을 소개해 주셨습니다. 본 논문은 non-stationary time series data에 대해서 testing 데이터와 training 데이터의 분포가 다를 때, 성능이 떨어지는 문제를 개선하기 위한 방법을 제안하는 논문입니다. 일반 적인 상황에서 training, validation, testing 데이터로 split을 수행할 때, 각각의 dataset은 서로 독립적이며 모두 Population의 특징을 동일하게 잘 반영하기를 기대합니다만, 본 논문의 연구 대상인 non-stationary time series data는 이러한 특징을 가지지 못합니다. test 상황에서 self-supervised task를 수행해 model의 gradient를 update 하는 것으로 이러한 차이를 반영하도록 하는 방법론을 test-time training라고 합니다. 논문에서는 이 기법을 시계열 데이터에 적용해 self-supervised task에서 masking된 값을 Backcasting 하도록하는 Self-Adaptive Forecasting 방법을 제안합니다. 시계열 데이터의 경우 더욱 데이터의 분포에 민감할 수 있다고 알고 있는데, 본 방법론은 그러한 분포의 변동에 대한 강건성을 향상시킬 수 있는 좋은 아이디어라고 생각합니다. 좋은 발표 감사합니다.

금일 세미나는 Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series을 주제로 진행되었습니다. 다른 분들도 말씀해주신 것 처럼 처음 발표를 들을때는 test-time training이라는 기법을 사용하는것이 일종의 치팅으로 간주될것이라 생각했습니다. test label을 사용하지 않는다고 해서 test 데이터로부터 얻은 정보를 기반으로 모델을 업데이트 하는것은 적절하다고 느껴지지 않았습니다. 특히 forecasting과 같이 현재 시점의 데이터가 다음 시점의 예측에 아주 큰 영향을 미치는 task에서는 해당 방법을 적용할 경우 성능 향상이 당연히 일어날 수 있다고 생각합니다. 하지만 (제 생각에) 해당 개념은 online learning에서는 적절한 방법론이라 여겨지며, Test-time training을 처음으로 제안한 논문(https://arxiv.org/abs/1909.13231)을 빠르게 살펴보니 train, test data의 분포가 급격히 다를 경우 적용할 수 있는 방법론으로 소개하고 있습니다. 논문의 저자가 주장하는 non-stationary time-series data를 사용할 경우 test-time training을 적용하는것이 적절할수도 있겠다는 생각이 들었고, 모든 방법론들의 최종 목적은 real world data에 일반화 가능한 모델을 만드는것이라 생각합니다. 따라서 다음과 같은 접근 방법을 통해 research question을 제안했다는 것이 흥미로웠고 새로운 시각을 가질 수 있는 발표였습니다. 감사합니다.

금일 세미나는 시계열 예측에서 정상성 가정을 갖추지 못했을 때 파훼법을 제시하는 논문이며, 확실히 ARIMA로 대표되는 통계 기법들이 아직까지도 많은 활용이 이루어지지만 ‘가정’으로 인한 한계에 부딪히기 마련이며, 비정상성이 나타날 경우 Train과 Test 데이터가 지속적으로 변하기 때문에 현실 상황에서 활용하기 어렵습니다. 이를 위해 본 논문에서는 함축적으로 외부 변화들과 연관성을 가지며 시계열 모델 학습이 필요하다고 주장하며, MLM과 같이 Masked된 이전 시간대를 Backward로 예측하는 Self-supervision을 수행하여 지속적으로 예측에 활용되는 표상들이 현재 상황에 맞춰 Update되게 됩니다. 이를 통해 Trend와 같은 비정상성 상황이 이루어질 경우 유동적으로 변화에 적응하는 역할을 하게 되며 Model-agnostic한 기법이기 떄문에 LSTM이나 이전 세미나에서 제시되었던 최신 모델일 TFT와 같은 모델들에서도 좋은 보조의 역할을 합니다. 시계열 세미나 중에서 가장 현실의 문제에 대해 접근을 가까이 한 발표라고 생각하며 감사드립니다.