이번 세미나에서 발표된 논문은 Reversible Instance Normalization for accurate time-series forecasting입니다. 이 논문은 시계열 데이터의 학습 및 테스트 데이터 분포 간의 distribution shift 문제를 해결하기 위한 normalization 기법인 RevIn을 제안합니다. 이는 데이터의 input에 변수별로 instance normaliztion을 수행한 후, 예측을 수행하고 예측값에 대해 de-normalization을 적용해주어 원본 데이터의 no-stationary한 information을 반영해주어 최종 예측 성능을 더욱 높인 것입니다. 굉장히 간단한 아이디어로 효과적으로 문제를 해결한 방법론인 것 같고, 본 방법론을 입증하기 위해 수많은 실험을 수행한 것이 인상깊었으며, 실제 공개된 코드로 벤치마크에 대한 성능 재현이 잘 되어서 더욱 놀라웠습니다. 요즘 모델 자체 구조의 변형 보다는 데이터의 근본적인 특징에 입각해서 문제를 해결하기 위한 기법들이 많이 연구되고 있는데, 이와 관련한 연구를 접할 수 있어 유익했습니다. 좋은 발표 감사합니다.

본 세미나에서는 Reversible Instance Normalization for accurate time-series forecasting이라는 연구를 살펴보았습니다. 시계열 데이터에는 train과 test의 분포가 다른 경우가 존재합니다. 일반적으로 ML에서는 train set과 test set의 분포가 동일하다는 가정을 하고 방법론이 진행되는데, 시계열 데이터는 그렇지 않은 경우도 있는 것을 보고 풀기 참 어려운 테스크구나 라는 생각을 했습니다. 본 연구에서는 이러한 문제를 해결하기 위하여 매우 간단한 normalization과 denormalization을 사용합니다. 이 과정에서 사용하는 beta와 gamma가 정말 재밌었습니다. 아마 실제 데이터에서는 이처럼 극적인 효과를 보기 어려울 것 같은데 본 논문을 시작으로 현실 데이터에서 distribution shift 문제를 해결할 수 있는 힌트를 얻을 수 있지 않을까 생각하였습니다.

이번 세미나는 시계열 데이터를 다룸에 있어 훈련용 데이터와 테스트용 데이터 간의 분포의 차이가 심하게 나는 경우(distribution shift) 모델의 정확한 성능 측정이 어려운 점을 해결하기 위한 normalization 방법론에 대해서 소개되었습니다. 소개된 논문의 제목은 Reversible Instance Normalization for accurate time-series forecasting으로 시계열 예측 과업에서 활용될 수 있는 normalization 기법인 RevIN을 다루고 있습니다. RevIN의 과정은 너무나 간단한데,일반적인 mean과 std를 이용한 normalization을 진행한 후 학습 가능한 parameter를 이용하여 한 번 더 변환해줍니다. 그렇게 변환된 데이터를 이용해 예측값을 구하면 앞서 설정한 parameter를 이용해 retransform과 denoramlization을 거쳐서 최종적인 값을 구합니다. 쉽지만 직관적인 방법을 통해 데이터의 분포를 통일시키는 점이 매우 인상깊었습니다. 해당 기법을 일반적인 정형데이터에도 적용가능할지에 대한 호기심이 생겼습니다. 흥미로운 주제의 발표였습니다. 감사합니다.

본 세미나에서는 REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT에 대한 리뷰를 진행하였습니다. 본 논문은 시계열 데이터에서 발생하는 Distribution shift problem을 해결하기 위해 제안된 논문입니다. Distribution shift problem이란 Training data와 target data 사이의 discrepancy로 인해 시계열 데이터의 예측 모델의 성능이 낮아지는 것을 의미합니다. 본 논문에서는 Normalizing을 통해 input sequence의 non-stationary information을 제거하여 data 분포간의 차이를 감소 시켰습니다. 또한 oupt단에서 제거된 non-stationary information을 원복시켜 원본 데이터의 특징이 잘 반영될 수 있도록 설계 하였습니다. 결론적으로 Revin을 적용한 모델이 다양한 조건에서 robust한 성능을 보여줬습니다. 본 발표를 통해 시계열 데이터 처리에서의 이슈 중 하나인 Distribution shift problem이 무엇인지, 그리고 어떤 방식으로 해결할 수 있는지에 대해 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT를 주제로 진행되었습니다. 본 논문은 time-series forecasting benchmark dataset에서 train, test data의 분포 간의 distribution shift가 있음을 증명하고 이를 해결하기 위해 RevIN이라는 normalization 기법을 제안하였습니다. 단순하게 모델에 input으로 사용하기 전에 normalization을 수행해주고 최종 예측값에 대해 denormalization을 수행합니다. 굉장히 단순한 방법으로 성능을 높였다는 점이 흥미로웠으나, 이렇게 단순한 방법을 아무도 수행해보지 않았을까? 하는 의구심이 들기도 하였습니다. 저도 시계열 데이터의 distribution shift에 대해 관심을 갖고 있던 와중에 관련 논문에 대한 세미나를 들을 수 있어 유익하였습니다. 좋은 발표 감사합니다.

이번 세미나는 “REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT”이었습니다. 시계열 데이터는 non-stationary한 정보들이 포함되어 있어 데이터 분포 간 차이가 많이 발생하고, 이로 인해 모델의 성능이 감소하는 이슈가 존재합니다. 해당 논문은 이를 Normalizing을 통하여 Non-Stationary한 정보를 제거하여 학습 데이터와 테스트 데이터 간의 분포 차이를 감소시켜 문제를 해결하고 있습니다. 기존의 Batch Normalization이나 Layer Normalization과 같이 흔히 사용되는 정규화 방법론은 데이터 단위로 적용한 간단한 방법론이었습니다. 하지만 논문에 리포팅된 성능 상으로 상당히 큰 성능 개선을 이뤄낸 점이 인상 깊었습니다. 문제 상황을 잘 정의하고 이에 맞는 적절한 해결책을 모색하는 것이 연구에 있어 중요한 점이라는 것을 다시 한번 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 시계열에서의 distribution shift를 완화하기 위해 제안된 방법론을 다룬 논문 REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT을 주제로 진행되었습니다. 최근 연구실 세미나를 통해 시계열 관련 연구들을 다양하게 접해볼 수 있어 흥미롭게 잘 듣고 있습니다. 이번 세미나에서 소개해주신 논문은 여러 연구 분야에서 문제가 되고 있는 distribution shift 문제를 다루고 있습니다. distribution shift란 train 데이터와 test 데이터 간의 분포 차이로 인해 test 성능이 낮게 기록되는 현상을 말합니다. 시계열 데이터의 경우에는 시간에 따라 평균과 분산이 변화한다는 측면에서 distribution shift에 특히 취햑하다고 볼 수 있습니다. 본 논문에서는 이러한 현상을 완화하기 위해 normalizing을 input 시퀀스의 non-stationary information을 제거하여 데이터의 분포 간 차이를 감소시키고, output을 도출하는 단계에서 앞서 제거된 non-stationary information을 다시 복원하여 원본 데이터의 특징을 반영한 예측값을 산출하도록 하는 방식을 취합니다. 이때, normalizing 과정에서 reversiable instance normalization을 활용하여 input의 scaling,shift 만큼 output layer에서 de-normalizaiton을 진행합니다. 시계열 task는 데이터 전처리부터 모델링, 해석까지 주관적 개입이 클 수 밖에 없는 어려운 task라고 생각하는데, 딥러닝 방식을 차용하여 시계열에 적용하고자 하는 연구들을 접할 때마다 아이디어 측면에서 인사이트를 많이 얻어갈 수 있는 것 같습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에서는 Reversible Instance Normalization for accurate time-series forecasting 논문을 다루어 주셨습니다. 해당 논문에서는 학습 데이터와 테스트 데이터 간의 분포 차이로 인해 발생하는 distribution shift 문제를 해결하고자 하고 있습니다. 제안하고 있는 RevIN(Reversible Instance Normalization)에서는 input sequence에서 normalize를 진행한 후 output sequence에서 de-normalization을 진행하는 방법을 이용하고 있습니다. 구체적으로는 변수들에 대해서 sequence length에 해당되는 평균과 분산을 이용하여 normalization을 수행하고, sequence 들에 대해 일정한 값의 평균, 분산을 갖게끔 하고 있습니다. 결론적으로 변환된 학습 데이터셋의 평균과 분산이 테스트 데이터셋과 동일하게 되어 데이터셋간의 discrepancy가 줄어들게 됩니다. 시계열뿐만 아니라 다른 데이터에는 어떻게 적용되면 좋을지 생각해보게 되었습니다. 좋은 발표 감사합니다!

금일 세미나는 "Reversible Instance Normalization for accurate time-series forecasting" 논문에 대해 소개해주셨습니다. 해당 논문은 현실에서 많이 접하는 문제점인 distribution shift를 해결하기 위한 방법론인 Reversible Instance Normalization(RevIN)를 제안하였습니다. Distribution shift는 학습 시 사용한 데이터의 분포가 현재 평가하는 데이터와 달라지는 상황을 말합니다. 실제로도 현실에서는 이러한 문제점을 많이 접하게 된다고 생각하고 있었는데 마침 좋은 결과를 가진 방법에 대해 소개해주셔서 인상깊게 들었습니다. 생각보다 단순한 방식으로 다양한 벤치마크 데이터에서 좋은 결과를 나타내는 게 인상적이었습니다. 방법 아이디어 자체만 보면 간단 명료하다 생각이 되는데 이러한 아이디어를 구상하고 구현하는 과정이 궁금했었고 오히려 단순한 방법이기에 논리적으로 왜 잘되는지 필요하다 생각되는데 논문에서 잘 서술되어 있다고 생각됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 “REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT” 논문을 주제로 시계열 데이터에서 training dataset과 test dataset이 다른 성질을 보이는 경우를 해결하기 위한 RevIN 방법론을 소개해 주셨습니다. RevIN은 기본적으로 normalization 기법으로 input data에 변수마다 instance normalization을 수행하여 예측을 수행하고, 그 예측값에 대해 denormalization을 수행하는 과정을 거칩니다. 이 과정에서 예측결과는 원본 데이터의 non-stationary information을 복원시키게 되어 다른 성질의 data 임에도 원본의 성질을 잘 반영할 수 있게 됩니다. 본 방법론의 설명을 들으며 시계열 데이터에서는 training data와 test data가 다른 성질인 경우가 보다 많이 발생한다는 것을 알아 어려운 task라는 것을 다시 느꼈으며, 직관적으로 이해되는 비교적 간단한 normalization 기법을 활용하여 좋은 성능을 보인 것이 인상적이었습니다. 다른 분들의 의견을 들어보면 논문에서 활용한 데이터 이외에 실제 현실 데이터의 경우 리포팅 된 만큼의 성능을 보이기 어려울 것으로 예상하셨는데, 그 부분을 저도 잘 살펴봐야겠습니다. 좋은 발표 감사합니다.

이번 세미나는 ICLR 2022년에 억셉된 Reversible Instance Normalization for accurate time-series forecasting 논문으로 진행되었습니다. 해당 논문은 시계열 분야에서 예측 모델이 학습 데이터와 테스트 데이터 간의 데이터 분포 차이로 인해 낮은 성능을 도출하는 Distribution Shit Problem을 보완하기 위한 방법론을 다루는 논문입니다. 해당 논문에서 제시한 Reversible Instance Nomralization(RevIN) 방법론은 Normalizing을 통해 input sequence의 non-stationary information을 제거해 데이터 분포간 차이를 감소시켜 예측 모델의 성능을 향상시켰으며, Output 단계에서 제거된 non-stationary information을 원복시켜 원본 데이터의 특징이 반영된 예측값을 도출하는 방식으로 수행이 되게 됩니다. 해당 논문이 국내 연구실에서 나오기도 했고, 시계열 분야를 잘 모름에도 논문에서 다루고 있는 Distribution Shift 문제가 매우 흥미로워서 재미있게 잘 들었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 2022 ICLR에 발표된 “REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT” 연구를 발표해주셨습니다. 시계열 데이터는 시간 순서에 따라 변화한다는 특징으로 인해 distribution shift라는 문제점이 존재합니다. 만약 train 데이터와 test 데이터간의 distribution shift가 존재한다면 필연적으로 예측 성능이 떨어질 수 밖에 없습니다. 본 연구에서는 RevIN이라는 정규화 방법론을 통해 non-statationary information을 제거하여 이를 해결하였습니다. input 단에서 normalizing을 진행한 후 output 단에서 de-normalizing을 수행하여 최종적으로 원본 데이터의 특징을 포착할 수 있도록 하였습니다. 시계열 데이터에서 존재하는 근본적인 문제점을 직관적인 방법론을 해결했다는 점에서 굉장흥미로웠고 forecasting 뿐만 아니라 시계열 데이터를 사용하는 다른 task에도 충분히 적용할 수 있다는 생각을 하였습니다. 좋은 발표 감사드립니다.

이번 세미나에선 Reversible Instance Normalization for accurate time-series forecasting 라는 연구에 대해 소개되었습니다. 논문에선 시계열 예측시 학습과 평가의 분포차이에서 발생하는 문제를 완화하기 위한 RevIN 방식을 제안합니다. Reversible Instance Normalization은 입력 sequence 단위로 instance normalization 을 수행하여 sequence 간에 일정한 평균과 분산을 갖도록 하고, output sequence 에선 다시 de-normalize하여 입력 데이터의 non-stationary information을 반영하도록 합니다. 단순히 normalization만 수행하는 것이 아니라 de-normalize까지 가능한 reversible 구조를 제안하였다는 점이 핵심이라 생각되고, 직관적이고 간단한 방법만으로 이전 연구들의 성능을 개선할 수 있었다는 점이 인상깊었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distribution Shift"이라는 주제로 진행되었습니다. 본 발표에서는 train data와 test data 사이의 distribution shift로 인해 forecasting 모델의 성능이 낮아지는 것을 보완하기 위한 RevIN 모델이 소개되었습니다. 해당 모델은 distribution shift를 해결하기 위한 normalization 방법으로 train 및 test 데이터의 평균과 분산을 동일하게 만들기 위한 scale 및 shift parameter를 모델 학습 과정에서 함께 최적화합니다. RevIN을 기존 forecasting 모델에 적용하면 모델은 non-stationary 정보가 제거된 데이터를 활용할 수 있기 때문에 distribution shift로 인한 성능 저하를 방지할 수 있습니다. 개인적으로 본 발표를 들으면서 매우 간단한 방법으로 데이터셋의 단점을 잘 보완했다는 생각이 들었고, RevIN을 사용하면 train 및 test 데이터의 평균 및 분산이 동일해진다는 것을 수식으로 증명한 점이 인상 깊었습니다. 새로운 모델 구조를 변경하여 성능을 높이는 연구들이 주를 이루고 있는데 데이터의 본질적인 문제점을 해결함으로써 모델의 성능을 개선시킨 논문을 접할 수 있어 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distribution Shift 라는 논문을 주제로 진행 되었습니다. 본 발표에서는 train 과 test 에서 발생하는 dsitribution shift 문제로 발생되는 forecasting 성능 문제를 보완하고자 하는 방식으로 RevIN 모델을 사용했습니다. 프로젝트를 수행하면서, 이번 세미나에서 소개해주셔셔, RevIN 모델의 코드를 가져와 실제로 구현해 보았습니다. 우선 논문에서 소개하는 평균과 분산값의 Scale 을 구하기 위해 인코더에서 shift parameter 값을 학습하고, decoder 파트에서 해당 값을 받아와 변환을 시켜주는 구조로 설계 되어있어, 기존 forecasting 모델에 적용하기가 매우 수월했습니다. 대표적으로 많이 활용되는 informer 에 적용하는 코드를 사용하고, 저희가 사용하는 개별 모델에 적용해 보았을 때도, 성능향상이 미미하긴 했으나 변화하는 것을 확인할 수 있었고, 간단한 방법으로(추가적인 소요시간이 거의 없음) 성능향상을 해결하고자 함이 인상깊었습니다. 다만, 실험을 했을 때, 모든 scaler 가 그렇듯, 시계열적 특성이 반영되지 않았던 변수들이 포함되면 성능이 안좋아지는 것을 볼 수 있어서, 이또한 데이터셋의 특성을 탓던 논문이 아닌가 생각이 들긴했습니다. 그러나 반대로, 데이터의 특성을 이해하는것이 문제 해결에 가장 직접적인 해결책이 될 수 있음을 느낄 수 있었습니다.

금일 세미나는 REVERSIBLE INSTANCE NORMALIZATION FOR ACCURATE TIME-SERIES FORECASTING AGAINST DISTRIBUTION SHIFT을 주제로 진행되었습니다. Distribution shift problem은 전반적인 딥러닝 분야에서 매우 중요한 이슈인데, 특히 time-series forecasting에서는 치명적인 문제를 갖습니다. 소개해주신 방법론은 normalizing을 통해 input 데이터에서 Non-stationary information을 제거하여 학습을 진행하고, Output에서 다시 de-normalization을 진행했습니다. RevIN을 통해 Baseline 성능이 향상되는점이 매우 신기했고 관련 분야를 연구하시는 분들이 사용해보시면 좋겠다는 생각을 했습니다.