해당 세미나 시간에는 Time series Forecasting과 관련하여 “SimTS: Rethinking Contrastive Representation Learning for Time Series Forecasting” 논문을 주제로 다루어 보았습니다. 우선 해당 세미나를 통해서 과거 Time series forecasting에 대한 overview를 자세하게 다루어 주어서 해당 세미나의 background를 잘 파악할 수 있었습니다. 기존 Informer와 Fedformer 그리고 DLiner와 같은 End to End 방법론에서 최근 positive-negative pair를 통해 학습하는 contrastive learning기반의 방법론들까지 잘 소개해 주었습니다. 해당 논문에서는 이러한 기존 contrastive learning 방법론 에서의 Negative sample에 대해서 의문을 가지며, 기존 방법론들은 대다수 time series forecasting 이 아닌 classification에 초점을 두고 있다고 주장하였습니다. 따라서, 해당 논문에서는 따로 negative sample이 아닌 history와 future를 time index를 통해 시점을 나누어 동일한 encoder를 통해 history representation을 통해 future representation을 예측하는 방식을 통해 학습을 진행하였습니다. 동일한 encoder를 각각 history 시점과 future 시점에서 사용하기에 future를 통해 history를 학습하는 문제를 방지하기 위해서 future 시점에서의 학습과정에서는 gradient operation을 제거하는 stop-gradient operation을 수행하였는데, 실제로 stop gradient의 유무에 따라 성능이 비교적 많은 차이를 가지는 것이 흥미로웠습니다. 개인적으로 contrastive learning과 관련하여 “Negative Sample이란 명확하게 어떤 것일까?”에 대해 많은 고민이 있는 상황에서 재미있는 논문세미나를 준비해준 발표자에게 감사의 인사 전하며 후기를 마치겠습니다.

금일 세미나는 "SimTS: Rethinking contrastive representation learning for time series forecasting"라는 주제로 진행되었습니다. 본 발표에서는 time series forecasting을 위한 representation learning 방법론 SimTS가 소개되었습니다. SimTS는 다양한 downstream task에 적용 가능한 기존 time series representation learning 방법론들과 달리 time series forecasting에 최적화된 representation을 학습한다는 차이점을 가지고 있습니다. 개인적으로 이를 위해 대표적인 visual representation learning 방법론 SimSiam의 구조를 time series forecasting에 유용한 정보를 지닌 representation을 학습할 수 있는 구조로 변형한 점이 인상 깊었습니다. 세부적으로 SimSiam의 predictor를 과거 데이터의 representation으로 미래 데이터의 representation을 예측하기 위해 사용한 점에서 SimTS가 SimSiam을 time-series forecasting에 적절하게 변형했다는 느낄 수 있었습니다. Vision 분야에서 좋은 성능을 보이는 self-supervised learning 방법론을 시계열 분야에 잘 적용한 논문이었다고 생각합니다. 좋은 발표 감사합니다.

본 세미나는 이성계 발표자님께서 "SimTS: Rethinking contrastive representation learning for time series forecasting"라는 논문을 바탕으로 진행되었습니다. 해당 논문의 task는 Time series forecasting로, 변동성과 불확실성이 높은 time series의 robust한 학습을 위한 representation learning 방법론에 대해 설명하였습니다. 이 방법론은 결국 time series data를 histroy와 future로 분할하여 history의 representation으로 future의 representation을 예측하는 것이 핵심입니다. 이를 바탕으로 기존 문제점으로 representation learning을 위한 contrastive learning 방식이 classification과는 맞지만 forecasting에는 부족하다고 판단하여, negative sample을 사용하지 않는 contrastive loss를 제안합니다. 세미나를 들으면서 각 rerpesentation의 유사도를 최대화하는 즉 constastive를 크게 하는 것이 핵심이라고 생각하였고 기존에 고착되어 있는 생각인 negative sample을 사용하지 않아 sampling bias를 제거한 것이 큰 기여점이라고 생각하였습니다. 세미나 마지막에는 발표자님께서 구상한 연구 주제와, 간단한 실험 결과를 말씀해주신 점이 흥미로웠습니다. 논문을 바탕으로 나온 아이디어를, 가설을 세워 검증까지 한 점을 들으면서 논문을 좀 더 깊게 이해할 수 있었고 세미나의 핵심인 생각을 공유하는 시간을 가진 점이 좋았습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 Time Series representation learning 방법론인 SimTS를 제안한 “SimTS: Rethinking contrastive representation learning for time series forecasting” 논문에 대해 다뤄 주셨습니다. 해당 논문은 Contrastive Learning을 이용하 Time series 데이터의 representation 을 학습하고자 하는 방법으로 기존의 contrastive learning을 사용하는 다른 방법과 차이점을 두고 있습니다. 기존에는 postivie 와 negative pair를 선택한 뒤, positive와는 가깝게, negative와는 멀도록 학습을 했습니다. 하지만 이 방법은 분류 Task에는 잘 맞지만 forecasting 에는 부족한데, 제안 된 방법론은 negative sample을 사용하지 않고 History data를 통해 future data를 예측하는 contrastive loss를 제안합니다. Time series에서 representation learning은 널리 사용 되고 있지만 특정 Task에 특화되어 설계된 Representation learning 방법이라는 것이 신기했습니다. 한편으로는 특정 Task에 특화되어 있다 보니 다른 Task로의 접목은 어렵다고 생각되며, Multi-Task를 위한 Contrastive learning 방법론은 없을까 하는 생각이 들었습니다. 관련 방향으로 준비 중인 향후 연구도 기대하겠습니다. 좋은 발표 감사합니다.

이번 세미나는 SimTS: Rethinking Contrastive Representation Learning for Time Series Forecasting 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Time-series Forecasting을 진행하기 위하여 Specific 한 Representation Learning 모델을 제시해주고 있었습니다. 먼저 해당 논문에서는 기존 Contrastive Learning처럼 Positive sample과는 가깝게, Negative sample과는 멀게 Representation을 학습하는 기존 방식이 Classification과는 잘 맞을 수 있지만, Forecasting task에는 맞지 않을 수 있다고 말함과 동시에 기존 방법론에서의 Negative sampling 방법을 완전히 신뢰할 수 없다고 말하며 문제를 제기하고 있습니다. 이에 해당 논문에서 Historical data를 통해 Future data를 예측하는 Contrastive loss를 사용함과 동시에, Negative sample은 사용하지 않는 모습을 보이고 있습니다. 먼저 Raw data가 주어진다면 해당 데이터를 History 및 Future 데이터로 분할한 후, Weight를 share 하는 동일한 Encoder를 사용하여 Representation을 산출하게 됩니다. History와 Future 각각에 대하여 Representation을 구했다면, History에서 구해진 Representation을 Predictor에 넣어 Future Representation을 예측하게 됩니다. 이후, 최종적으로 예측된 Future representation과 실제 Future representation의 유사도를 최대화하는 과정을 통하여 학습을 진행하고 있었습니다. 이러한 과정을 통해서, 다양한 Time-series Representation 방법론 중에서 가장 좋은 성능과 동시에 Robust 한 성능을 보일 수 있었습니다. 이러한 실험 결과 외에도,다양한 Ablation study를 진행함으로써 Negative sample을 이용하지 않는 것이 더 좋다는 것이나 Gradient Stream 조절 등 다양한 부분을 실험적으로 증명하고 있습니다. 발표자분이 해당 모델을 설명하기 위한 Background를 하나하나 자세히 설명해 주셔서 해당 모델을 이해하는 데 문제가 없었던 것 같습니다. 좋은 논문 소개 및 발표 정말 감사드립니다.

이번 세미나에서는 SimTS: Rethinking contrastive representation learning for time series forecasting 논문을 다루어 주셨습니다. 본 논문에서 소개하고 있는 SimTS는 time series forecasting을 위해 제안된 representation learning 방법론입니다. SimTS는 데이터를 history, future로 분할하고, 동일한 encoder를 통해 representation을 산출하고, 미래의 representation을 예측하는 task를 수행하고 있습니다. 이때, local/global temporal pattern을 포착하기 위해 multi-scale encoder를 사용하고 있으며, 위의 2가지 방법에서 추출된 feature representation 간의 유사도를 최대화하는 방식으로 학습을 진행하고 있습니다. 시계열 task에 있어 classification을 진행할 시 기존 contrastive learning 방식이 적합할 수 있으나, forecasting task에서는 적합하지 않아 방법론에 변화를 주었다는 점이 인상깊었습니다. SimTS에서는 negative pair를 사용하지 않는 방식을 이용하여 sampling bias를 제거한다는 특징이 존재합니다. 실험 측면에서는 two-stage representation model을 이용하는데 이때 산출된 representation을 기반으로 하여 미래 시점의 time step를 예측하고 있습니다. 실험에서 검증되지 않은 negative sample을 추가하여 성능 하락이 일어났다는 해석이 있었는데 이러한 내용을 담고 있다는 점에서 의미가 있었던 것 같습니다. 또한 기존 방법론과의 성능을 비교해 보았을 때, general하고 robust한 방법론이라고 해석할 수 있었습니다. 해당 방법론을 다루기에 앞서 background에서 시계열 관련 task와 방법론을 비롯한 다양한 부분을 언급해 주셔서 이해에 많은 도움이 되었습니다. 시계열 쪽에서 수식이 많이 들어간 논문들을 종종 다루어 주시고 계시는데 수식에 대한 이해력과 설명력이 인상 깊었습니다. 좋은 발표 감사합니다!

금일 세미나는 시계열 도메인에서 Forecasting을 위해 제안된 Representation Learning 방법론인 "SimTS: Rethinking Contrastive Representation Learning for Time Series Forecasting"을 주제로 진행되었습니다. 시계열 도메인의 Representation Learning은 주로 Anchor, Positive/Negative Pair를 이용한 Contrastive Learning을 기반을 연구되어 왔습니다. 하지만, Contrastive Learning 진행 시 시계열 데이터의 특성 상 Pair를 구축하는 작업이 매우 어렵습니다. 데이터마다 추세, 계절성 유무 및 강도 등의 특성이 모두 달라 Robust한 Pair 구축이 힘들기 때문입니다. 이에 해당 방법론은 Momentum Bi-Encoder 구조를 이용하여 미래 시점의 Representation을 현재 시점의 Representation을 이용하여 예측하는 Pretext Task를 제안하고 있습니다. 특히, 이때, 시계열의 특성에 맞추어 지역적 정보와 글로벌 정보를 모두 포착할 수 있도록, Multi-Scale CNN Encoder를 사용하고 있습니다. 시계열 분야의 Representation 학습 시 항상 정말로 이웃 시점이 Positive 일지에 대한 의구심을 가지고 있었는데, 해당 방법론이 매우 간단한 task를 제안하여 이러한 의문을 해소해준 것 같습니다. 좋은 발표 감사드립니다.

해당 세미나에서는 ‘SimTS: Rethinking contrastive representation learning for time series forecasting’를 다루어 주셨습니다. time series 데이터는 variance와 uncertainty가 높아 robust representation 학습이 어렵습니다. 해당 세미나는 contrastive learning기반의 representation learning에 대한 내용을 다루었습니다. 해당 논문에서는 positive는 가깝게, negative는 멀게 학습하는 방식은 classification에서는 잘 맞지만, forecasting에서는 부족하다고 지적하고 있습니다. 따라서 history data를 기반으로 future data를 예측하는 contrastive loss를 사용하고, negative sample은 사용하지 않는 방법을 제안합니다. data를 history와 future로 분할하고 future를 예측하여 유사도를 높이는 방식으로 학습합니다. 해당 부분에서 시계열의 특징을 잘 반영하여 제안한 방법이라는 생각이 들었습니다. 하지만, 모든 future가 history에 기반한 결과라고 단정지을 수 없습니다. 단기적인 요인에 의해 future가 변화할 수 있기 때문에 이러한 부분까지 반영된 representation이 모델링된다면 task에 더욱 효과적일 것이라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 SimTS: Rethinking contrastive representation learning for time series forecasting라는 논문을 다루었습니다. 이 논문에서는 time series forecasting에서의 contrastive representation learning의 새로운 관점을 제시했다고 볼 수 있습니다. 본 논문에서는 기존 contrastive representation learning 방법론들의 문제점으로 instance 간의 구별에 집중하기 때문에 time series forecasting과 직접적인 관련이 없고, negative pair와 positive pair를 구성하는 방식이 특정 시계열의 특성에 의존적이므로 다양한 시계열 데이터에 대해 일반화하기 어렵다는 점을 지적합니다. 이러한 문제를 해결하기 위해 SimTS에서는 latent space에서 history를 통해 future를 예측하고, 특정 시계열의 negative pairs에 의존하지 않기 때문에 time series forecasting에 더 적합합니다. 해당 방법론은 굉장히 간단한 방법론이지만 기존 방법론들의 문제점을 잘 지적하고 이를 실험에서도 보였다는 것이 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 SimTS라는 방법론에 대해 소개해주셨습니다. 해당 방법론은 시계열 데이터의 representation learning을 위한 기법을 제안하였습니다. 기존 연구들에서 시계열 데이터에 대한 contrastive learning을 진행할 때 negative sample을 생성하는데 이 방식이 시계열 데이터의 특성에 맞지 않는다는 것이 핵심이었습니다. 따라서 기존과 같이 postivie는 가깝게 negative는 멀게 학습하는 것이 아니라 미래 시점을 예측하는 방식으로 contrastive learning을 진행하였습니다. 이 때, 미래 시점 입력 자체를 예측하는 것이 아니라 미래 시점의 represenation을 예측한다는 점이 인상 깊었습니다. 시계열 데이터 특성상 기존 contrastive learning이 맞지 않는 부분이 있다는 점에는 동의하였지만, 과연 해당 방식을 대조 학습이라고 불러야 할지에 대해서는 의문이 있었습니다. 그럼에도 불구하고 시계열 데이터에서 유의미한 representation을 학습할 수 있는 방법론 중 하나가 될 수 있다고 생각하였습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 “SimTS: Rethinking Contrastive Representation Learning for Time Series Forecasting”이라는 연구에 대해 소개해주셨습니다. Representation 학습을 위해 많이 사용되는 Contrastive Learning은 Time Series Domain에서 Negative Sample이 진짜 Negative인지라는 문제를 가지고 있습니다. SimTS는 Negative Sample 자체를 사용하지 않아 해당 문제를 원천적으로 차단했습니다. 또한 Contrastive Learning은 Time Series의 Label Classification에는 적합할지라도 미래 시점의 데이터를 예측하는 Task에는 적합하지 않을 수 있기 때문에 과거 Data를 통해 Future Data를 예측하는 Contrastive Loss를 제안했습니다. (1) History Data와 Future Data에 대해 동일한 Encoder를 이용해 Representation을 산출한 뒤, (2) History Representation을 통해 Future Representation을 예측한 후, (1)의 Future Representation과 (2)를 통해 새롭게 산출된 Future Representation 간의 유사도를 최대화하는 과정을 적용했습니다. 굉장히 직관적인 방법을 이용해 기존 연구의 문제점을 극복해낸 점이 인상적이었습니다. Background에서 Time Series Representation Learning 방법론에 대해서 분류를 하여 체계적으로 설명해주셔서 흐름을 이해하고 SimTS가 어떠한 점에서 Contribution을 가지는지 이해하는데 많은 도움이 되었습니다. 또한 세미나 마지막에 발표자 분의 연구 아이디어를 함께 공유해주시고 논의하는 시간이 있었는데 유익한 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나는 timeseries representation learning task를 수행하는 SimTS를 주제로 진행되었습니다. SimTS는 기존의 contrastive learning을 수행하고 있는 timeseries representation learning 방법론들이 positive pair에 대해서는 최대한 anchor와 유사하게 고려하고 있지만 정작 negative pair에 대해서는 실제 anchor와 다른 pair가 맞는지 고려를 제대로 안하고 있다는 한계점으로 부터 접근하고 있습니다. 이 문제점을 해결하기 위해 SimTS는 negative pair를 아예 사용하지 않고 미래를 예측하도록 history data를 통해 future representation을 학습하는 특징을 가지고 있습니다. 항상 timeseries representation learning에서 negative sample은 왜 그냥 다른 배치에서 가져오기만 할까? 그마저도 원 데이터랑 유사할 수 있지 않을까 생각했었는데 동일한 생각을 가진 연구가 있다는 것에 반가웠습니다. 다만, negative sample을 잘 뽑아내는 방법이 아닌 단순히 사용하지 않는 방법이라는 점에서는 아쉬웠던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 "SimTS: Rethinking Contrastive Representation Learning for Time Series Forecasting"에 대해 소개해주셨습니다. 이는 기존 연구되고 있는 Time series 분야의 representation learning 방식이 classification task에는 잘 적용될 수 있으나, forecasting task에는 적합하지 않을 수 있으므로 조금 더 개선된 representation learning을 시도해보고자 한 연구입니다. negative sample을 아예 사용하지 않고, 이에 더해 positive sample과 가깝게, negative sample과 멀게 학습하는 것 대신 history data를 통해 future data를 예측하는 contrastive loss를 사용하였습니다. Data를 history와 future 두 파트로 나누어 representation을 도출하고, history의 representation을 바탕으로 future representation을 예측하게 됩니다. 이후 앞서 도출한 future representation과 예측한 future representation 간의 유사도를 최대화하는 방향으로 학습이 진행됩니다. 이 부분에서, prediction으로 실제 representation이 학습되면 안되므로, stop gradient operation을 통해 gradient 전파가 한쪽 방향으로만 흐를 수 있도록 제한하였습니다. 발표 말미에서는 현재 진행중인 연구에 대해 소개해주시며, 연구원들의 의견을 묻기도 하셨는데, 다른 연구원과의 연구 방향성의 차이도 들어볼 수 있어 흥미로웠습니다. 명확한 목소리로 간결한 설명을 해주시어 이해에 더욱 도움이 되었습니다. 좋은 발표 준비해주셔서 감사드립니다.

이번 세미나에서는 SimTS: Rethinking contrastive representation learning for time series forecasting 논문을 소개해 주셨습니다. 본 논문은 Time series forecasting task를 목표로 하는 time series representation 학습 방법을 제안한 것으로, 기존에 연구실에서 많이 공유되었던 anomaly detection을 위한 방법론과의 차이에 집중하여 세미나를 들었습니다. 시계열의 representation을 학습한다는 공동의 방법을 포함하기 때문에 전반적인 frame work는 유사한 점이 많았지만, 가장 큰 차이는 역시 task에 맞추어 History를 통해 future를 예측하는 pretext task를 수행했다는 점이었습니다. 특히 이 과정에서 과거, 미래 각각을 encoding 할 때, 동일한 encoder를 사용하기 때문에 미래의 정보를 활용해 과거를 학습하는 문제가 발생할 수 있었으나, 논문에서는 해당 과정에서는 gradient가 전파되지 않도록 하여 문제를 방지하였습니다. task에 맞게 모델을 수정하는 과정을 재밌게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 SimTS: Rethinking contrastive representation learning for time series forecasting 논문을 주제로 진행되었습니다. 본 논문에서는 time series forecasting에 적합한 representation learning 방법론을 제안하였습니다. 기존 contrastive learning에서 사용되던 positive와 negative sampling 방식이 time series 데이터의 특성을 반영하지 못하는 문제점을 지적하며, 새로운 방법을 제시합니다. 이를 위해, history 데이터를 바탕으로 future 데이터를 예측하는 contrastive loss를 도입하였고, negative sample은 사용하지 않는 방식을 취하였습니다. 이렇게 함으로써 time series 데이터의 독특한 특성을 잘 반영한 새로운 학습 방법을 제안하였습니다. 그러나 이 방법론이 모든 시나리오에서 효과적인지, 특히 예측 가능한 미래 요인이 아닌 예측 불가능한 요인에 대한 대응은 어떤지 등에 대한 부분은 더 깊이 생각해볼 필요가 있어 보입니다. 그럼에도 불구하고, 본 세미나는 시계열 예측에 대한 새로운 접근 방식을 제공하여 유익했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 시계열 representation learning을 주제로 한 논문 SimTS: Rethinking contrastive representation learning for time series forecasting이 소개되었습니다. 시계열 표상 학습은 분류, 이상치 탐지, 예측 등의 응용 과업에 고루 활용될 수 있는 중요한 연구 분야입니다. 타 도메인에 비해 시계열 데이터는 변동성과 불확실성이 크기 때문에 강건한 표상을 학습하는 것이 주요 챌린지가 되고 있습니다. 본 논문은 기존 contrastive learning 방식이 시계열 분류 과업에는 적합하나, 시계열 예측 과업을 풀기에 적합한 방식이 아니라는 점을 지적하며 기존 negative sampling 방식에 의문을 표합니다. 본 논문에서 제안하는 시계열 예측 과업을 위한 표상 학습 프레임워크 SimTS는 history를 통해 future를 예측하는 pretext task를 수행하고 negative sample을 사용하지 않는 contrastive learning을 수행합니다. 개인적으로 시계열 표상 학습은 예측 외 분류나 이상치 탐지와 같은 과업에도 범용적으로 적용이 될 수 있어야 의미가 있다고 보는데 본 연구는 시계열 예측 만을 타겟팅했다는 점에서 다소 아쉬움이 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 SimTS: Rethinking contrastive representation learning for time series forecasting 논문으로 진행되었습니다. 해당 논문은 시계열 예측 분야 중에서도 Representation Learning을 다루는 논문으로 데이터에서 history 정보와 미래 정보를 분할하고 representation을 산출하여 과거의 representation을 통해 미래의 representation을 예측하게 됩니다. 결과적으로 이렇게 예측된 representation이 앞서 구한 future repsentation과 유사도가 최대화되도록 학습이 진행되며, 이를 통해 다양한 시계열 데이터셋에 대해 robust한 representation을 학습할 수 있다고 합니다. 금일 세미나에서 발표해주신 논문은 아카이브에 올라온지 얼마 안된 최신 논문인데 덕분에 시계열 예측 분야와 관련된 최신 트렌드를 접할 수 있었던 것 같습니다. 좋은 발표 감사드립니다!

이번 세미나는 SimTS: Rethinking contrastive representation learning for time series forecasting 논문 주제로 진행되었습니다. 개인적으로 해당 논문을 들으면서 연구의 흐름이 선행 학회들에서 연구결과를 잘 적용한 사례지 않나 생각하고 있습니다. 특히 negative sample 을 학습에서 제외하게된 이유를 구체적으로 좀 더 설명해주었는데, 이는 시계열 데이터의 특성을 잘 고려한 방법이라 판단합니다. 해당 방법이 positive sample 만을 사용하는 선행 연구들과 유사했고, predictor 를 이용하여 유사하게 두개의 인코더를 학습시키는 아이디어가 인상깊었습니다. multi-encoder 를 사용해보는것도 개인적으로 좋은 추후 연구가 될 것 같습니다. 감사합니다.

이번 세미나에선 SimTS: Rethinking contrastive representation learning for time series forecasting 라는 연구에 대해 소개되었습니다. SimTS는 시계열 도메인에서 기존 contrastive learning 방식이 forecasting에 적합하지 않을 수 있고, 학습에 사용되는 negative sample이 정확하지 않을 수 있다는 점을 지적합니다. 이를 개선하고자 history data와 future data를 가깝도록하는 새로운 contrastive loss를 제안하고 이는 negative sample을 사용하지 않는다는 점이 가장 큰 차별점인 것 같습니다. History와 future에 대해 동일한 encoder를 사용하여 임베딩 벡터를 추출한다는 점과, history 에 대해서만 predictor를 추가로 사용한 다는 점, future를 입력한 encoder는 gradient를 계산하지 않는 점 등이 이미지 도메인에서 제안된 byol과 상당히 유사하다고 됩니다. 이미지 도메인에서 knowledge distillation, information maximization, masked modeling 등의 방향으로 후속 연구가 진행되었기에 시계열 도메인에서도 이러한 방식의 후속 연구가 진행될 수 있지 않을까 생각하게 되는 세미나 였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 ‘SimTS: Rethinking contrastive representation learning for time series forecasting’ 논문에 대하여 소개해주셨습니다. 해당 논문에서 인상 깊었던 점은 기존 time-seires representation learning 에서 사용되는 contrastive learning에 대한 의문을 제기한 점이었습니다. Contrastive learning을 위해서는 negative sampling을 사용해야하지만 어떤 negative sample을 사용하는가를 정의하는 것이 중요합니다. 하지만 본 논문에서는 꼭 negative sample을 사용하는 것이 좋은가에 대한 내용을 다루었습니다. Classification과 같은 downstream task에서는 중요하지만 forecasting에서는 negative sampling이 적절하지 않다는 것을 언급합니다. 최근 연구실에서 time-series에 대한 다양한 representation learning이 제안되어 왔는데 다시 리마인드를 위해 배경에 대해서 한 번 더 언급해주신 점이 좋았습니다. 좋은 발표 감사합니다.

오늘 세미나는 "SimTS: Rethinking contrastive representation learning for time series forecasting" 논문을 주제로 진행되었습니다. 해당 논문은 Time Series Forecasting downstream에 활용하기 위한 self-supervised 시계열 모델을 제안합니다. 본 논문은 contrastive learning 방법론을 채택한 연구에서 Sampling 방식의 문제점을 지적하였습니다. 즉, negative sample을 도출하기 위한 기존 연구의 방법론을 신뢰할 수 없으며, 따라서 positive pair만을 활용하여 학습을 진행합니다. positive pair의 경우 history data (lookback window의 representation)을 이용하여 예측한 value와 실제 future data의 representation으로 구성합니다. 두 개의 representation을 추출하기 위해 동일한 encoder 사용하며, Future representation을 학습하는 과정에선 data leakage를 방지하기 위해 future data 입력 파트에선 stop gradient를 적용합니다. SimTS는 최신 TS representation learning 모델과 비교하여 SOTA 성능을 달성하였습니다. 다만, 최신 supervised model과의 성능 비교가 없다는 점과, TS forecasting은 data를 크게 annotate할 필요가 없는데, forecasting에만 특화된 self-supervised model의 필요성을 다소 공감하기 어려운 아쉬움이 남습니다. TS representation 연구에서 contrastive pair sampling 방법론은 아직 고도화되고 있는 단계에 있다 생각하는데, 기존 negative sampling을 신뢰할 수 없기 때문에 이를 아예 제외한 점이 가장 흥미로웠습니다. 좋은 발표 감사합니다.