이번 세미나에서는 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency라는 논문의 representation learning 방법론이 소개되었습니다. 본 논문에서는 시계열을 time과 frequency 도메인 측면으로 분해하고 frequency 측면에서의 augmentation 기법을 적용하여 contrastive learning pair를 구축할 수 있는 새로운 방법론을 제안합니다. 특히 original과는 달리 augmented된 time 과 frequency를 negative pair로 둔 가정이 신선했던 거 같습니다. 또한 실험에서 fine-tuning 시, 시계열의 길이나 차원의 크기가 다른 경우 적용방법을 함께 제시한 측면에서 현실적인 상황도 잘 고민한 점이 느껴졌습니다. Representation learning에서 어떤 것을 consistency하게 볼 것인가에 따라 contrastive pair 구축 전략이 매우 다양하고, 이미 많은 기법들이 나왔는데 앞으로도 어떠한 가정을 바탕으로 방법론들이 연구될지 기대됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency라는 논문을 다루었습니다. 이 방법론은 Time domain에서의 representation과 Frequency domain에서의 representation에 각각 다른 augmentation을 적용하고 contrastive learning을 적용하여 두 domain의 representation 간 consistency를 유지하도록 학습시킵니다. consistency를 유지시킬 때, original time domain representation과 frequency domain representation간의 거리는 가깝게 하고, augmented representation과의 거리는 멀게 학습시킵니다. 시계열 데이터 분야에서도 자연어 처리 분야처럼 pre-training - fine-tuning 구조의 방법론이 연구되고 있다는 것을 알게 되어서 신기했고, 데이터의 특성이 달라서인지 general한 적용은 어려워 보인다는 것을 알게 되었습니다. Background에서 필요한 개념과 방법론들을 순차적으로 소개해주셔서 어려운 내용을 비교적 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency"라는 주제로 진행되었습니다. 본 발표에서는 time / frequency domain에서 생성된 augmented view로 positive pair를 구성하고 이를 기반으로 contrastive learning을 통해 모델을 사전학습하는 TF-C가 소개되었습니다. 개인적으로 time-series representation learning을 중점적으로 공부하고 있기 때문에 이와 유사하지만 목적이 다른 TF-C 모델이 흥미로웠습니다. 특히 시계열 데이터의 경우 computer vision이나 NLP의 데이터와 다르게 각 데이터가 다른 변수를 가지고 있는 경우가 많은데 해당 데이터를 활용하여 사전 학습을 시도하고, 이러한 어려움을 해결하기 위해 각 채널마다 model parameters를 공유하여 output을 생성한 점이 인상깊었습니다. 또한, 최근에 시계열 데이터를 활용한 과업들에서 time/frequency domain을 통합하여 활용하기 위한 다양한 연구들이 제안되고 있는데, 해당 연구에서는 각 domain에서의 augmentation 결과를 positive pair로 설정하는 간단한 방법을 통해 두 도메인에서 시계열 데이터의 특징을 추출한 점 또한 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나는 NeurIPS 2022년도에 공개된 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 논문으로 진행되었습니다. 본 논문은 시계열 분야에서 Contrastive Learning을 이용해 Pre-training을 진행하는 방법론을 제안한 논문입니다. Contrastive Learning에선 Positive Pair, Negative Pair를 어떻게 구성하는지가 중요한데 본 논문에선 Time domain의 데이터와 Frequency domain의 데이터를 각각 augmentation시켜서 구성된 positive pair를 기반으로 SimCLR 논문에서 제안한 NT-Xent loss를 이용한 학습과, Time-based Contrastive Encoder + Frequency-based Contrastive Encoder를 기반으로 time domain representation과 frequency domain representation 간 consistency가 유지되도록 하는 추가적인 학습을 수행하는 방법론을 제시했습니다. 이때 time 데이터에 대해서 augmentation을 수행할 때 하나의 방법만을 사용하는 것이 아닌 Jittering, Scaling, Permutation 등 다양한 augmentation을 수행하여 더 robust한 time-based embedding을 생성한 것이 인상 깊었습니다. 시계열 분야는 수식도 많고 접해본 적도 없어서 어려움이 많은데 항상 배경부터 수식까지 자세히 설명해주셔서 많은 도움이 되는 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 Time series representation learning 방법론인 TF-C를 제안한 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency에 대해 다뤄주셨습니다. 해당 논문은 시계열 데이터의 Time domain 뿐만 아니라 fequency domain을 다루며 각각 augmentation을 통해 positive pair를 생성하고 contrastive learning를 통해 Time domain에서의 representation과 fequency domain에서의 representation이 consistency를 갖도록 학습 합니다. 제안된 방법론은 time-based representation, fequency based representation을 추출하기 위해 각각 contrastive encoder로 구성되어 있으며 Encoder에서 추출 된 각 representation을 이용해 최종 학습을 진행합니다. 실제 실험에는 7개의 데이터셋을 사용하였으며 Pretraining 및 Fine-tuning을 통해 Transfer learning task를 수행하였습니다. 데이터 마다 형태가 다르고, Feature가 다른데도 불구하고 Time series에서 Transfer learning이 가능하다는 점에서 놀랐고 Time 뿐만 아니라 Fequency까지 End-to-End로 학습이 가능했다는 점이 인상깊었습니다. 세미나 고생 많으셨습니다.

이번 세미나에서는 다변량 시계열 데이터의 self-supervised learning이 주제로 다루어졌습니다. ****Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency이라는 제목의 논문이 소개되었는데 일종의 pre-training 을 위해 contrastive learning을 적용한 self-supervised learning이 수행되는 모습에 대한 내용을 담고 있습니다. Contrastive learning을 적용하기 위해서 positive pair를 형성해야하는데 논문의 제목처럼 Time과 Frequency 두 가지 측면으로 나누어****

augmentation을 실시한 후 consistency loss를 계산해 self-supervised learning이 이루어지는 것입니다. 이렇게 시계열 데이터만이 가지는 특성에 따라 Time과 Frequency 도메인을 활용할 수 있는 점이 충분히 납득 가능하며 좋은 접근 방법이라는 생각이 들었습니다. 앞선 선행 연구들을 간단히 잘 설명해주신 덕분에 전반적으로 해당 방법론이 진행되는 흐름을 쉽게 파악할 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency라는 논문에 대한 리뷰를 진행하였습니다. 본 방법론은 contrastive learning을 활용하여 time domain에서의 representation과 frequency domain에서의 representation이 일관성을 갖도록 학습하는 구조 입니다. Time domain과 frequency domain에서 각각 augmentation을 통해 positive pair를 생성하고, contrastive learning을 수행합니다. 특히 Frequency domain에서는 augmentation 방법으로 fourier component random remove, 또는 진폭의 변화를 주는 방법 사용하였습니다. 본 논문에서 제안하는 구조인 TF-C는 Time-based Contrastive Encoder, Frequency-based Contrastive Encoder, Time-Frequency Consistency로 구성됩니다. 각 모듈을 통해 최종적으로 time-domain, frequency-domain에서 일관적인 representation을 갖도록 학습이 진행됩니다. 본 세미나를 통해 time-series data representation에 대한 다양한 방법론을 알 수 있었습니다. 추가적으로 현재 합동 연구중인 내용도 공유를 해주셨는데, 교수님의 피드백을 잘 반영하여 좋은 결과 있기를 바랍니다. 좋은 발표 감사합니다!

이번 세미나는 NeurIPS 2022에서 발표된 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 를 주제로 진행되었습니다. 최근 발표자께서 Fourier transform 을 이용한 시계열에 대한 발표를 주로 해주셨는데, 해당내용들이 충분히 잘 정리되어있어 리마인드하는데 도움되었습니다. 퓨리에 변환에서 어떤 component 를 변경하는지가 augmentation 에서 중요한 역할을 하게 될 것으로 생각되었는데, 해당 내용을 변경해서 실험성능을 기록해둔 장표에서 생각했던것과는 조금 다르지만, 데이터셋마다의 특징이 다르고, 그에따른 augmentation 의 조합이 달라지는 것이, 시계열데이터는 데이터의 특성을 확실히 더 고려해야함을 느꼈습니다. 다른 도메인에서의 정보의 consistency 를 고려하는 loss 가 상당히 직관적이고 이러한 아이디어는 차후 다른 연구주제에서도 충분히 적용할 수 있기에 모델 구조까지 한번 더 관심있게 보았습니다. 좋은발표 감사합니다.

이번 세미나에서는 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency라는 논문에 대해 소개해주셨습니다. 본 논문에서는 time domain에서의 representation과 frequency domain에서의 representation이 consistency를 갖도록 학습하는 방법론을 제안하였는데, 이 부분이 굉장히 흥미로웠습니다. 우선 두 도메인에서의 consistency를 고려하여 더 나은 representation을 제안하는 흐름이 직관적이고 논리적이라고 생각하였습니다. 또한 각 도메인에서의 positive pair를 생성하여 contrastive learning을 수행하였는데, fequency 도메인에서 진폭의 변화를 주기 위해 fourier component random remove라는 기법을 사용한 점이 인상적이었습니다. 시계열 representation과 관련하여 많은 연구들이 진행되고 있고, 제가 생각했을 때 각 방법론들이 융화되고 있지는 않은 것 같습니다. 본 논문에서 제안한 방법론과 더불어 좋은 성능을 달성했던 여러 representation learning 기법들로부터 좋은 시계열 데이터 representation learning에 대한 가이드라인을 제시하고 그에 따라 각 장점을 융합한 representation learning 기법을 제안한다면 좋은 연구가 될 수 있을 것 같다는 생각을 하였습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 NeurIPS 2022에 개제된 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency논문을 소개해 주셨습니다. 본 논문의 방법론 TF-C는 Time Series representation learning model의 하나로 Time domain과 frequency domain에서 각각 augmentation 통해 positive pair를 생성하여 contrastive learning을 수행하는 모델이라고 요약할 수 있습니다. 모델에서는 서로 다른 domain에서 augmented된 데이터의 representation을 각각 얻게 되고, 그 둘이 consistency를 가지도록 학습을 수행합니다. 특히 Frequency domain에서 augmentation 수행 시 특정 푸리에 component를 제거하거나 진폭의 변화를 가하는 등의 아이디어를 함께 제안하였습니다. 시계열 논문 뿐 아니라 다른 domain에서도 contrastive learning관련의 논문들의 핵심은 각 data에 맞는 적절한 positive, negative pair를 찾는 것 같습니다. 주제 논문 이외에도 Background 설명에서 Time series representation learning with contrastive learning 모델들의 발전 계보를 설명해 주신 것이 최근 해당 내용을 공부하고 있던 제게 큰 도움이 되었습니다. 항상 좋은 발표 감사합니다.

본 세미나에서는 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 논문을 다루어 주셨습니다. 본 논문에서는 time, frequency domain에서 각각의 augmentation을 이용하여 positive pair를 생성하고 contrastive learning을 수행하고 있습니다. 또한 두 domain에 해당되는 representation값들이 consistency를 갖도록 학습하고 있습니다. 논문에서 제안하고 있는 TF-C 구조는 크게 Time-base Contrastive Encoder와 Frequency-based Contrastive Encoder, Time-Frequency consistency로 구성되었다고 볼 수 있습니다. Time-Frequency Consistency에서는 서로 다른 domain의 representation간의 거리를 비교하고 있는데, 두 도메인의 representation은 가깝게, augment된 representation과는 멀어지도록 학습하고 있습니다. 데이터에 있어 시계열의 길이가 다른 경우와 차원의 크기가 다른 경우에 대해 적절히 처리하는 방법들이 인상적이였습니다. 다대일 실험 등 다양한 실험을 진행하였는데 결과에 대해 상세히 분석하고 개인적인 의견도 공유해주셔서 많은 도움이 되었습니다. Background에 대한 설명히 자세히 되어있어 흐름을 잘 따라갈 수 있었던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 “Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency”이라는 주제로 진행되었습니다. 해당 논문에서는 Time Domain과 Frequency Domain의 데이터를 각각 Augmentation을 수행해 Positive Pair를 생성해서 Contrastive Learning을 통해 Time Representation과 Frequency Representation을 생성하고, 서로 다른 Domain으로부터 생성된 두 Representation가 Consistency를 갖도록 합니다. Time 데이터의 Augmentation 중 원본 데이터를 slice한 후 이것을 다시 재배열하는 방법을 사용했는데 시계열 데이터는 순서의 의미가 매우 중요하기에 이러한 Augmentation 방법이 사용된다는 것이 인상적이었습니다. 최근 연구실 동기와 Time Series에서의 Pre-training 후에 특정 Downstream Task로의 전이 학습에 대해서 얘기했는데 개인적으로는 우선 Pre-training에서 시계열 데이터의 어떤 정보를 학습해야할지부터 파악하기가 어렵다고 느껴졌습니다. 해당 연구에서의 다대일 실험 결과와 같이 Transfer Learning을 적용했을 때 성능이 떨어지긴 하지만, 시계열 데이터에 Transfer Learning을 시도하는 것 자체가 의미있는 연구라고 느껴졌습니다. Background에서 Time series representation learning, Contrastive learning을 활용한 Time series representation learning 방법론들을 소개해주셔서 이해에 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에선 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 라는 논문에 대해 소개되었습니다. 논문에선 decomposed time과 frequency에 각각의 augmentation 방식을 통해 positive pair를 생성하고 contrastive learning을 수행합니다. Contrastive learning의 pair 구성은 augmented data는 positive pair로, 다른 샘플은 negative pair로 설정하는 (SimCLR과 같은)일반적인 방식이 사용되고 normalized temperature-scaled cross entropy loss 식을 사용합니다. 또한 논문 제목에 드러난 것처럼 time과 frequency의 consistency를 높이는 아이디어를 contrastive learning에 반영하고 있고 이 부분이 기존 연구들과 구분되는 점으로 이해하였습니다. 설명된 여러 실험 결과들을 볼 때 시계열 데이터에서 representation learning은 transfer learning의 downstream task에서 안정적인 성능을 보이기 힘든 것으로 보이고, 발표자분께서도 견해로 밝혀주셨던 것처럼 이는 시계열 데이터들이 서로 너무 다른 특징을 가지고 있기 때문인 것으로 생각됩니다. 시계열 도메인에서의 representation learning이 좀 더 유의미한 발전이 가능할지 발표자분의 연구 결과를 기대하며 다음 세미나를 기다리겠습니다. 좋은 발표 감사합니다.

이번 세미나는 시계열 분야의 representation learning 방법론을 다룬 논문 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency을 주제로 진행되었습니다. 본 논문은 time과 frequency 도메인에서 augmentation을 통해 positive pair를 생성하고 서로 다른 샘플을 negative pair로 두어 contrastive learning을 수행합니다. 논문에서 제안하는 TF-C 구조는 time-based contrastive Encoder와 Frequency-based contrastive encoder 그리고 time-frequency consistency로 구성됩니다. Backbone으로는 time encoder와 frequency encoder 모두 3개의 convolutional block을 두고 있습니다. 시계열에서 활용되는 augmentation 기법은 무엇일지 궁금했는데, 본 논문에서는 시계열 패턴에 노이즈를 추가하는 Jittering, 강도를 변형하는 Scaling, 그리고 permuation과 같이 다양한 증강 기법을 활용하여 복잡한 시간 역학에 모델을 노출시키고 더욱 강력한 time 기반의 임베딩을 생성하고자 하였습니다. 일반적인 contrastive learning 프레임워크에 맞춰 positive pair는 가깝도록, negative pair는 멀리 위치하도록 학습을 진행하였고 SimCLR의 NT-Xent를 contrastive loss로 활용하였습니다. 요즘 연구를 진행하며 NLP의 augmentation 강도에 관해서 여러 실험을 진행하고 있는데, 시계열에서는 시점 단위로 강도를 다르게 하는 augmentation 방식이 충분히 잘 작동할 것이라는 생각이 들었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency으로 시계열 데이터 분야에서 Representation Learning을 연구한 논문이었습니다. 해당 논문은 시계열 데이터에 대한 representation learning을 위해 시계열 데이터를 time과 frequency로 분해하여 다룰 것을 제안하고 있습니다. 구체적으로 각각의 두 도메인의 데이터에 대해 각 인코더 모델은 SimCSE에서 제안한 in-batch Contrastive Learning방식을 이용하여 augmentation을 통한 Consistency Learning을 수행하게 됩니다. 특히 이때의 augmentation은 두 도메인의 특성을 살린 Jitter 등의 Time Domain Augmentation과 Component의 Amplitude를 조절하는 방식을 취하고 있었습니다. 그리고 두 인코더를 통과한 representation에 대해 Original Representation과 Augmented Representation 간의 Consistency Learning 역시 수행하고 있습니다. 총 3가지 Consistency Learning을 통해 Representation을 학습하는 것이 해당 방법론의 전부이기 때문에 다소 단순해 보일 수 있지만, 시계열 데이터의 특성을 살려 Augmentation을 하거나, Domain을 분리하는 등의 섬세한 요소들이 돋보인 논문이었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 self-supervised contrastive pre-training for time series via time-frequency consistency 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Time, Frequency domain에서 각각 augmentation을 적용하여 positive pair를 생성하고 Contrastive learning을 적용하고 있습니다. 또한, 이렇게 각 Domain에서 Contrastive learning을 수행하는 것에서 그치지 않고 Time domain에서 Representation과 frequency domain에서의 Representation이 Consistency를 갖도록 하는 것이 해당 논문의 핵심이라고 볼 수 있습니다. 먼저 Input에 대하여 Data augmentation을 수행한 후, Original sequence에 변형을 주어서 이를 original sequence와의 Positive pair로 구성한 후 NT-Xent Loss를 사용하여 모델이 Transformation-invariant representation을 학습하도록 Contrastive learning을 진행합니다. Frequency 역시 Representation을 학습시키기 위하여 Fourier Transformation을 사용하여 몇 가지 Fourier component들을 골라서 Augmentation을 수행합니다. 이렇게 각각 Time과 Frequency에 대한 Representation을 구한 후, 동일한 space로 나타내기 위하여 Projector를 사용하여 각 Representation간의 distance를 비교합니다. 이때, original Representation들끼리는 가깝게, Augmentation된 Representation들과는 멀도록 다시 Contrastive learning을 진행하게 됩니다. 최종적으로 위에서 도출한 Representation들을 합쳐 최종 Representation을 도출하여 사용하게 됩니다. 최근 Contrastive learning에 관심을 가지고 있어서 해당 방법론이 다른 분야에 어떻게 적용되는지 궁금하였는데, Time-series 에는 이러한 방법으로 적용될 수 있다는 것을 알 수 있었습니다. 또한, 최근 Time-series data의 Representation을 뽑아내는 데에 있어서도 Fourier Transformation이 자주 사용되는 것을 보았기에 의문점을 가지고 있었는데, 해당 부분에 대해서도 더 자세히 알 수 있어서 좋았습니다. 전체적인 Background와 하나하나 자세한 설명까지 해 주셔서 이해가 매우 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 "Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency" 논문에 대한 소개를 해주셨습니다. 해당 논문에서 제안하는 방식은 contrastive learning을 활용하여 시계열 데이터의 representation을 학습하는 방법입니다. 시계열 데이터가 가지는 특징으로 대표되는 time domain과 frequency domain을 통해 두 가지에 대한 representation을 따로 구한 후 서로에 대한 consistency를 고려할 수 있도록 학습을 진행합니다. 본 연구에서 제안한 TF-C에 대하여 visualization, clustering, 그리고 anomaly detection 결과를 다양하게 보여주어 인상깊었습니다. 최근 시계열 연구에 다양한 representation learnnig 방법이 제안되고 benchmark 또한 다른 분야에 비해 많은 편이라서 실험적으로 보여지는 부분도 굉장히 많은 것 같습니다. 좋은 발표 감사합니다.

Self-Supervised Contrastive Pre-Training for TimeSeries via Time-Frequency Consistency를 주제로 세미나가 진행되었습니다. 최근 timeseries 분야에서 contrastive learning 기반의 모델이 자주 발표되었기에 차이점을 명확히 비교하기 어려웠으나, T-Loss부터 TF-C까지 분석해주신 덕에 리마인드 할 수 있어 좋았습니다. 세가지 메인 consistency loss 중 time-frequency consistency loss가 가장 인상적이었습니다. 해당 loss를 추가하여 time과 frequency domain을 적절히 학습할 수 있는 핵심적인 구조로 이해됩니다. 시계열이 데이터에 따라 큰 차이점이 나타나기 때문에 아직까지 다른 domain과 같은 dominant한 방법론이 제안되지 않았지만, 직관적인 방법론들이 점점 발전하는것을 지켜보니 향후 연구방향이 궁금해졌습니다. 감사합니다.

이번 세미나에서는 NeurIPS 2022에서 발표된 Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency에 대해 살펴보았습니다. 기본적으로는 기존에 제안된 아이디어를 기반하고 있지만 time domain representation과 frequency domain representation에 대한 consistency를 고려하는 loss는 매우 흥미로웠습니다. 결국 두 domain의 representation을 concat하여 최종 representation으로 사용하게 되는데 그 공간을 맞춰주는 것은 매우 직관적이고 합리적입니다. 개인적으로는 time series data자체가 가지는 특성이 image나 text와는 또 다르기 때문에 time series data를 위한 cutmix와 같은 augmentation이 등장하면 좋을 것 같습니다. 또한 contrastive learning을 위한 positive, negative pair에 대한 고민도 하다보면 성능을 높일 수 있지 않을까 싶습니다. 발표와는 상관없지만 박사과정 고년차부터 신입생까지 적절한 연차의 연구원들이 모여 공동 연구를 하고, 공통된 주제의 세미나를 진행하는 것이 매우 좋은 것 같습니다. 주제도 산업공학과 잘 맞아서, 졸업과 입학으로 구성원이 바뀌더라도 가능한 오랜 기간 연구팀이 유지될 수 있으면 좋겠습니다. 좋은 연구 성과 있기를 바랍니다!