금일 세미나에서 발표해주신 TS2Vec: Towards Universal Representation of Time Series은 AAAI-22에 accept된 논문으로, 여러 time series task에 있어서 robust한 representation을 뽑기 위한 연구였습니다. 개인적으로 time series representation learning에 최근 관심사를 가지고 있었기에 너무나 유익한 시간이었던 것 같습니다. 기존 time series representation에서의 instance-level representation은 fine-grained representation을 요구하는 task에 적합하지 않으며, 다른 granularity를 가진 multi-scale contextual information을 얻는 방법론 부재하다는 한계를 안고 있었습니다. 본 연구는 이러한 단점들을 encoder와 contrastive learning을 통해 데이터를 증강해줌으로써 진정한 의미에서의 positive sampling을 수행하고, hierarchical contrasting을 통해 각각의 시간 뿐만 아니라 max-pooling으로 묶인 시간 정보까지 representation을 추출하여 모델의 성능을 향상시킨 점이 인상깊었습니다. 좋은 논문 발표 감사합니다.

시계열 데이터에 대해 unsupervised representation learning을 제안한 ts2vec에 대해 소개해주셨습니다. 선행 연구에서 specific timestamp, sub-series와 같은 coarse representation을 사용하는 것이 성능 향상에 제약을 준다고 지적하며 scale-invariant한 fine-grained representation을 얻고자 하였습니다. 먼저 latent vector에 binary masking과 dilated convolution으로 다양한 representation을 얻습니다. 그 후 contrastive learning을 위해서는 이전 연구의 unsupervised positive pair making과 다른 방법을 사용합니다. 시계열 데이터에 적용된 가정이 이미지, 자연어와는 다르다 보니 데이터의 특성에 맞추어 서로 다른 구간을 만들고 그 중 overlapped context를 사용하여 positive pair를 구축합니다. 요즘에는 데이터에 대한 가정을 확실하게 파악하는 것이 어떠한 task를 수행하는 데 가장 중요한 일이라고 느낍니다. 본 논문에서도 (이전 연구와 task 수행하는 관점에 따라 다를 수 있지만) augmentation을 수행하는 과정에서 시계열 데이터에 대한 많은 고민이 담겨 있는 것처럼 느껴졌습니다. 잘 들었습니다 감사합니다.

이번 세미나에서는 비지도학습 방식의 시계열 데이터 representation 방법론인 TS2Vec에 대해 소개되었습니다. 해당 논문의 기여점으로는 도메인과 데이터에 따른 변동성과 불확실성 정도가 높은 시계열 데이터의 특징을 개선하고자 universal한 representation을 생성했다는 점에 있습니다. 개선에 큰 역할을 수행한 것이 timestamp masking과 random cropping을 통한 augmented data와의 positive pair 구축이었습니다. 이는 모두 Contrastive learning의 과정으로 Contrastive Learning이 최근 연구실 세미나에서 자주 등장하는 것을 통해 해당 개념이 많은 주목을 받고 있음을 확인할 수 있었습니다. 한편, 발표자 분의 논문에 대한 견해를 공유해 주시는 것에서 많은 점을 배우고 있습니다. 기회가 된다면 ‘논문 읽는 법’이라는 주제로 세미나를 진행하셔도 좋을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서 시계열 데이터의 representation 방법론에 대해서 들을 수 있었습니다. 항상 해당 분야에서 representation 은 담고자하는 특징이 있었는데, 기존방법론들도 괜찮은 아이디어라고 생각했지만, 오늘 발표해준 논문에서는 해당방법론들의 문제점을 지적합니다. 우선 해당 방법론들이 대부분 contrastive learning 을 통해 학습된다는 점은 동일 했으나, pair 구성이 다릅니다. 이상치 탐지관련해서는 근거리에 있는 이웃이더라도 positive pair 로 정의하면 안되는점들, 특정한 주기에 따른 특징을 보이는 시계열에서 큰 주기를 기준으로 해당 내부의 pair 가 같은 특징을 가진다는 점을 지적하며, 해당문제를 해결하기위해 같은 시점의 데이터를 positive pair 로 구성하게 됩니다. 처음 든 의문은 같은 시점 데이터면 왠만하면 같은 값을 가질텐데 positive score 의 학습 영향력이 있을까 였습니다. 제안되는 방법론에서는 다른 sequence 이지만 공유하는 부분을 가지고 옴으로써, 같은 시간에대한 정보가 주변의 다른 정보를 내포할 수 있는 representation 을 만든것으로 이해했습니다. 즉 완전히 같은 time 이라도 같은 representation 이 구성되지는 않는 다는것이고, 결국 주변정보에대한 representation 에서 positive 의 잠재적 요소를 학습한다고 생각할 수 있었습니다. 아이디어가 상당히 좋았고, 실제로 입증이 되는 결과를 확인할 수있었습니다..

금일 세미나는 "TS2Vec: Towards Universal Representation of Time Series"라는 주제로 진행되었습니다. 본 발표에서는 granularity에 강건한 universal representation을 학습할 수 있는 TS2Vec이 소개되었습니다. 해당 모델은 contextual consistency, timestamp masking, random cropping을 통해 시계열 데이터의 contrastive learning에 적합한 augmentation을 적용함으로써 task-agnostic representation의 학습을 가능하게 했습니다. 개인적으로 본 방법론에서 Hierarchical Contrasting을 사용한 부분이 흥미로웠습니다. 해당 방법을 통해 간단하게 multiscale 정보를 반영한 점과 동일 time stamp는 positive pair로, 동일한 샘플 내에서도 다른 time stamp는 negative pair로 설정하여 Temporal Contrast Loss를 적용한 점이 인상 깊었습니다. 이러한 부분들을 통해 본 논문에서 제안한 TS2Vec이 시계열 데이터의 특성을 잘 파악하고 활용했다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Time series의 universal한 representation을 생성하는 방법론 중 하나인 TS2Vec을 주제로 진행되었습니다. 발표자분께서는 다른 분야에서 representation 연구가 활발하게 이루어지고 있는 반면에, 시계열 데이터의 가변적인 특성을 잘 파악할 수 있는 연구가 필요하다고 언급하며 세미나를 시작하였습니다. 해당 방법론은 크게 3가지의 contribbution이 있었습니다. 먼저 encoder에서는 기존의 방법론들과는 다르게 input projection layer를 통과한 이후에 binary masking을 하였는데, 이는 raw 데이터에 0의 값으로 masking 처리하는 것이 본연의 특징을 상쇄시킬 수 있다고 언급을 하고 있습니다. 두번째는 contrastive learning을 위해 positive pair를 정할 때 random cropping을 두번 진행하여 생긴 sequence에 대해 overlap된 구간들을 positive pair로 정하면서 여러 position에도 robust하고자 하였습니다. 세번째는 hierarchical contrasting을 통해 temporal contrast, instance contrast에 대해 학습하도록 구성하였습니다. 제 개인연구를 진행을 할 때 masking으로 0이 사용되는 것이 항상 의미를 퇴색한다고 생각하여 어떻게 masking 처리 해주는 것이 좋을지 고민이었는데 해당 논문에서 같은 고민을 하고 다른 방법을 고안한 점이 인상 깊었습니다. 또한 아키텍처 자체에서 seasonal과 trend를 나눠 학습하는 방식을 사용하지 않았음에도, seasonal과 trend를 잘 예측하는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

본 세미나는 시계열 데이터 셋의 다양한 Down Stream task를 수행하기 위해 가장 기초가 되는 Representation을 어떻게 시계열 데이터에 적합한 형태로 구성할지에 대한 논문입니다. 보편적인 표상인 Instance-level representation은 fine-grained representation을 요구하는 과제에 적합하지 않으며 이는 timestamp나 subseries를 사용하는 시계열 데이터에 적합하지 않으며 이를 위해 TS2Vec을 통해 표상 구성 방식을 제안합니다. TS2Vec은 series가 나눠진 정도인 granularity의 크기에 강건한 표상을 구축하기 위해 Multi resolution의 contextual information을 포착하려 합니다. 이를 위해 Contrastive Learning을 활용하며 시계열 분석의 여러 가정 (ex. Transformation-invariance 등)들의 도입 없이도 강건한 표상을 학습할 수 있는 Augmentation 방법론을 제안합니다. 간략하게 설명하자면 Time-series를 Augmentation했을 때, 기존 시계열과 다른 Context를 갖는 표상에 대하여 동일한 TimeStamp를 갖는 부분은 서로 가깝게 위치할 수 있도록 학습하는 것입니다. 기본적으로 Contrastive Learning과 같이 Input 표상 자체를 효과적으로 구성하는 연구가 최근 흥미로우며 좋은 연구 소개해주셔서 감사합니다.

이번 세미나는 시계열 데이터의 universal한 representation을 학습하기 위한 방법론 TS2Vec을 주제로 진행되었습니다. 발표자분께서 소개해주신 논문은 TS2Vec: Towards Universal Representation of Time Series으로 다양한 데이터와 task에 범용적으로 적용할 수 있는 모델 구조를 제안합니다. 시계열 분야에서의 unsupervised representation 연구에는 instance-level 학습을 통해 군집화나 분류에 좋은 성능을 보였던 TNC, T-Loss, contrastive learning을 활용한 TS-TCC 등이 있었습니다. 본 논문은 이러한 선행 연구가 global한 관점에만 초점을 맞춰 fine-grained한 시계열 데이터의 representation을 학습하기에는 한계가 있음을 지적하고, 시계열 데이터 특성에 적합한 augmentation 기법을 활용하고 hierarchical contrasting 구조를 통해 fine-grained한 representation을 학습할 수 있도록 하는 새로운 학습 프레임 워크를 제안하였습니다. 해당 세미나에서 인상 깊었던 지점은 논문 저자들이 Appendix를 통해 논문에서 제안하는 positive pair 구축 전략의 근거를 수학적으로 증명하고 실험으로 이를 뒷받침한 부분입니다. 또한 발표자분께서 슬라이드 내 모델 구조를 명확하고 세세하게 표현해주셔서 발표를 따라가는데 큰 도움이 되었습니다. 분야를 막론하고 contrastive learning이 근래 DL 기반 representation 학습 방법론 연구에 자주 등장하고 있는 만큼, 그 중요성을 인식하고 제 관심 분야에도 적용 및 응용할 수 있도록 고민해보는 좋은 시간이었습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에서는 시계열 데이터에 대한 표상을 학습하기 위한 방법론에 대해 소개해주셨습니다. 이미지, 텍스트 등 다른 도메인 데이터에 대해서는 많은 표상 학습 방법론들에 대해 접해왔지만 시계열 데이터에 대한 표상 학습 방법론은 낯설어서 흥미롭게 들은 세미나였습니다. 우선 소개해주신 방법론은 TS2Vec이라는 모델로, 기존 연구들이 주로 global한 관점에서만 표상을 만들어내며, 이러한 coarse한 표상이 forecasting, anomaly detection 등 분야 성능 향상에 제약을 준다고 지적합니다. TS2Vec의 경우 그러한 한계점을 극복하기 위해서 Hierarchical한 구조를 통해 fine-grained contextual representation을 생성하고자 합니다. 더욱 핵심적인 부분은 contrastive loss를 적용하는 부분인데, 기존 연구들의 경우 단순히 다른 시점의 데이터를 negative로 두어 표상 학습을 진행하는 경우가 있었습니다만 본 방법론의 경우 다른 context를 가진 두 표상이 있을 때, 이들의 동일한 timestamp에 해당하는 부분은 서로 가까워야 한다는 가정 하에 contextual consistency를 반영합니다. Contrastive loss가 표상 학습에 굉장히 효과적으로 활용되는데, 시계열 데이터에 대해서도 이런 방식으로 효과적으로 성능 개선을 가져올 수 있다는 점이 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나에서는 time series data에 contrastive learning 을 적용한 "TS2Vec: Towards Universal Representation of Time Series" 라는 연구에 대해서 소개되었습니다. TS2Vec는 Hierarchical contrasting 구조로 granularity에 robust 하다는 점과 task agnostic한 representation을 학습할 수 있는 contrastive learning framework를 제안했다는 점을 contribution으로 꼽을 수 있을 것 같습니다. Vision이나 NLP 에서 연구된 contrastive learning 방법론들도 데이터셋에 맞게 augmentation과 positive, negative sample들을 정리하였는데 이번에 소개해주신 논문은 이러한 연구의 시계열 버전으로 생각됩니다. 논문 소개에 앞서 연구에 대한 의미나 발표자분의 의견에 대해 정리해주시고 논문에 소개된 데이터에 맞는 augmentation과 masking 방법에 대해 그림을 통해 자세히 설명해주셔서 이해하기 수월했던 것 같습니다. 개인적인 의견으로 positive나 negative sample을 정의하는 부분은 data specific한 경향이 강해서 후속 연구는 이미지 representation 연구의 발전방향처럼 Knowledge distillation 쪽이 되지 않을까 생각합니다. 좋은 발표 감사합니다.

이번 세미나는 time series data에 대한 representation을 연구한 "TS2Vec: Towards Universal Representation of Time Series"에 대해 살펴보았습니다. 역시나 기존의 연구들처럼 contrastive learning을 사용하고 있는데 그 방식이 독특해서 신선했습니다. 우선 latent code에 random masking을 추가한 후 decoding을 진행하여 나오는 output을 일종의 augmentation으로 사용하고 있습니다. 이 부분에서 random masking을 사용한다고 하더라도 실제 output의 차이는 굉장히 작을 것으로 예상이 되는데 결과적으로 representation에 좋은 영향을 미친다는 것이 재밌었고, simcse의 결과와 맥락이 이어진다고 생각되었습니다. 이후 동일한 time stamp에 대해서는 positive로 고려하고 다른 time stamp는 negative로 고려하는데 negative pair가 기존의 time series representation 가정과 위배된다고 생각해서 역시 흥미로웠습니다. 좋은 발표 감사합니다.

기존 연구에서 Instance-level representation는 fine-grained representation에 적절하지 않는다는 한계점을 언급하며 일반화 성능향상을 위한 scale-invariant information representation이 필요하다고 제안합니다. 논문에서 제안하는 TS2Vec에서는 다양한 Granularity에도 강건하고, Task agnostic 한 representation 방법론을 소개합니다. 또한 Timeseries data에 맞는 augumentation 기법을 제안합니다. Contrastive Learning 수행하는데, Positive pair를 Contextual Consistency를 통하여 구축하는 방법을 제안합니다. Overlap 되는 구간을 Cropping하고, masking을 적용하여 consistency를 유지하도록 positive pair를 구축하고, hierarchical 하게 constrastive loss를 설계하여 representation 학습이 가능하도록 합니다. 시계열 데이터는 temporal dependency를 활용하는데 제약사항이 많기 때문에 representation 이 중요하고 어려운 분야라고 생각합니다. 이번 세미나를 통하여 timeseires 데이터의 representation learning 연구방향에 대하여 살펴볼수 있었고, 저에겐 다소 어려웠던 논문을 쉽게 이해하는데 많은 도움이 되었습니다. 좋은발표 감사합니다.

금일 세미나는 universal한 time series representation을 생성하기 위한 TS2Vec에 대한 방법론 소개로 진행되었습니다. 시계열 데이터는 자연어/이미지 데이터와는 달리 가변적이기 떄문에 불확실성 정도가 높기 때문에, 보다 robust한 representation을 학습하는 것이 중요하고, representation은 이상탐지, 예측 등 여러 시계열 분야에서 활용될 수 있다는 배경에서 논문을 소개해주셨습니다. TS2Vec은 contrastive learning을 활용하여 representation을 학습하는데, 기존 방법론에 비해 contextual consistency에 더 초점을 맞추어 positive pair를 구축하게 됩니다. 구체적으로는 서로 다른 context를 가진 representation이어도 같은 timestamp에 해당하면 서로 가까워지게 학습하기 위해 positive pair로 정의하는 방법론을 소개하고 있습니다. 시계열 데이터의 특성을 고려한 augmentation 기법인 timestamp masking과 random cropping에 대해서도 알 수 있었습니다. Contrastive learning을 활용한 여러 시계열 representation learning을 꼼꼼히 정리해주셔서 흐름을 이해하는 데 큰 도움이 되었습니다. 좋은 발표 감사합니다.

오늘 세미나는 시계열 데이터의 universal한 representation을 학습하기 위해 contrastive learning을 활용한 TS2Vec에 대한 내용으로 진행되었습니다. 제안된 framework는 granularity에 강건한 representation을 만드는 것을 목표로, hierarchical contrasting 구조를 사용하여 granularity에 상관없이 fine-grained representation을 생성합니다. contrastive learning에서 가장 중요하다고 생각되는 것은 positive, negative의 정의 방식이라고 할 수 있는데, 해당 논문에서는 encoder 내부의 timestamp masking, contextual consistency, random copping을 통해 positive와 negative pair를 생성하였습니다. input 자체의 timestamp에 masking을 하는 대신 latent vector에서의 timestamp를 masking하여 전자의 방식을 적용했을 때 실제 값이 0인 경우와 masking한 0을 혼동할 수 있는 가능성을 배제했다는 것이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나의 주제는 TS2Vec: Towards Universal Representation of Time Series 입니다. 이는 다양한 데이터와 task에 Universal하게 적용할 수 있는 Time series representation 방법론으로 발표자께서 선행 연구들의 한계점을 분석하고 TS2Vec에 대해 설명해주셨습니다. 해당 방법론에서는 동일 time window에 대해서 overlap 되는 구간이 있도록 random하게 subseries를 cropping 해주며, Encoder를 통해 각 subseries의 representation 도출합니다. 이 때, encoder 내부적으로 timestamp masking 적용해주게 됩니다. 서로 다른 context representation의 overlap 구간에 대해서 동일 timestamp에 해당하는 representation 짝을 positive pair로 설정하며, 다른 context representation의 동일한 timestamp에 대해서 consistency를 유지하고자 합니다. 시계열 부분을 아직 잘 알지 못하는데 background에서 선행연구에대한 설명과 한계를 잘 설명해주셔서 유익한 시간이었습니다. 좋은 발표 감사드립니다.

이번 세미나는 시계열 데이터의 좋은 representation을 학습하는 것에 관한 방법론인 TS2Vec 연구에 대해 발표해주셨습니다. 본 발표를 통해 시계열 데이터에 관한 좋은 representation이 무엇인지 생각해볼 수 있었습니다. 본 논문에서는 시계열 데이터의 representation이 다양한 task에 널리 쓰이기 위해서는 fine-grained representation이 필요하고 선행 연구들은 이러한 부분이 부족함을 지적하였습니다. fine-grained representation을 얻기 위해 본 논문은 masking 기법과 contrastive learning을 사용했습니다. contrastive learning을 위한 data augmentation은 시계열 데이터의 특성을 반영하여 sub series를 부분이 겹치도록 sampling한 후 이 겹치는 시점 부분의 representation이 같아지도록 하는 방식을 채택하였습니다. 자료를 깔끔하게 작성해주셔서 본 논문이 탄생한 배경과 본 논문이 제안한 방법론의 논리 전개 과정을 명확하게 알 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나는 Time series representation 방법론인 TS2Vec를 주제로 진행되었습니다. 최근 연구실에서 관련 세미나를 자주 접했기에 흐름을 이어가서 이해할 수 있었습니다. 기존의 time series representation은 시계열의 특성을 고려하기보다 bert의 representation을 시계열에 적용하는 연구가 대부분이었습니다. 반면에 오늘 소개해주신 연구는 보다 고도화된 방법론을 통해 representation을 학습했기에 흥미로웠습니다. 논문의 방법론이 매우 흥미로웠지만, 개인적으로는 발표자의 발표 구성 능력에 대해 감탄하였습니다. 세미나 자료 한장 마다 전달하고자 하는 핵심이 명확하여 시계열을 연구하지 않는 저도 명확히 분야의 흐름을 이해할 수 있었습니다. 뿐만 아니라 발표자의 의견을 전달받을 수 있었고, 발표자가 세미나를 위해 많은 시간을 쏟았다는것이 느껴졌습니다. 좋은 발표 감사합니다.

오늘 소개해주신 내용은 TS2Vec: Towards Universal Representation of Time Series 논문에 대한 내용이었습니다. 최근 time-series representation Learning에 대한 흐름을 알 수 있는 좋은 시간이었습니다. 본 논문에서 주장하는 내용은 unsupervised representation learning은 fined-grained representation이 필요한 time-series의 task에 적합하지 않다는 문제에 대해 지적합니다. 따라서 contrastive learning과 같은 방법은 instance-level representation이기 때문에 서로다른 granularity를 가진 multi-scale contextual information을 얻는 것이 중요하다고 주장하빈다. 따라서 본 논문에서 제안하는 TS2Vec은 이런 문제를 해결하는 representation learning을 위해 multiple resolution 관점으로 데이터를 학습하고 시계열 특성에 적합한 augmentation 방법을 제안합니다. 오늘 발표를 통해 시계열 분야의 최근 흐름을 알 수 있던 좋은시간이 되었습니다. 감사합니다.

금일 세미나는 TS2Vec: Towards Universal Representation of Time Series에 대해 진행되었습니다. 개인적으로 관심을 갖고 있는 time-series 데이터의 representation learning분야 연구여서 더욱 흥미롭게 들을 수 있었습니다. 역시나 이 연구에도 contrastive learning이 활용되었습니다. 본 연구는 우선 강건한 representation을 학습하는 데 집중합니다. 이를 위해 hierarchal contrasting구조를 만들어 사용합니다. 더불어 시계열 데이터의 contrastive learning을 이뤄내기 위해 적합한 augmentation기법들도 소개합니다. Unsupervised 방법론 속에서 contrastive learning을 적용하기 위해선, 데이터 내 positive/negative pair를 구성하는 것이 중요할 텐데, 이를 위해 augmentation기법들을 사용하는 것이 인상깊었습니다. 개인적으로 관심을 갖던 분야인데, 깔끔하게 잘 정리해서 발표해주셔서 감사드립니다. 큰 도움이 되었습니다.