이번 세미나는 Learning Representations for Complete/Incomplete Time Series Clustering 를 주제로 진행되었습니다. Incomplete time series 데이터에 대해 imputation을 활용해 representation learning을 수행하는 것 새로웠습니다. 기본적으로 time series clustering 을 수행하기 위해 representation learning을 하는데, clustering 으로의 접근은 시계열의 noise 를 많이 줄여주는 기존의 연구들과 유사한 목적이 있다고 생각합니다. Objective function에 classification, k-means loss term을 추가함으로써, representation 을 생성합니다. 두번째 연구는 Time-series 내에 존재하는 불완전함(incompleteness)을 보완하기 위해, 적대적 학습 전략을 활용합니다. 여기서 또한 imputation 을 위한 loss 를 설계하는데, 위와 같이 imputation 을 하게되면 robustness 효과가 발생하게 될 것 같습니다. Imputation 자체가 불완전한 noise 대신 데이터의 분포에 맞는 값을 넣는 것이기 때문에 시계열에서 새로운 접근이지만, 목표하는바는 같다고 생각합니다.

이번 세미나에선 Learning Representations for Time Series Clustering, Learning Representations for Incomplete Time Series Clustering 이라는 두 개의 연구에 대해 소개되었습니다. 두 연구는 모두 cluster-specific representation을 학습하기 위한 방법을 제안하고 있고, 각각 complete, incomplete time series data를 기반으로 하고 있습니다. 먼저, 첫 번째 논문에선 temporal reconstruction과 k-means clustering을 통합한 구조를 통해 clustering이라는 downstream task에 적합한 representation을 학습하는 방법을 제시합니다. 여기서 Clustering-specific objective 로는 k-means objective가 사용되는데, centroid와의 거리를 최소화하는 일반적인 식이 아니라 prerequisites에서 설명한 gram matrix를 활용한 trace maximization 식을 사용한다는 점이 새로웠습니다. 두 번째 논문은 incomplete time series data를 기반으로 cluster-specific representation learning 방식을 제안하는데 결측치 처리를 위해 imputation 및 adversarial strategy를 사용합니다. 이 부분에서 imputed data 생성을 위한 generator와 생성된 imputed data를 실제와 구분하기 위한 discriminator가 사용되어 좀 더 실제와 가까운 imputation이 가능하고 clustering 성능도 높게 달성하였다는 점이 인상깊었습니다. 세미나 진행이 Task-specific representation의 학습에서 incomplete data 까지 문제 상황이 심화되며 각각을 해결하기 위한 연구에 대해 소개해주는 식으로 진행되어 흥미롭게 들을 수 있었던 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 특정 task에서 중요한 특징을 학습할 수 있는 목적 함수를 representation 학습 과정에 도입하여 해당 task에 더 적합한 representation을 학습하는 것을 목표로 하는 Task-Specific Time-Series Representation Learning을 다루고 있는 2가지 논문으로 진행되었습니다. 첫 번째 논문은 NeruIPS에 억셉된 Learning Representations for Time Series Clustering으로 temporal reconstruction과 K-means clustering을 통합한 Seq2Seq 구조를 통해 클러스터에 특화된 Representation을 학습하는 DTCR 구조를 제안한 논문입니다. 특히 fake-sample generation strategy와 auxiliary classification task를 통해 인코더의 성능을 향상시켰으며, 결과적으로 UCR 데이터셋에서 이전 모델과 비교해 가장 우수한 RI 성능을 보인 contribution을 가집니다. 두 번째 논문은 AAAI에 억셉된 Learning Representations for Incomplete Time Series Clustering으로, temporal reconstruction과 K-means objective를 통합한 구조를 통해 cluster-specific representation을 학습하여 결과적으로 incomplete time series 데이터를 기반으로도 representation을 학습할 수 있는 CRLI 구조를 제안했습니다. 항상 수학적 배경을 잘 설명해주셔서 도움이 많이 되는 발표였고, 특히 첫 번째 논문과 두 번째 논문 모두 동일한 연구자가 하나의 연구 주제를 가지고 계속해서 발전시켜 나간 점이 흥미로웠던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Learning Representation for Complete/Incomple Time Series Cluster이라는 주제로 두 개의 논문에 대한 소개를 해주셨습니다. 첫번째 논문에서는 Time Series Clustering을 위한 Representation Learning 방법론인 DTCR을 제안했습니다.해당 방법론에서는 Temporal Reconstruction Loss, Real/Fake Classification Loss, K-Means Loss를 함께 이용해 Loss Function을 구성했는데 이 점이 인상 깊었습니다.특히, 1) Temporal Reconstruction Loss를 이용해 Encoder-Decoder가 복원(Reconstruction)한 데이터가 Input Time Series 데이터와 유사하도록하여, Encoder가 Time Series 데이터의 특징을 학습하도록 했다는 것과 2) K-Means Clustering의 Loss를 이용해 Encoder가 Cluster-specific Representaion을 학습하게 했다는 점이 흥미로웠습니다. 두번째 논문에서는 결측치가 존재하는 시계열 데이터를 이용해 Cluster-specific Repsentation을 학습할 수 있는 방법론인 CRLI를 제안했습니다. 첫번째 논문과 유사하게 두번째 논문에서는 Temporal Reconstruction과 K-Means objective를 통합해 Cluster-specific Representation을 학습했습니다. 해당 방법론에서 인상 깊었던 점은 결측치 Imputation 과정에서 Starting Signal을 도입하여 Initial State로 활용해 첫번째 Time-step에 결측치가 존재하는 경우 이전 Hidden state를 통해 Imputation을 할 경우 발생하는 문제를 개선시킨 것입니다. 두 논문 동시에 다루었음에도 불구하고 Loss Function의 구성에 대해 수식적으로 잘 설명해주셔서 방법론의 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

금일 발표는 clustering에 specific한 Timeseries representation learning 방법론들을 소개해주셨습니다. 그중에서도 Deep Temporal Clusteruing Representation(DTCR)과 Cluster Representation learning on in complete time series data(CRLI)를 소개해주셨습니다. 먼저 DCTR은 Random suffled 시계열 데이터를 통해 Fake sample을 생성한 뒤 fake와 real 데이터를 구분해내는 classification을 통해서 Representation을 학습했습니다. 또한 encoder representation은 decoder를 통과하여 reconstruction loss를 구하게 됩니다. 하지만 reconstruction loss만으로 clustering을 풀이하기에는 한계가 있어 K means를 도입하여 cluster specific representation을 학습했습니다. 이 과정에서 가장 처음에 소개해주셨던 spectral relaxation 개념이 적용되었습니다. DTCR은 발표당시 UCR 데이터셋에서 가장 우수한 RI을 기록 했습니다. 두번째로 소개해주신 CRLI은 time series에서 자주 발생할 수 있는 missing data에 대한 문제를 완화할 수 있는 방법론을 제안했습니다. 개인적으로는 석사과정 때 Imputation 관련 수업을 수강한적 있어 매우 흥미로웠습니다. incomplete time series data는 real world에서 발생하기 쉬운 상황이며, 해당 논문은 adversarial strategy를 통해 결측치를 대체하는 과정을 진행했습니다. 특히 Imputation과정에서 t 시점의 특정 변수가 missing인 경우 다른 변수들과 유사해질 수 있도록 학습하며 prediction, kmeans , adversarial , reconstruction loss를 통해 전체 모델을 학습합니다. 평소에 연구실 세미나에서 발표되었던 논문들은 forecasting이나 anomaly detection을 위한 방법론이 주를 이루었기에 cluster specific 방법론을 배울 수 있어 유익했습니다.

이번 세미나에서는 Time series Representation learning 연구의 다양한 방향을 공유하기 위해 여러 논문들을 소개해주셨습니다. Time-series representation learning 은 비지도 학습 방식으로 비라벨 데이터의 특징을 잘 반영하는 rerpesentation을 학습하고 이를 다운 스트림 태스크에 활용하기 위한 방법론입니다. 첫번째로 소개한 논문에서는 DCTR 방법론을 제시하고 있습니다. DCTR은 fake-sample generation strate화 auxiliary classification을 도입하여 encoder의 ability를 향상시킵니다. 크게 4가지 포인트가 잇으며 그 중 k-means 클러스터는 Temporal Reconstruction을 통해 학습한 representation은 클러스터링 tasks에 적합하다 보기 어려워 모델 내에 k-means를 직접 도입하여 task-specifc 하게 학습하고자 했습니다. 두번째 논문에서는 incomplete time series data를 기반으로 cluster-specific representation을 학습할 수 있는 CRLI 모델을 제안했습니다. CRLI는 imputation 및 adversarial strategy를 통해 결측치를 처리할 수 있으며 제너레이터가 incomplete data에 대한 imputed data를 생성합니다. 결측치를 따로 처리하는 것이 아닌 모델 자체에서 학습한다는 것이 인상적이었습니다. Time-series representation 방법론이 낯설었지만 방법론과 관련된 배경 지식을 잘 설명해주셔서 이해하는데 도움이 되었고, 익숙해질 수 있었습니다.

금일 세미나에서는 시계열 데이터의 representation을 학습하는 연구들에 대해서 살펴보았습니다. 특히 time series clustering에 더욱 유용한 cluster-specific representation을 학습할 수 있는 방법에 대해 한 연구자가 지속적으로 진행한 두 연구에 대해서 소개해주셨습니다. 발표자의 말씀처럼 본인이 제안한 연구를 지속적으로 발전 시키는 후속 연구를 진행하는 것이 매우 매력적이라는 생각이 들었습니다. 첫 번째 연구인 Learning Representations for Time Series Clustering 에서는 기본적으로 multi-layer dilated RNN 구조를 사용하고 있으며 reconstruction, k-means, auxiliary classificaion loss를 사용하고 있습니다. 개인적으로 classification의 경우 fake sample이 결국 다른 시점의 real sample이기 때문에 어떤 의미를 지니는지 이해가 어려웠지만 성능이 비약적으로 오르는 것을 보고 신기했습니다. 그리고 k-mean loss를 위한 여러 수학적인 개념들을 처음부터 찬찬히 짚어주셔서 이해가 편했습니다. 두 번째 연구인 Learning Representations for Incomplete Time Series Clustering에서는 imputation을 통한 cluster-specific time series representation 학습을 목표로 하고 있는데, imputation 성능과 clustering 성능의 상관관계가 우리의 생각보다 뚜렷하지 않다는 점이 재밌었습니다. 그리고 해당 연구는 discriminator의 설계에 따라 충분히 후속 연구를 진행할 수 있을 것이라 생각 되었습니다. 오랜만에 수학적인 부분들을 수학적으로 설명해주는 세미나라서 재밌었고, 또 개념들을 이해하기 편했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Time-series 데이터를 대상으로 하는 representation learning 을 주제로 한 내용이 다루어졌습니다. 특히 특정 Task에 적합한 representation learning을 학습하는 분야가 소개 되었고 이를 Task-Specific Time-Series Representation Learning이라고 부릅니다. 그중에서도 Clustering 을 Task로 지정한 방법론들이 소개되었습니다. 첫 번째 방법론에서는 K-means 클러스터링 위한 것으로 representation vector로 구성된 Gram matrix 기반의 k-mans loss로 활용하는 방안을 제시하였습니다. 구체적으로는 input 데이터를 복원하는 과정에서 발생하는 temporal reconstruction loss, 실제와 가짜를 구분하는 classification loss 그리고 k-means loss까지를 모두 고려하여 학습이 이루어집니다. 두번째 방법론에서는 결측치가 존재하는 시계열 데이터를 다루는 방안을 제시하였는데 핵심은 missing indicator라고 해서 각 시점의 각 변수의 값의 결측 여부를 1(미결측), 결측(0)으로 나타낸 matrix를 활용합니다. 근본적으로 여러 Task 중에서도 clustering으로 representation을 확인하는 것 그리고 이에 대한 연구가 진행되고 있는 사실이 흥미롭게 느껴집니다. 다른 NLP, CV 분야에서도 렇게 representation의 정성적인 평가가 이루어지는 지 확인해볼 필요를 느꼈습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 Time-series 데이터들에 대한 representation learning에 관련된 논문 두 가지를 다루었습니다. 두 논문은 모두 한 연구자가 발표한 논문이었는데, 본인이 먼저 제안한 방법론을 발전시키면서 새로운 논문을 낸 것이 인상적이었습니다. 이러한 히스토리를 알고 논문 내용을 살펴보니 문제 정의에 대한 이유를 더 명확하게 알 수 있어서 좋았습니다. 첫 번째 논문인 Learning Representations for Time Series Clustering에서는 DTCR과 k-means clustering을 결합하여 representation을 학습하는 방법론을 제시했습니다. 이러한 구조에서 loss 함수를 reconstruction loss, classification loss, k-means loss를 결합하여 사용하는 것이 신기했습니다. 두 번째 논문인 Learning Representations for Incomplete Time Series Clustering에서는 incomplete data에 초점을 맞춰 representaion learning을 적용하는 방법에 초점을 맞추었습니다. 이 논문에서는 imputation과 adversarial strategy를 활용하여 incomplete data를 처리하는 방법론인 CRLI를 제안하였습니다. 논문을 이해하는데에 필요한 배경지식과 수식이 많았는데 수식을 하나하나 자세하게 설명해주셔서 이해하는 데에 큰 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Learning Representations for Complete/Incomplete Time Series Clustering 주제에 대해 소개해주셨습니다. 두 가지 논문을 소개해주셨는데 (1) Learning Representations for Time Series Clustering에서는 time-series representation learning에 clustering까지 고려한 Deep Temporal Clustering Representation (DTCR)을 제안합니다. 본 논문을 소개하기 전 Spectral Relaxation에서 k-means를 gram matrix를 활용한 trace maximization으로 설명한 것과 이를 loss로 사용한다는 점에서 인상깊게 보았습니다. 두 번째 논문에서는 incomplete time series data, 즉 데이터의 결측이 존재하는 상황에서 imputation을 고려해서 cluster-specific representation을 학습하는 구조를 제안하였습니다. 해당 방법은 cluster representation learning on incomplete time series data(CRLI)로 mask를 활용하여 incomplete 상황을 고려하는 점과 실험에서 다른 imputation을 위한 방법으로 complete data로 구성하고 clustering 하는것 보다 CRLI가 더 나은 clustering 성능을 보인점이 인상깊었습니다. 제안 방법을 활용하는 측면에서 사용하였을 때 complete data인 상황에서 clustering 이 잘 수행되지 않는다면 오히려 임의로 incomplete data를 만들고 CRLI를 수행하는 것도 하나의 방법이 되지 않을까라는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 complete 및 incomplete 시계열 데이터를 clustering하기 적합하도록 representation을 학습하는 대표적인 두 가지 방법론인 DTCR과 CRLI에 대해 소개해 주셨습니다. 특징적인 것은 두 방법론이 모두 한 연구자가 지속적으로 수행한 연구라는 것입니다. 첫번째 방법론 NeurIPS 2019에 게재된 “Learning Representations for Time Series Clustering” 논문에서 제안된 Deep Temporal Clustering Representation(DTCR) 방법론으로 temporal reconstruction, K-means objective, auxiliary classification 과정을 통합해 구성됩니다. 세세한 세부 방법론 자체 보다는 전체적인 모듈의 구성이 “clustering을 위한” representation 학습이라는 목적에 초점이 맞춰져 있는 것이 인상적이었습니다. 특히 reconstruction loss를 구하는 과정에서 clustering 목적을 위해 K-means objective를 도입한 점이 도드라진 것 같습니다.
CRLI은 AAAI 2021에 게재된 Learning Representations for Incomplete Time Series Clustering 논문에서 제안된 방법론으로 Missing data 문제 해결에 집중하였습니다. Generator를 통해 incomplete data에 대한 imputation을 수행하고 Discriminator를 통해 imputed data인지를 구분하는 Adversarial 전략을 취해 결측치를 처리합니다. 평소 잘 접하지 못했던 시계열 군집화관련 연구를 알게 되어 흥미로웠으며, 한 연구자가 목적을 위해 지속적으로 다양한 방법을 시도하고 성과를 낸 것을 보고 많이 배우고 자극을 받았습니다. 좋은 발표 감사합니다.

금일 세미나는 “Learning Representations for Complete/Incomplete Time Series Clustering”연구에 대해 진행되었습니다. 본 연구는 time-series representation learning에 대한 것이어서 관심을 갖고 들을 수 있었습니다. Incomplete time series 데이터에 대해 imputation을 활용해 representation learning을 수행하는 것도 흥미로웠습니다. 기본적으로 time series clustering이라는 downstream을 수행하기 위한 representation learning을 수행하는 연구에 대해 진행합니다. 먼저 첫 연구는 Objective function에 classification, k-means loss term을 추가함으로써, representation의 질과 그 목적을 세팅해줍니다. 두번째 연구는 Time-series 내에 존재하는 불완전함(incompleteness)을 보완하기 위해, 적대적 학습 전략을 활용합니다. 두번째 논문에서는 imputation을 위한 loss term을 추가하고, 이를 세부적으로 적용해가는 과정이 인상적이었습니다. 좋은 연구에 대해 발표해주셔서 감사합니다. 잘 들었습니다. 감사합니다.

이번 세미나에서는 clustering을 위한 time series representation learning 방법론 두 가지에 대한 소개가 있었습니다. 논문 소개에 앞서서 K-means clustering의 sum-of-squares minimization을 Gram matrix를 활용한 trace maximization 문제로 치환할 수 있음을 수식을 통해 설명해 주셨습니다. 첫번째 논문은 clustering 과업에 더 적합한 representation을 학습하고자 했습니다. 이를 위해 reconstruction loss, random shuffling을 통해 생성된 fake data로 auxiliary classification 수행, 그리고 핵심인 gram matrix 기반의 loss 설계와 최적화 방식을 제안합니다. 실제로 제안하는 요소가 모두 성능 향상에 효과가 있었으며 cluster-specific representation이 잘 학습됨을 시각화로 입증했습니다. 두번째 논문은 clustering에 적합한 imputation을 함께 수행할 수 있는 학습 방법론을 제안합니다. Rnn encoder를 기반으로 output 을 통해 imputation prediction 을 수행하고 hidden state를 decoding하여 reconstruction을 수행하는데, 여기서도 cluster-specific representation 의 학습을 위해 DTCR과 동일하게 K-means loss를 사용합니다. 추가로 imputation의 강건성을 높이기 위해 adversarial strategy를 사용합니다. 두 논문 모두 clustering을 위해 k-means objective function을 사용한 것이 가장 핵심이라고 생각했습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Learning Representations for Complete/Incomplete Time Series Clustering을 주제로 발표를 진행해 주셨습니다. Learning Representations for Time Series Clustering과 Learning Representations for Incomplete Time Series Clustering 논문을 통해 완전 또는 불완전한 형태의 시계열 데이터를 활용하여 time series clustering에 적합한 cluster-specific representation을 학습할 수 있는 두 가지 representation learning을 소개해 주셨습니다. 전자 논문에서는 Deep Temporal Clustering Representation(DCTR)을 제안하며 seq2seq 구조를 통해 cluster-specific representation을 학습하고 있습니다. 후자에서는 불완전한 time series data를 이용하고 있으며 , cluster-specific representation을 학습할 수 있는 Cluster Representation Learning on Incomplete time series data(CRLI)를 제안하고 있습니다. 후자에서 temporal reconstruction loss를 포함한 4가지의 loss를 이용하여 최종 loss function을 구성하였다는 점이 인상적이였습니다. 좋은 발표 감사합니다!

이번 세미나는 Time Series Domain에서의 Clustering을 다루고 있는 두 논문이 주제였습니다. 첫번째 논문은 seq2seq 구조를 이용하여 Classification, Clustering, Reconstruction loss를 이용하여 시계열 데이터의 temporal dynamics와 multi-scale characeristic을 반영할 수 있는 hidden representation 생성 및 clustering 방법론이었습니다. 특히, Clustering loss를 구성할 때 기존의 K-Means Clustring을 Gram Matrix를 활용한 Spectral Relaxation을 통하여 Trace를 Maximization하는 문제로 전환하여 모델 학습을 용이하게 했습니다. 두번째 논문에서는 결측치가 존재하는 시계열 데이터에 대해 Clustering task에 적합한 Representation을 생성하는 모델을 제안했습니다. 이는 모델이 학습 과정에서 temporal dynamics를 이용하여 임의의 결측치를 잘 복원하도록 학습하면서 첫번째 논문과 동일하게 Spectral Relaxation을 이용한 K-Means Clustring과 Temporal Reconstruction을 수행했습니다. 그 결과 놀랍게도 결측치가 없는 경우보다 있는 데이터에 대해 더욱 클러스터링을 잘 수행하게 되고, 기존 방법론보다 우수한 성능을 보이고 있습니다. 시계열 도메인의 연구들을 지속적으로 살펴보면 어떻게 temporal하면서 multi-scale한 정보를 모델링하는 방법론이 관건으로 보이는데, 두 논문 모두 태스크에 적합하도록 이 문제를 해결한 점이 매우 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나는 clustering task에 specific한 time-series representation learning을 위해 K-means clustering의 sum-of-squares minimization을 gram matrix를 활용한 trace maximization 문제로 재정의한 spectral relaxation 관련 논문 2가지를 소개해주셨습니다. 첫번째 논문은 2019년에 NeurIPS에서 공개된 DTCR로 fake-sample generation strategy와 auxiliary classification을 통해 encoder의 성능을 향상시키고 objective function으로 reconstruction, real/fake에 대한 classification, K-means loss 세가지를 사용하여 representation을 학습하는 방식을 사용하였습니다. 두번째 논문은 작년 AAAI에서 공개된 CRLI로 incomplete data를 imputation하는 generator와 real과 imputed를 구별하는 discriminator로 구성 되어있으며 prediction, reconsturction, adversarial, k-means loss로 representation을 학습하는 방식을 사용하고 있습니다. 시계열에서 clustering task를 수행하는 연구에 대해 처음 접하게 되었는데 흥미롭게 들었으며 여러 loss를 혼합하여 representation을 학습하는 방식이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Learning Representations for Complete/Incomplete Time Series Clustering을 주제로 2개의 논문을 소개해주셨습니다. 시계열 분야에서의 representation learning은 주로 downstream task에 특화된 objective function을 설계하여 task-specific한 방식으로 학습을 진행한다는 특징이 있습니다. 세미나에서 소개된 두 논문은 모두 시계열 클러스터링을 위한 representation learning 방법론을 제안합니다. 우선 첫번째 논문 Learning Representations for Time Series Clustering에서는 temporal reconstruction과 k-means objective를 통합한 seq2seq 구조로 클러스터에 특화된 representation을 학습하는 방법론 DTCR(Deep Temporal Clustering Representation)을 제안합니다. 이때 fake-sample generation strategy와 auxiliary classification을 도입하여 인코더의 ability를 향상시키고, reconstruction, classification, k-means를 모두 통합한 loss function을 구성합니다. 두번째 논문 Learning Representations for Incomplete Time Series Clustering에서는 제목에서 유추할 수 있듯이 결측치가 존재하는 incomplete 데이터를 활용하여 클러스터에 특화된 representation을 학습할 수 있는 방법론을 제안합니다. incomplete 데이터에 대해 generator로 imputed 데이터를 생성하고 discriminator가 이를 구분하는 adversarial 전략을 취하는 부분이 인상 깊었습니다. 시계열 분야에서도 점차 다양한 방식으로 데이터 자체의 특성을 파악하고 이를 표현하는 representation learning 기법이 제안되고 있는 것 같습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 time series 데이터에 대한 representation learning에 대해서 다루어주셨습니다. 시계열 데이터에 대해서는 이상치 탐지 위주로만 실험을 진행해보았는데, 단순히 복원 에러나 예측 에러를 통해 이상치 탐지를 진행을 하는 구조를 갖고 있습니다. 단순히 복원 혹은 예측을 통해 시계열 모델을 학습할 때 과연 정상 시계열에 대한 올바른 representation을 학습하고 있는 것인지 의문이 많았는데 동일한 unlabeld dataset 가정에서 clustering loss를 통해 유의미한 representation learning을 하는 연구를 소개해주셔서 매우 흥미로웠습니다. 이러한 representation learning 방법론들은 추후 down stream task에 활용될 수 있는데 똑같은 unlabeled 가정을 가진 anomaly detection에 대해서도 활용할 수 있지 않을까라는 생각을 하였습니다. 발표 전체적으로 수학적인 부분을 차근차근 잘 짚어주셔서 이해하기 수월하였고, 유익한 발표였습니다. 좋은 발표 감사드립니다.

본 세미나에서는 Learning Representations for Complete/Incomplete Time Series Clustering 이라는 주제의 논문에 대한 리뷰를 진행하였습니다. Time-Series Representation Learning이란 비지도 학습 방식으로 unlabeled 데이터의 특징을 잘 반영하는 representation을 학습하고 이를 downstream task에서 활용함으로써 task의 성능을 향상시키는 과정을 의미합니다. 본 논문에서 제안하는 DCTR 구조는 fake-sample generation strategy와 auxiliary classification을 도입하여 encoder의 ability를 향상시켰습니다. 또한 representation vector로 구성된 Gram matrix 기반의 K-means objective function을 K-means loss로 활용하여 학습을 진행합니다. Representation learning에 k-means clustering을 사용한 것이 인상적이었던 논문이었습니다. 좋은 발표 감사합니다.

이번 세미나는 Learning Representations for Complete/Incomplete Time Series Clustering를 바탕으로 발표를 진행해 주셨는데, 이는 Representation learning이라는 개념을 잘 이해를 하지 못하고 있던 저에게 큰 도움이 되었던 세미나였습니다. Time-series representation learning은 unsupervised learning 방식으로 label이 없는 데이터의 특징을 잘 반영하는 representation을 학습하고, 이를 downstream task에서 활용함으로써 task의 성능을 향상시키는 것을 목표로 합니다. 이때, Task-specific learning은 수행하고자 하는 Task에서 중요한 Feature들을 학습할 수 있는 장치인 Objective function을 같이 학습하여 Task에 더 적합한 representation을 표현하는 방법을 설명하고자 두 가지 논문을 소개해 주셨습니다. 첫 번째 논문은 DTCR 방법론을 제시합니다. 해당 논문에서는 Input이 들어오면 Encoder를 거쳐 representation을 도출하고 이 representation을 Decoder가 Input으로 받아 원본을 복원하여 Temporal dynamics를 추출하고, 최종적으로는 Multi-scale characteristics를 추출합니다. 이 과정에서 cluster specific representation을 하기 위하여 K-means objective function을 사용하며, 이에 더해서, fake/real을 구분하는 Auxiliary classification을 사용하여 성능향상을 이끌어냈습니다. 두 번째 논문에서는 CRLI를 제안하고 있는데, 이는 generator를 통하여 imputed 데이터가 만들어지면, 각 element의 값이 discriminator에서 이 값이 real한 값인지, imputation된 값인지를 예측하는 Imputation 및 adversarial strategy를 통하여 시계열의 결측치를 처리합니다. 시계열 Clustering을 통하여 Representation을 생성하는 부분은 처음 접하게 되어 흥미로웠고, 이러한 방식으로도 접근할 수 있다는 생각이 들었습니다. 좋은 발표 감사합니다.