이번 세미나는 시계열 분야에서 Representation Learning을 위한 Positive/Negative Sample 추출 방법론을 제안하는 "Time Series Representation Learning with Contrastive Triplet Selection"을 주제로 진행되었습니다. Contrastive Learning은 다양한 도메인에서 활용되고 있지만, 시계열 도메인에서 활용될 경우 특히 Anchor와 비슷한 Sample인 Positive Sample과 전혀 다른 특성을 가지는 Negative Sample을 선정하는 방식이 매우 중요합니다. 이러한 선정 방식의 어려움은 시계열 도메인의 고질적인 문제점 중 하나인 Distribution Shift 및 인접 Sample의 전혀 다른 특성(주기성, 추세 등)으로 인한 Sampling의 어려움에 기인합니다. 해당 논문은 전체 데이터에서 시간축을 기준으로 변수들의 분산을 이용하여 Anchor와 Pos/Neg Sample을 선정하고 있었습니다. 논문에 자세한 설명은 생략되어 있었으나, 학습에 가장 도움이 되는 시계열 데이터는 변수 간 분산이 크며, Window 내 데이터의 분산 역시 커야 한다는 가정을 사용하고 있는 것으로 보였습니다. 시계열 도메인은 항상 변수/시간 축을 모두 고려해야 하는 어려움이 존재하는 것으로 보이는데, 성능 측면에서 해당 방법론이 매우 단순한 아이디어도 두 축을 함께 효과적으로 고려할 수 있음을 보여주었다고 생각합니다. 좋은 발표 감사합니다.

금일 세미나시간에는 이성계 석사과정이 현재 연구중인 분야의 논문으로 “Times Series Representation Learning with Contrastive Triplet Selection”을 주제로 진행을 하였습니다. 개인적으로 최근 다양한 도메인에서 diffusion model 과 함께 자주 활용되는 것이 Contrastive Learning이라고 생각합니다. Vision에서부터 NLP, Graph 그리고 본 세미나의 주제인 Time-series 분야까지 다양한 영역에서 영향력을 가지고 있는 방법론이라고 생각합니다. 이러한 메타에서 해당 논문은 시계열 데이터에서의 representation을 학습하는 과정에서 어떻게 하면 좋은 Positive, Negative pair를 선택할 수 있을까? 라는 질문에 해답을 제시한 연구입니다. 이에 대한 해답으로 해당 논문에서는 중심이 되는 Anchor는 variation이 가장 큰 subseries를 선택하며, positive/Negative는 tick 단위의 유클리디안 distance를 기준으로 각각 선택하는 방식을 제안하였습니다. 발표자의 의견과 동일하게 본 논문에서 키포인트가 되는 anchor를 왜 variation을 기준으로 선택하는지에 대한 해답으로 이론적인 근거를 함께 제시하지 못한 점은 아쉽다고 생각합니다. 도메인을 막론하고 Contrastive learning에서 의미있는 representation 학습을 위한 pair를 구성하는 방안은 의미있는 연구주제가 될 것이라고 생각합니다. 저 역시 그래프분야에서 이러한 아이디어를 어떻게 활용하면 좋을지 고민해보는 뜻깊은 시간이었습니다. 개인적으로 발표자료 폰트 사이즈가 큼지막해서 가시성이 좋아 편안히 발표를 들을 수 있던 점이 너무 좋았습니다. 친절한 발표자에게 감사합니다.

이번 세미나에서는 “Time Series Representation Learning with Contrastive Triplet Selection”이라는 연구에 대해 소개해주셨습니다. 해당 연구에서는 Contrastive Learning 기반의 방법론이 T-loss에서 Anchor, Positive/ Negative Sample을 선택하는 방법을 제안했습니다. 기존 T-Loss 사용 연구에서는 Positive / Negative Sample을 Random Sampling을 통해 선정하게 되나 이 과정에서 Sampling Bias와 같은 문제가 야기될 수 있다는 한계가 존재했습니다. 소개해주신 연구에서는 Variation이 가장 큰 Subseries를 Anchor로 선정하고, Anchor와의 유클리디안 거리를 기준으로 가장 가까운 Subseries를 Positive로, 가장 먼 Subseries를 Negative로 선택하는 방법을 제안했습니다. 유클리디안 거리를 산출하는 추가적인 과정을 통해 Sampling 과정이 생략되기에 Sampling Bias 문제 자체를 원천적으로 위회했습니다. Contrastive Learning 관련 방법론들에서 문제로 지적되는 False Positive 또는 False Negative 문제와 관련된 방법론도 역시 Time Series Representation Learning에서 의미있는 연구일 것이라 생각됩니다. Time Series 데이터는 하나의 데이터에서도 여러 주기가 존재하는만큼 Positive/Negative 자체의 정의가 어려울 것이라 생각되는데 이와 관련된 연구를 소개해주셔서 흥미롭게 들을 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 “Time Series Representation Learning with Contrastive Triplet Selection” 논문을 다루어 주셨습니다. 해당 논문에서는 contrastive learning 기반 방법론(T-loss)에서 추가적으로 anchor, positive/negative sample의 선택 방법에 대한 내용을 다루고 있습니다. variation이 가장 큰 subseries를 anchor라고 했을 때, 해당 anchor와 가장 가깝거나/먼 subseries를 각각 positive/negative 샘플로 선택하게 됩니다. anchor 선택시에는 variation이 큰 부분부터 anchor의 범위를 점진적으로 늘려가는 알고리즘을 이용하고 있으며, 이때 이용되는 variation은 moving average를 기준으로 각 time step에서 산출된 variation입니다. 모든 timestep이 한번씩 anchor에 포함될 때까지 이웃의 variation 크기가 threshold를 넘는 경우 anchor에 추가하는 방식을 이용하고 있습니다. 랜덤성에 기인하여 선택된 negative sample은 sampling bias 등의 문제를 야기할 수 있지만, 위와 같이 anchor와의 유사도를 기준으로 positive/negative sample을 선별하는 방식을 추가하게 되면 이를 방지할 수 있습니다. 알고리즘 부분에 있어 pseudo 코드에 대한 설명과 각 단계의 예시를 상세히 들어주셔서 이해에 많은 도움이 되었습니다. 본 발표에 이후 발표자분의 개인적인 견해도 함께 공유해 주셔서 한번 더 생각해볼 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나는 Time Series Representation Learning with Contrastive Triplet Selection를 주제로 진행되었습니다. 해당 논문에서는 time series representation learning에서 contrastive learning을 위한 positive, negative 샘플링 방식을 제안합니다. 본 논문에서는 Anchor와의 유사도를 기준으로 positive/negative sample을 선별하는 방식을 사용하여 contrastive triplet loss function을 사용하였습니다. 가장 핵심이 되는 anchor selection 방법은 variation이 높은 timestamp를 기준으로 reference를 도출하여 anchor로 사용합니다. 그 후 복원 추출을 통해 subseries를 k개 선택하고 1-tick씩 밀어가며 유클리디안 거리가 최소인 경우 positive로 최대일 경우 negative로 사용하였습니다. Time series representation learning에서 pos, neg 샘플을 추출하는 것에 많은 연구들이 진행되고 있으나 명확하게 어떤 샘플링 방법이 좋은지는 확인하기 어려운 것 같습니다. 그래도 기존에 연구들은 대부분 neg 샘플에 대해서 단순 랜덤 샘플링을 하고 있는 것에 비해 해당 논문은 neg 샘플에 대해서 유클리디안 거리가 최대인 경우로 고려했다는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Time Series Representation Learning with Contrastive Triplet Selection"에 대해 소개해주셨습니다. 해당 논문에서는 기존 positive, negative sample을 선택하는 방식이 실제 좋은 샘플을 선택하도록 하는가에 집중하여, anchor와 positive, negative sample을 효과적으로 선택하는 방법을 제안합니다. 방법론은 크게 anchor를 선택하는 부분, 선택한 anchor를 바탕으로 positive, negative sample을 선택하는 부분 2가지로 나뉩니다. Moving average를 기준으로 각 timestep별의 variation을 계산하고, 이웃과의 variation이 threshold 보다 크게 차이가 나는 경우 해당 timestep을 anchor에 추가합니다. 이러한 과정을 통해 가장 variation이 큰 subseries가 anchor로 선택됩니다. 이후, anchor의 길이보다 큰 subseries를 k개 선택하고, 각 subseries별로 anchor와 유클리디안 distance가 최소와 최대인 sample을 각각 positive, negative sample로 선택하게 됩니다. 해당 방법론의 경우 쉽게 설명해주시어 그리 어렵지 않게 내용을 이해할 수 있었던 것 같습니다. 또한, 한계점을 언급해주셨는데, 보완 측면으로 이후 장표에서 진행하고 있는 개인 연구를 함께 말씀해주신 부분이 인상적이었습니다. 좋은 발표 감사드립니다.

금일 세미나는 Time Series Representation Learning with Contrastive Triplet Selection을 바탕으로 진행되었습니다. 해당 연구는 기존 Time-series representation 분야의 Contrastive learning-based 방법론인 T-loss에서, Anchor와 Positive/Negative sample의 선택 방법을 제시한 논문입니다. 먼저 해당 논문에서는 Time-series classification task를 풀기 위하여 Contrastive Learning 기반의 Time-series representation learning 방법론을 제시하고 있습니다. 기존 Contrastive Learning 기반 Time-series representation learning에서는 Contrastive triplet selection 방법론에 대한 연구가 많이 부족했기에, 거의 랜덤성에 기인하여 Negative sample을 선정하고 있었기에 Sampling bias 등과 같은 문제를 야기할 수 있었습니다. 이에, 해당 방법론에서는 Anchor와의 유사도를 기준으로 Positive/Negative sample을 선별하는 방식을 추가하고 있습니다. 이때 Anchor를 Variation을 기준으로 선택하고 있으며, Positive/Negative sample은 anchor와의 유클리디안 거리를 기준으로 선택하고 있습니다. 발표자분이 말씀해주신 것처럼 Anchor를 Variation 기준으로 선택한 것은 참신한 접근이라는 생각이 들지만, 그 외 Positive/Negative sample을 선정하는 방법이 아쉬웠던 것 같습니다. 배경 지식부터 방법론까지 상세하게 설명해주셔서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "Time Series Representation Learning with Contrastive Triplet Selection" 연구를 소개했습니다. 이 연구는 기존의 Contrastive Learning 기반 Time-series 표현 학습에서의 문제를 해결하기 위해 Anchor, Positive, Negative 샘플 선택 방법을 제안한 것입니다. 기존 연구에서는 무작위 샘플링으로 인한 Sampling Bias 문제가 있었으나, 이 연구에서는 Anchor를 Variation을 기준으로 선택하고, Positive와 Negative 샘플을 선택할 때 유클리디안 거리를 고려하여 문제를 해결했습니다. 이로써 Sampling Bias를 효과적으로 극복했습니다. 또한, 이 방법을 통해 False Positive 및 False Negative 문제를 다루는데 있어서도 흥미로운 결과를 제공했습니다. Time Series 데이터의 다양한 주기와 관련된 문제도 다루어져 흥미로운 발표였습니다. 좋은 발표 감사합니다.

이번 세미나는 Time Series Representation Learning with Contrastive Triplet Selection를 주제로 진행되었습니다. 본 연구는 Contrastive Learning을 활용하여 시계열 데이터에서 Representation Learning을 수행하는 방법에 대한 것으로 발표자께서 최근 작성한 논문과 상당히 유사한 컨셉을 공유하는 연구였습니다. 여느 Contrastive Learning 방법론 논문과 마찬가지로 Anchor와 Positive/Negative Sample을 어떻게 선택할지가 핵심이 되는 연구로 Anchor 선택에 variation이 큰 subseries를 활용하고, Positive/Negative Sample은 유클리디안 거리를 기준으로 선별하는 방식을 사용합니다. 요약하자면 Anchor 선택시에는 variation이 큰 부분부터 시작하여 threshold를 넘는 variation을 가진 timestamp를 선택하고, Positive/Negative Sample은 복원 추출을 통해 선택하는 것으로, Sampling Bias 문제를 최소화하면서 Representation Learning을 수행할 수 있습니다. Positive/Negative Sample을 결정하는 것은 어느 data modal에 대해서도 어려운 과업이나 지난 강형원 박사과정의 발표에서 공유되었듯이 시계열 데이터에 대한 평가지표 자체가 필요에 따라 정말 다양하기 때문에 이번 연구에서 대상으로 하는 시계열 데이터의 경우가 더욱 어려운것 같습니다. 특히 사람이 직접 보더라도 결정하기 어려운데, 시계열 데이터를 이해하기 쉽게 표현하는 것 자체가 정말 중요한 연구가 될 것 같습니다.

금일 세미나에서는 "Time Series Representation Learning with Contrastive Triplet Selection"라는 연구를 소개해주셨습니다. 해당 연구에서는 contrastive learning을 진행할 때, 좋은 representation을 학습하기 위한 sampling 기법을 제안하였습니다. 기존 연구처럼 무작위 sampling 방식이 아니라 분산을 고려하여 Anchor를 선택하고, positive sample과 negative sample을 고를 때 distance를 고려함으로써 좋은 anchor, postivie, negative를 구축하고자 하였습니다. 실험적으로 본 논문에서 제안한 방법론의 성능을 검증하였는데, 간단한 방법론임에도 불구하고 성능 향상을 달성한 부분이 놀라웠고, 결국 sampling bias를 해결하기 위해 어떻게 anchor, postivie 그리고 negative를 선택해야하는지에 대한 통찰을 제공한 점이 흥미로웠습니다. 좋은 발표 감사드립니다.

이번 세미나는 “Time Series Representation Learning with Contrastive Triplet Selection”으로 진행되었습니다. 해당 연구는 시계열 데이터의 임베딩을 얻기 위한 방법론으로 트리플렛 손실 함수를 기반으로 한 연구입니다. 이 연구에서는 트리플렛 선택에 있어서 무작위 선택보다 우수한 방법을 제안하였으며, 앵커와의 거리를 기반으로 임베딩 벡터 공간에서 긍정적 샘플, 부정적 샘플을 선택합니다. 그 다음, 인과적인 시계열 신경망을 사용하여 트리플렛 간의 거리를 최적화하도록 학습합니다. 실험 결과와 분석 결과는 제안된 방법이 무작위 트리플렛 선택보다 분류 정확도와 분산 면에서 눈에 띄게 개선되었음을 보여줍니다. 또한, 샘플링이 라벨 오염을 피할 때 성능이 향상되는 것을 보여주었습니다. 시계열 데이터의 representation learning에 관심이 있는 분들에게 유익한 발표였습니다. 감사합니다.