금일 세미나는 PrimeNet: Pre-training for Irregular Multivariate Time Series 논문을 바탕으로 진행되었습니다. 해당 논문에서는 시계열 데이터에서의 Pre-training 모델을 다루고 있으며, 그 중에서도 특별히 Irregular 하게 샘플링된 시계열 데이터에 대한 Pre-training 전략을 담은 Framework를 제안하고 있습니다. 먼저 Irregular Time-series data란 불규칙적으로 수집된 시계열 데이터로, 현실 세계의 데이터 대부분은 규칙적으로만 수집되어 있지 않기 때문에 이러한 Irregular Time-series data를 다루는 방법은 현실적으로 중요한 방법이라고 볼 수 있겠습니다. 해당 논문에서는 특별히 새로운 모델 구조를 도입하지는 않고 Contrastive, Pretext 관점에서 모두 Pre-training을 진행하는데, 이때 각 과정에서 모두 Sampling Density를 고려하여 진행하고 있었습니다. 먼저 Contrasitve Learning을 위한 Positive pair를 구성함에 있어서 Sampling bias를 방지하기 위해 Sampling density가 낮은 Region과, 높은 Region에서 Starfied sampling하여 Density를 고려하면서 추출하도록 하고 있습니다. 또한, Loss를 구성하는 단계에서는 Anchor와 Positive pair 간 Representation이 유사하도록 설계하고 있었습니다. 다음으로 Reconsruction 단계에서는 일정한 길이의 시간에 해당하는 Observation 모두를 Masking하는 전략을 채택하며, Asynchronicity를 고려하기 위해 변수 별로 각기 다른 길이의 segment를 다른 위치에 masking하는 방법을 이용하고 있습니다. 전반적으로 해당 모델 단에는 큰 변화가 없고, 각 방법론에 맞추어 데이터를 구성하는 방법을 소개해주고 있었습니다. 최근 개인 연구를 진행하면서 모델링 역시 중요하지만, 데이터 구성(Masking 방법론 등)이 매우 중요하다고 느꼈기 때문에 크게 와 닿은 세미나였습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 다변량 시계열 데이터(Multivariate Time Series)를 다룸에 있어 현실적으로 쉽게 발견되는 irregularity 현상을 완화할 수 있는 사전학습 전략에 대한 연구가 소개되었습니다. Irregularity란 동일한 변수 내에서 데이터가 등간격으로 수집되지 않는 경우를 의미합니다. 가령, 공정 진행 중 센서데이터에서 무언가의 원인으로 원래는 몇 초/분 마다 기록이 되어야하는 것이 누락되는 경우가 빈번하게 발생할 것입니다. 더불어, 센서마다 관측의 주기가 다른 경우도 굉장히 많은데 이를 asynchronicity라고 합니다. 소개해주신 연구의 저자들이 기존 연구의 맹점으로 지적한 것이 대부분의 연구가 시계열 데이터가 regularity와 asynchronicity를 충족한다는 가정하에 진행된다고 한 것입니다. 어떻게 보면 irregularity를 해소하기 위해 가장 쉽게 접근할 수 있는 방법이 아마 interpolation이지 않을까 싶습니다. Representation learning을 위해 contrastive learning 또는 autoencoder 방식 등의 복원을 통한 학습이 적용되는데, 특히 contrastive learning 중 positive pair를 구성할 때 irregular 데이터는 원 데이터의 분포를 정확히 반영할 수 없다는 한계점이 있습니다. 이에, 본 연구에서는 stratified sampling이라고 하여 sampling density가 반영될 수 있는 방안을 제시합니다. 추가적으로 masking을 통한 reconstruction도 함께 진행합니다. 이때, 일정한 주기를 기준으로 하며 asynchronicity를 고려해 변수별로 segment를 masking 합니다. 해당 framework를 현실 데이터에 적용한다면 어떨지 매우 궁금합니다. 충분히 현실 적용 가능성 높은 방법론인 것 같습니다. 유익한 발표 준비해주셔서 감사합니다.

해당 세미나 시간에는 "PrimeNet: Pre-training for Irregular Multivariate Time Series"라는 인상적인 타이틀의 시계열관련 논문을 주제로 세미나를 진행하였습니다. 해당 논문에서는 시계열의 불규칙성에 초점을 맞추어 논문을 진행하였습니다. 실제로 현실에서는 연속적인 측정 간의 시간 간격이 균일하지 않은 불규칙 시계열 데이터가 흔히 발생하게 되는데, 기존의 시계열 사전 훈련 방법은 종종 시계열의 규칙성을 가정하고 불규칙성에 대한 특별한 처리를 수행하지 않습니다. 해당논문에서는 이러한 불규칙성이 데이터의 도메인 특성에 대한 통찰을 제공하는데 목적을 가지고 있습니다. 구체적으로는 PrimeNet을 통해서 불규칙한 다변량 시계열에 대하여 Self-supervised 학습을 통해서 시간에 sensitive한 contrastive learning(대조 학습) 및 data reconstuction을 통해서 사전학습을 수행하였습니다. 특히, 데이터의 sampling 밀도에 데이터의 불규칙성을 반영하기 위한 장치와 masking 전략을 통해서 classification, interpolation, and regression의 task에서 유의미한 성능 결과를 확인 할 수 있었습니다. 최근 세미나시간에는 연구를 위한 연구가 아닌 현실에서 직면할 수 있는 다양한 문제들을 극복 가능한 연구들이 자주 소개되고 있는데, 이러한 관점에서 이를 극복해가는 아이디어와 스토리를 생각해 볼 수 있었던 의미있는 세미나 시간였습니다. 흥미로운 연구주제로 세미나를 이끌어준 발표자에게 감사의 인사 전하며 후기를 마칩니다.

금일 세미나에서는 시계열 도메인에서 Irregularity를 고려한 최초의 연구인 'PrimeNet: Pre-training for Irregular Multivariate Time Series'라는 논문을 소개해 주셨습니다. 대부분의 시계열 관련 연구가 Regularity를 가정하고 있기 때문에 해당 논문의 novelty가 더욱 강하게 와닿았던 것 같습니다. 해당 논문에서는 Time Contrastive Learning (TimeCL)이라는 Contrastive learning 기반의 방법과 Observation의 개수가 아닌 Time Duration을 기준으로 masking하여 Reconstruction을 하는 Time Reconstruction (TimeRecon) 이라는 두 가지 방법으로 Pre-training 전략을 제시하고 있습니다. TimeCL에서는 Sampling Density에 대한 정보를 보존하기 위해 고르게 Sampling한 뒤 Anchor와 Positive를 구성하여 Contrastive loss를 설계하였고 TimeRecon에서는 각 변수의 길이에 비례하도록 Masking segment를 미리 설정한 뒤 Masking한 뒤 Reconstruction loss를 설계하여 최종적으로 두 가지의 loss를 합산하여 Pre-training하는 전략을 제시하고 있습니다. Sampling Density를 고려했다는 점에서 현실적인 시계열 데이터의 특성을 잘 반영한 것 같아 흥미로웠으며, 해당 논문의 최적의 Hyper-parameter setting을 찾아본 결과 두 가지 loss로 구성한 TimeCL과 TimeRecon 어느 하나의 task에 치우쳐지지 않고 동일한 비율로 loss로 반영하였을 때 최적의 결과를 보였다는 결과를 보며 제안하는 Pre-training 전략이 효용성이 있지 않았나 개인적으로 생각이 들기도 하였습니다. 여담으로 세미나에서 Q&A로 언급되었던 0으로 masking하는 것에 대한 발표자의 사견을 들어보면서 masking과 관련된 연구, Irregularity와 관련된 연구 모두 아직 해결해야할 과제가 많이 남은 연구라고 생각이 들었습니다. 끝으로 꼼꼼한 발표자료의 구성을 바탕으로 쉽게 이해하도록 도와주신 발표자분께 감사인사를 드립니다. 좋은 발표 감사합니다!

해당 세미나에서는 “PrimeNet: Pre-training for Irregular Multivariate Time Series”라는 논문에 대해서 소개해주셨습니다. 본 논문에서는 비정기적으로 수집된 시계열 데이터의 특성을 보존하는 프레임워크인 PrimeNet을 제안했습니다. 기존 대다수 시계열 방법론들이 Regularity를 가정하고 있으나, 현실의 많은 데이터들이 센서 오류 등의 이유로 수집 간격이 등간격이 아닌 경우가 대다수입니다. PrimeNet은 새로운 모델 구조를 제안하는 것이 아니라 Contrastive Learning과 Reconstruction에서 사용되는 Masking 과정에서의 개선을 보였습니다. Contrastive Learning 과정에서 Sampling Density가 낮은 부분과 높은 부분에 대해서 층화 추출하여 Positive Pair가 데이터의 Sampling Density를 반영토록 했습니다. 그리고 Masking 과정에서는 Asynchronicity를 반영하기 위해 각 변수 별로 다른 길이의 Segment를 다른 위치에 Masking하는 방법을 이용했습니다. 현실 관점에서 시계열 데이터에서 매우 중요한 문제인 Irregularity에 대한 해결책을 제시했기에 더욱 의미있는 연구라 느껴졌습니다. 상세한 예시와 함께 설명을 해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Irregular하게 Sampling된 시계열의 특성을 잘 보존하는 Pre-training 전략을 담은 프레임워크인 ‘PrimeNet: Pre-training for Irregular Multivariate Time Series’에 대해 발표해 주셨습니다. 본 논문에서는 Time-Sensitive Pre-training 기법으로 Sampling Density가 Dense한 부분과 Sparse한 부분으로부터 적절하게 Anchor와 Positive Pair를 추출하는 Time Contrastive Learning(TimeCL), Observation의 개수가 아닌 Time Duration을 기준으로 올바르게 시계열을 Masking하는 전략인 Time Reconstruction(TimeRecon)를 제안하였습니다. 그 결과 Labeled 데이터가 적은 상황에서도 준수한 성능을 달성한 점에서 기존 방법론 대비 실용적인 대안이 될 수 있었습니다. 발표 도중 질의응답 하였던 대로 Masking 방식을 0으로 주는 것보다 NLP 처럼 [MASK] 토큰으로 처리하는 것도 좋은 시도가 될 수 있겠다고 생각하였습니다. 다만 논문의 한계점이 있다면, Triplet Selection 과정에서 Sampling Density 반영에 몰두하여 해당 Pair들이 Temporal한 관점에서 유사한지 검증되었다면 더욱 훌륭한 논문이 되지 않았을까 생각합니다. 매번 코드까지 살펴보며 정확하고 유익한 발표 해주셔서 감사합니다.

이번 세미나에서는 PrimeNet: Pre-training for Irregular Multivariate Time Series라는 논문을 다루었습니다. 해당 논문에서는 다변량 시계열의 irregularity와 관련된 문제를 다룹니다. 불규칙한 다변량 시계열 데이터는 연속적인 관찰값 사이의 간격이 균일하지 않고 비대칭적이라는 특징이 있습니다. 기존 시계열 pre-training 방법론들은 regular interval만을 가정하지만 시계열 데이터의 irregulariity는 데이터의 도메인 특성에 대한 인사이트를 제공할 수 있는 중요한 특성이라고 논문에서 주장합니다. PrimeNet은 다변량 irregular 시계열 데이터에 대한 self-supervised representation을 학습하는 방식을 제안합니다. 모델 학습에는 time-sensitive contrastive learning과 data reconstruction task가 포함되어 있습니다. Contrastive learning 과정에서 sampling density를 고려한 triplet selection 전략을 제안했다는 점이 인상적이었습니다. 또한 irregularity와 asynchronicity를 반영하기 위해 일정 길이의 시간을 masking하는 constant time duration masking 전략은 NLP의 MLM task와 닮아 있어 신기했습니다. 논문 내용에 대한 설명과 함께 발표자의 견해를 들을 수 있어서 좋았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 PrimeNet: Pre-training for Irregular Multivariate Time Series 논문에 대한 주제로 진행되었습니다. 시계열 프로젝트를 하면서 1차년도에 처음 해결하고자 했던 문제들이 irregular data 였었는데, 수집되는 주기가 다른 데이터에 대한 문제였습니다. 우선 해당 문제에 대해 현시점에서의 접근과 문제점의 원인, 중요성을 잘 설명해준거 같아 이해하기 좋았습니다.
또한, pre-train 전략으로 masking 을 사용하는데 시계열에서 mask 사용방법은 최근에도 많은 연구들이 진행되고 있는만큼 연결지어 다양한논문을 다양한 관점에서 해석하고 본다면, 의미있는 연구가 될 수 있을 것 같습니다. 개인적으로 constant masking 하는 부분을 조금 더 개선할 수있으면 더 좋을 것 같다는 생각을 합니다. 이 부분이 의도는 잘 알겠으나 논리적인 부족함도 많다고 생각합니다. 재밌는 발표 감사합니다.

이번 세미나에서는 “PrimeNet: Pre-training for Irregular Multivariate Time Series” 논문을 다루어 주셨습니다. 해당 논문에서는 시계열에서 irregularity를 고려하는 것의 중요성을 언급하며, irregular하게 샘플링된 시계열의 특성을 잘 보존하는 pre-training 전략을 담은 프레임워크인 PrimeNet을 제안하였습니다. 본 발표에 앞서 time series representation learning을 비롯한 관련 개념들을 상세히 설명하여 이해에 많은 도움이 되었습니다. PrimeNet에서는 regularity를 가정한 방법론에서 원 데이터의 데이터 분포가 반영되지 않은 문제점을 해결하기 위해 sampling density를 고려한 positive pair를 구성하고 있습니다. 구체적으로는 TimeCL을 이용하여 sampling density가 낮은 지역과 높은 지역에서 층화추출을 통해 positive pair가 데이터의 sampling density를 잘 반영하도록 하였습니다. 또한, pretext task 관점에서 sampling density가 높은 구간은 상대적으로 적게 masking되는 문제를 해결하기 위해 sampling density를 고려하여 masking을 수행하고 있습니다. 결론적으로 classification, interpolation, regression에서 PrimeNet이 SOTA에 준하는 성능을 기록했다는 점이 인상적이었습니다. 좋은 발표 감사합니다!

금일 세미나는 PrimeNet: Pre-training for Irregular Multivariate Time Series 논문으로 진행되었습니다. 해당 논문에서 제안한 PrimeNet은 irregular하게 샘플링된 시계열의 특성을 잘 보존할 수 있는 사전 학습 전략을 담은 프레임워크로, 현재까지 진행된 연구들이 시계열의 regularity를 가정했기 때문에 데이터가 불규칙적인 간격으로 관측되는 현실을 잘 반영하지 못한다는 한계를 가진 반면 해당 연구는 irregularity를 기반으로 하고 있습니다. 이를 위해 최초로 시계열의 특성을 학습하는 contrastive learning을 위해 sampling density를 고려한 triplet selection 전략과 irregularilty와 asynchronicity를 반영하기 위해 일정한 길이의 시간을 마스킹하는 constant time duration masking 전략을 제안했으며, 이렇게 사전 학습이 진행된 모델은 few-shot example만으로 downstream task들에 대해 SOTA의 성능을 보였다고 합니다. 이번 세미나를 포함하여 항상 시계열 분야와 관련해 참신한 논문을 소개해주셔서 매번 흥미롭게 들을 수 있는 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 불규칙한 Sampling 상황에서 pretrain 전략을 제안하는 "PrimeNet: Pre-training for Irregular Multivariate Time Series" 을 중심으로 진행되었습니다. 해당 논문은 Irregular Time-series data를 다루는 새로운 방식을 제안하면서, 기존 연구들이 해당 특성을 제대로 반영하지 못하는 점을 지적하고 있습니다. 이러한 특징은 시계열 데이터의 현실적인 측면을 반영하는 데 큰 의미가 있다고 생각합니다. 이 논문이 제안하는 Pre-training 전략은 Contrastive Learning을 Pretext Task로 사용할 때, 불규칙한 Sampling 상황에 기인한 Sampling Density를 고려하는 것이 특징입니다. 해당 샘플링 기법을 통해 일정한 Time Step에서 데이터가 샘플링될 수 있고, 모델이 어려운 태스크를 학습할 수 있다는 장점이 있습니다. Pretext Task는 기존 연구들에서 광범위하게 사용되는 태스크이나, 이를 현실적인 상황을 고려하게 되면서 더욱 어려운 점들을 잘 해결하는 논문이라고 생각합니다. 연구가 물론 현실을 온전히 반영하기는 어렵지만, 그럼에도 불구하고 현실적 제약을 고려한 연구가 값지다는 점을 다시한번 상기시키는 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 PrimeNet: Pre-training for Irregular Multivariate Time Series라는 논문을 다루어습니다. 이 논문은 불규칙한 다변량 시계열 데이터에 대한 새로운 접근 방식을 제시하며, 특히, 비정기적인 데이터 수집 문제에 대응하는 PrimeNet의 프레임워크는 Contrastive Learning과 Time Series Reconstruction의 관점에서 구체적인 기법들을 제시하고 있습니다. 현실의 시계열 데이터의 Irregularity 에 대해 논리적인 해결 방법을 제안한 논문이여서 매우 흥미롭게 들었습니다. 이처럼 이상적인 벤치마크 데이터 셋이 아닌 현실적인 조건을 고려한 다양한 timeseries 분야에 대해 더 알아보고 싶은 마음이 들게한 좋은 세미나였습니다. 감사합니다.

이번 세미나에서는 Irregular Time series에 특화된 Representation learning 방법론을 다루는 PrimeNet: Pre-training for Irregular Multivariate Time Series 에 대해 발표해주셨습니다. 해당 논문에서는 Irregularity를 고려한 Augmentation과 masking 기법을 제안합니다. contrastive learning과 Masking Reconstruction을 통한 사전학습으로 irregular time series의 representaiton을 잘 학습할 수 있는 것에 의의가 있으며 대부분의 시계열 관련 연구가 Regularity를 가정하는 흐름에서 매우 귀중한 시도라 생각됩니다. 또한 Regularity를 가정한 기존의 self-supervised 방법론들의 문제점과 한계를 지적하는 부분이 인상적이었는데, contrastive learning 관점에서 구간별 Sampling Density(관측 횟수 & 관측간격)를 고려하지 못하면 원 데이터의 분포가 전혀 반영되지 않은 Positive Pair가 구성이 된다는 것, Pretext task 관점에서 Regularity를 가정하고 masking을 하면, 실제 Sampling Density가 높은 구간은 상대적으로 masking되는 구간이 적어 task의 난이도가 다는 문제가 있습니다. 불규칙한 빈도 자체가 정보가 될 수 있다는 점이 인상적이었으며 Irregularity한 시계열 데이터가 많은 실제 상황에 더 잘 맞지 않을까 하는 생각이 들었습니다. . 좋은 발표 감사합니다.

이번 세미나에서는 "PrimeNet: Pre-training for Irregular Multivariate Time Series"라는 논문을 소개해주셨습니다. 해당 논문은 불규칙한 주기로 수집될 수 있는 다변량 시계열 데이터를 처리할 수 있는 방법론을 제안하였습니다. 기존의 다변량 시계열 데이터를 다루는 방법론들은 다변량 시계열 데이터 동일 간격으로 수집되었다는 것을 전제로 하고 있습니다. 하지만 본 논문에서는 현실적으로 다변량 시계열 데이터는 불규칙한 주기로 수집이 될 수 있고 이것을 고려하지 않으면 성능에 한계가 있다고 말합니다. 따라서 irregularity가 존재하는 상황에서 올바른 representation learnin을 수행하기 위해 contrastive learning 기반의 방법론을 제안합니다. 방법론의 핵심은 masking을 하는데 있어 sampling density를 고려하는 것이었고, 이에 더해 일정 길이의 시간 전체를 masking하는 constant time duration masking도 사용하였습니다. Irregularity는 현실적으로 데이터 수집 과정에서 빈번하게 발생할 수 있는 일이라 생각하기 때문에 큰 의의를 갖는 논문이라고 생각했고, 기존의 이런 irregularity를 고려한 방법론을 보지 못했기에 매우 흥미로웠습니다. 좋은 발표 감사드립니다.

본 세미나는 PrimeNet: Pre-training for Irregular Multivariate Time Series 이라는 주제에 대한 논문의 리뷰를 진행하였습니다. 현실세계의 시계열 데이터의 경우 수집 주기가 일정하지 않은 경우도 많고, missing value도 많기 때문에 기존의 방법론들을 적용할 때의 문제점으로 대두되었습니다. 본 논문은 이러한 Irregular Time Series에 특화된 Representation Learning 방법론을 제안합니다. 이를 해결하기 위해 Irregularity를 고려한 Augmentation과 masking 기법을 제안하였습니다. 구체적으로 TimeCL(Contrastive Learning)과 TimeReco(Reconstruction) 으로 Pre-train setup을 구성하여 이를 해결하였습니다. 잘 정리된 데이터셋에서 높은 성능을 기록하는 연구가 지금까지 주를 이루고 있었으나, 앞으로는 현실의 상황을 좀 더 잘 대변할 수 있는 연구가 더 중요할 것으로 판단됩니다. 문제 정의를 잘하고 이를 해결할 수 있는 아이디어를 제시하는 것이 결국 좋은 연구로 연결된다는 것을 다시 한번 느낄 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나는 Irregular time series에 대해 representation learning을 수행하는 PrimeNet: Pre-training for Irregular Multivariate Time Series를 주제로 진행되었습니다. 기존의 representation learning들은 regular 데이터로 가정하고 sample density를 고려하지 않은 상태에서 positive pair를 구성하거나 masking을 수행하였습니다. 이에 대한 한계점을 제시하며 본 논문에서 제안하고 있는 방법론인 PrimeNet에서는 sampling density에 따른 층화추출을 통해 positive pair를 구성하는 TimeCL과 sparse한 부분에 대해서는 masking이 덜 되게 하여 task가 너무 어렵지 않도록 보장하는 TimeReco 방식을 도입하였습니다. Irregular 데이터를 다루기 위해 contrastive learning 관점과 pretext task 관점에서 해결 방안을 제시한 것은 좋았으나 해당 방법들이 density가 아닌 temporal information에 대해서 잘 포함하고 있는지 원본 시계열과는 얼마나 유사한지에 대한 검증이 부족한 점이 아쉬웠습니다. 또한, normalizing flow를 활용하여 irregular 데이터를 다루는 연구들이 존재하는데 이러한 normalizing flow 방식이 representation learning에 적용 될 수 있을지 궁금하였습니다. 좋은 발표 감사합니다.

본 세미나는 한승헌 발표자님께서 "PrimeNet: Pre-training for Irregular Multivariate Time Series"라는 논문을 중심으로 진행되었습니다. 먼저 해당 논문은 irregular time series 데이터, 특히 다변량 시계열 데이터의 불규칙성을 해결하기 위한 새로운 사전학습 전략을 제안합니다. 기존의 연구들은 불규칙성을 고려하지 않았으며, sampling density를 고려하지 않은 상태에서 positive pair를 구성하거나 masking을 수행했습니다. 따라서 해당 문제점을 바탕으로 irregular time series 데이터의 특성을 반영하기 위해 contrastive learning, masking reconstruction, sampling density를 고려한 stratified sampling과 같은 전략을 사용합니다. 해당 방법은 데이터의 불규칙성을 반영하는 동시에, 다양한 시계열 작업에 대한 모델의 성능을 향상시키는 데 중요한 역할을 합니다. 개인적으로, 해당 세미나를 통해 데이터 구성과 처리 방식이 모델링시 얼마나 중요한지를 다시 한번 깨닫게 해주었습니다. 실제 데이터에 적용할 수 있는 실용적이고 현실적인 연구 접근 방식을 제시함으로써, 현실 시계열 데이터 분석에 중요한 기여를 했다고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 "PrimeNet: Pre-training for Irregular Multivariate Time Series"에 대해 소개해주셨습니다. 해당 논문은 Pre-training 전략을 소개하고 있으며, Contrastive learning과 Reconstruction을 핵심으로 활용합니다. Contrastive learning에서는 현실적인 불규칙한 샘플링 상황을 가정하고, 이를 일정한 Time step에서 샘플링을 할 수있도록 Sampling density를 고려하고 있고, Reconstruction에서는 불규칙한 데이터에 대한 모델의 민감도를 높이고자 Irregularity와 Asynchronicity를 고려합니다. 실제 현실적인 데이터들의 문제점을 포인트로 하고, 이를 해결하기 위한 여러 고민들을 차별화된 시각으로 하고 있다는 점이 인상 깊었던 논문이었습니다. 또한 발표에서도 논문에 대한 소개 이전에 필요한 background를 매우 상세하면서 친절히 전달해주셔서 더욱 이해에 도움이 되었던 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "PrimeNet: Pre-training for Irregular Multivariate Time Series" 라는 논문을 다루었습니다. 이 논문은 불규칙한 주기로 수집되는 다변량 시계열 데이터에 대한 새로운 접근법인 PrimeNet을 제시합니다. PrimeNet은 sampling density를 고려하여 데이터의 irregularity를 처리하는 새로운 방법을 도입합니다. 이는 기존의 정규 데이터 가정을 넘어서는 중요한 발전으로 평가되지만, temporal information 처리와 다른 데이터 처리 기법과의 연계성에 대한 추가적인 연구가 필요합니다. 전반적으로, 이 논문은 현실적인 데이터 수집 환경을 반영한 중요한 연구 방향을 제시하며, 이 분야에서의 향후 발전 가능성을 보여줍니다. 좋은 발표 감사합니다.

이번 세미나에서 발표자님께서 처음으로 시계열 분아에서 “Irregularity”를 고려한 연구인 'PrimeNet: Pre-training for Irregular Multivariate Time Series'라는 논문을 소개해 주셨습니다. 본 논문은 Time Contrastive Learning과 Time Reconstruction이라는 두 가지 Pre-training 방법을 제안합니다. Time Contrastive Learning(이하 TimeCL)에서는 Sampling Density를 보존하기 위한 Sampling을 수행하고 Anchor 및 Positive를 통하여 Contrastive Loss를 계산합니다. Time Reconstruction(이하 TimeRecon)에서는 각 변수의 길이에 비례하도록 미리 설정된Masking Segment를 이용하여 Masking한 뒤 Reconstruction Loss를 계산합니다. 최종적으론 두 개의 Loss를 합하여 사용합니다. 현재의 대부분의 시계열 관련 연구가 Regularity를 전제로 하고 있고, 또 직관적으로 파악할 때도 정기적으로 수집되지 않는 데이터를 통하여 시계열 분석을 수행하는 것은 아주 어려워 보이는데에 비해, 시계열 관련 연구를 하지 않는 사람의 눈에도 납득할 만한 solution을 제시한 것 같아 본 논문의 새로운 방법론 제안이 더욱 흥미롭게 보였던 것 같습니다. 발표자님 좋은 발표 감사합니다!

이번 세미나에서는 PrimeNet: Pre-training for Irregular Multivariate Time Series 논문을 소개해 주셨습니다. 본 논문은 Irregular Time Series에 특화된 Representation Learning 방법론에 대한 연구로, Irregularity를 고려한 Augmentation과 masking 기법을 제안하였습니다. 기본적으로는 불규칙한 데이터에 대한 사전학습 기법을 제안한 것으로, sampling dencity를 고려하여 데이터를 선택하여 증강을 시도합니다. 이후 그를 기반으로 positive, negative sample을 구성하여 representation을 학습합니다. 완전히 통제되는 공장의 센서 데이터를 제외하면 현실에서 다수의 시계열 데이터는 irregular 하게 수집되며, 특히, multi-variate 상황에서는 필연적으로 발생하게 됩니다. 그 때문에 개인적으로 반드시 연구가 되어야 하는 분야라고 생각하여 관심이 있었습니다만, 지금까지는 많은 연구가 이루어지지 않아 아쉽게 생각하고 있었습니다. 최근에는 대표적인 Irregular 데이터인 health data가 활발히 활용되는 만큼 본 주제가 앞으로 더욱 중요시될 것 같습니다. 좋은 발표 감사합니다.