이번 세미나는 ‘Multi-time Attention Networks For Irregularly Sampled Time Series’에 소개해주셨습니다. 본 논문은 unaligned, irregularly sampled time series를 regularly sampled time series로 변환하는 방법론을 제안합니다. 해당 모델은 multi-time attention module (mTAND)에 VAE 구조를 적용한 mTAND-Full을 활용하여 원하는 시점의 representation을 산출합니다. Attention을 통해 temporal similarity를 학습합니다. 또한, VAE 구조 덕분에 temporally distributed latent representation를 잘 학습할 수 있어 time series의 local structure를 잘 반영할 수 있습니다. 데이터 측정이 불균형하게 이루어지는 의료 데이터 전처리 과정에서 특히 유용하게 사용할 수 있을 것 같습니다. 또한, 실제 데이터 셋에 대해 좋은 성능을 내기 위해선 시계열 데이터의 preprocess, post-process 작업도 효율적인 모델을 구성하는 것만큼이나 중요하지 않나 생각하였습니다. 새로운 주제에 대해 들을 수 있어서 좋았습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Multi-time Attention Networks For Irregularly Sampled Time Series 논문을 다루어 주셨습니다. 해당 방법론에서는 irregular하게 샘플링된 시계열 데이터에 대해 원하는 시점을 query로 attention을 수행하여 해당 시점의 time series representation을 얻어내고자 하고 있습니다. 본 방법론에서는 unalign된 irregularly sampled time series 데이터가 일반적인 모델에 모두 적용이 가능하도록 처리하고자 하고 있는데 이를 위해 데이터를 irregular한 형태에서 regular한 형태로 만들어주고자 하고 있습니다. 이러한 형태로 변형시켜주기 위해 모델에서 사용할 reference point에 해당하는 시계열값을 attention mechanism을 통해 산출하고자 하고 있습니다. Background 부분에서 interpolation 기반 방법론, model기반 방법론들을 다양하게 짚고 넘어가 주셔서 추후 발표를 이해하는데 많은 도움이 되었습니다. multi-time attention module에서는 time embedding을 이용하고 있는데, 자유롭게 원하는 시점의 값을 얻기 위해 연속적인 time embedding을 사용하여 원하는 시점에 대한 representation으로 산출하고 있습니다.. mTAN 에서는 선형 결합 과정에서 서로 다른 변수마나 서로 다를 시에만 classification을 수행하게 됩니다. 본 논문에서 제안하고 있는 모델 구조는 크게 2개로 나누어 볼 수 있는데, 첫째로, mTAND-full은 encoder와 decoder를 모두 이용하고 있는 구조이며, mTAND-Enc은 classification task에서 encoder만을 이용하게 됩니다. 전자의 경우 interpolation과 classification task에서 모두 sota 성능을 달성하고 있습니다. 실험 부분에 있어서는 interpolation task를 수행할 경우 학습에 사용하는 비율을 최대 90%까지로 설정한다는 점이 인상적이었습니다. 초반 부분에서 기본적인 개념들에 대한 발표자료가 깔끔하게 구성되어 있어 발표가 더 잘 들어왔던 것 같습니다. 좋은 발표 감사합니다!

해당 세미나는 노건호 발표자님께서 "Multi-Time Attention Networks for Irregularly Sampled Time Series"이라는 논문을 바탕으로 진행되었습니다. 본 논문은 Unaligned Irregularly Sampled time series data를 처리하기 위해, Regularly sample time series data 형태로 처리해주는 방법론을 소개하고 있습니다. 특히 model에 사용할 reference time point에 해당하는 시계열 값을, Attention mechanism을 통해 산출하는 점이 큰 기여점이라고 생각했습니다. 다시 말하면 Interpolation이 필요한 시점의 representation을 구해, 시간 간격이 규칙적일 수 있도록 보충해주는 점이라고 이해했습니다. 발표 때 보여주신 dataset도 의료 데이터가 주를 이루었는데, 시간 간격으로 규칙적으로 수집하는 domain(ex - 의료/헬스케어)에서 특히 강점이 있다고 생각했습니다. 뿐만 아니라 time 간격 기준으로 불규칙한 데이터를 규칙적으로 만드는 근본적인 원리를 변형한다면, 다양한 분야에서 활용 가능할 것 같습니다. 마지막으로 개념에 대해 상세하게 설명해주셔서 이해하기 편했습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 Multi-Time Attention Networks for Irregularly Sampled Time Series 라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문에서 다루는 Unaligned Irregularly Sampled Time Series는 의료 분야의 데이터에서 빈번히 나타나는 성질의 데이터로, 각 데이터가 수집된 시간의 간격이 불균일하고, 다변량 데이터 사이에 수집된 시점이 통일되지 않은 상황을 말합니다. Multi-time Attention (mTAN)은 Data-based 방식 중 하나인 Interpolation을 통해 Data를 Regularly Sampled Time Series 형태로 처리해줍니다. 그 후 Attention mechanism을 통해 reference time에 해당하는 representation을 추출하여 비어있는 부분의 timestamp에 대해서도 representation을 산출합니다. 따라서 mTAN을 통해 Unaligned Irregularly Sampled Time Series data를 일반적인 모델에서 바로 사용할 수 있다는 큰 장점이 있습니다. 본 연구는 굉장히 현실적인 문제에 대한 연구였다고 생각합니다. 실제로 Time series data의 경우 data 수집 주기, 결측치 등의 문제가 있는데 해당 방법론을 통해 해결 할 수 있을 것이라 생각됩니다. 좋은 발표 감사합니다.

이번 세미나는 "Multi-time Attention Networks For Irregularly Sampled Time Series"을 주제로 이루어졌습니다. 연구에 사용되는 데이터 특성 상 흔히들 시계열 데이터는 동일한 주기를 가지고 수집된 데이터라는 착각을 합니다. 하지만 실제 데이터는 각 변수마다 수집 주기가 다르고, 많은 결측치를 가지고 있을 수 있습니다. 이러한 상황에서 다양한 전처리 방식을 통해 비주기적으로 샘플링된 시계열 데이터를 동일한 reference time point를 가지는 데이터로 처리할 수 있습니다. 하지만 이 과정에서 필연적으로 정보의 손실이 발생하게 됩니다. 해당 논문은 이러한 데이터를 직접 모델링하기 위해 Attention Mechanism과 VAE 모델 구조를 도입하고 있습니다. Attention Mechanism을 통해 reference time에 대해 다양한 시점의 변수를 처리하고, VAE 구조를 통해 특정 reference time에 존재하지 않는 변수에 강건한 모델을 학습할 수 있습니다. 데이터 수집부터 비교적 잘 처리된 데이터를 다루다 보니 쉽게 놓쳤던 당연한 데이터 수집 과정에 대해 깊게 고민하고, 이에 맞춘 모델 구조를 제안한 합리적인 논문이라는 생각을 할 수 있었습니다. 좋은 발표 감사드립니다.

금일 세미나는 ‘Multi-Time Attention Networks for Irregularly Sampled Time Series’로 unaligned data를 다루는 접근법을 제안하였습니다. 기존의 시계열 모델은 이와 같은 데이터를 다루기 어렵습니다. 해당 방법은 regularly sampled 시계열로 만들어 주기위해 어텐션 메커니즘을 활용하여 참조할 데이터를 선정하였습니다. 어텐션 메커니즘은 reference에 대한 representation을 이용하여 현재 생성해야하는 부분에 representation을 구하게 됩니다. 이를 통해서 temporal similarity를 학습할 수 있게 되고 VAE구조를 통해 latent representation을 학습하며 local structure를 잘 반영할 수 있게 구성하였습니다. 이와 같은 데이터는 의료 데이터에 활용될 수 있으며 다른 도메인에서도 데이터 수집이 불규칙하게 이루어지는 데이터셋이라면 모두 사용 가능합니다. 제 연구분야인 NLP와 달리 시계열 데이터만의 특징에 기반한 방법론을 배울 수 있었고 시계열 데이터 수집 방법에 따라 이를 보간하기 위한 방법들을 추가적으로 배울 수 있어서 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 "Multi-time Attention Networks For Irregularly Sampled Time Series"을 주제로 이루어졌습니다. 연구에 사용되는 데이터 특성 상 흔히들 시계열 데이터는 동일한 주기를 가지고 수집된 데이터라는 착각을 합니다. 하지만 실제 데이터는 각 변수마다 수집 주기가 다르고, 많은 결측치를 가지고 있을 수 있습니다. 이러한 상황에서 다양한 전처리 방식을 통해 비주기적으로 샘플링된 시계열 데이터를 동일한 reference time point를 가지는 데이터로 처리할 수 있습니다. 하지만 이 과정에서 필연적으로 정보의 손실이 발생하게 됩니다. 해당 논문은 이러한 데이터를 직접 모델링하기 위해 Attention Mechanism과 VAE 모델 구조를 도입하고 있습니다. Attention Mechanism을 통해 reference time에 대해 다양한 시점의 변수를 처리하고, VAE 구조를 통해 특정 reference time에 존재하지 않는 변수에 강건한 모델을 학습할 수 있습니다. 데이터 수집부터 비교적 잘 처리된 데이터를 다루다 보니 쉽게 놓쳤던 당연한 데이터 수집 과정에 대해 깊게 고민하고, 이에 맞춘 모델 구조를 제안한 합리적인 논문이라는 생각을 할 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 샘플링 방법에 따른 시계열 데이터의 종류 중 간격이 일정하지 않은(irregularly) unaligned irregularly sampled data의 내용과 활용을 위한 방법론이 소개되었습니다. 일반적인 시계열 데이터(regularly sampled)는 기본적인 전처리 이후에 머신러닝 모델에 활용될 수 있는 반면, align 되어 있지 않은 데이터는 그렇지 못합니다. 이에 처리 가능한 방법으로 data를 regular하게 수정하거나 모델 자체에서 irregular 데이터를 다룰 수 있도록 하는 것인데, 이번 세미나에서는 전자의 경우에서 interpolation으로 데이터를 보간하는 방법 중 하나인 mTAND(multi-Time Attnetion Module)를 소개해주셨습니다. Regular 데이터로 변경을 한다는 뜻은 결국 원하는 시점에서 어떠한 형태든 representation을 얻고자 함일 것이고 본방법론에서는 원하는 시점을 query로 하여 attention을 수행함으로써 이를 해결합니다. 앞서 언급한대로 Interpolation weight를 구하는 부분이 핵심이 되는데 관찰된 시점을 key 값으로 설정하여 원하는 시점의 query 와의 내적과 softmax를 거쳐 최종적으로 가중치를 얻게 됩니다. 그 후에는 시점의 길이(H), 기존의 irregular 데이터의 dimension(D), 최종적으로 맞춰주고자 하는 time embedding dimsension의 크기(J)로 구성된 행렬과의 연산을 통해 궁극적으로 J 차원의 time embedding을 구해주게 됩니다. 시계열 데이터는 고유특성(trend, seasonality)을 비롯해 등간격 sampling 등에 대해서 잘 대처할 수 있어야 합니다. 이에 Attention machanism을 어렵지 않게 적절히 적용한 방법론인 것 같습니다. 현실 상황에서도 잘 적용이 될 지 궁금합니다. 유익한 발표 잘 들었습니다.

금일 세미나는 "Multi-Time Attention Networks for Irregularly Sampled Time Series"라는 주제로 진행되었습니다. 본 발표에서는 Irregularly sampled time series를 Model에서 활용할 수 있는 Regularly Sampled Time Series 형태로 변형하는 방법론 mTAN이 소개되었습니다. mTAN은 Irregularly sampled time series에 대해 원하는 시점을 query로 attention을 수행하여 모델에서 활용 가능한 time series representation을 도출하는 방법으로 다양한 신경망 모델에 적용이 가능합니다. 개인적으로 mTAN이 다양한 time series analysis 모델에 적용 가능하다는 점이 좋았고, 시계열 데이터에서 자주 발생하는 문제점을 간단하게 해결한 점도 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나는 “Multi-time Attention Networks For Irregularly Sampled Time Series” 논문을 주제로 진행되었습니다. 해당 논문에서는 기존 Time stamp가 일정한 Time-series data들인 Aligned regularly data와는 다르게 Time stamp가 일정하지 않고 랜덤하게 구성된 data들인 unaligned Irregularly data를 다루는 논문이었습니다. 이러한 데이터는 Data마다 관측되는 시점의 간격이 균등하지 않고, Data case와 변수마다 관측값이 달라질 수 있기 때문에 매우 Challenging한 Task라고 볼 수 있겠습니다. 이러한 데이터를 다루는 방법은 두 가지가 있는데, 데이터를 일반적인 Model에 활용 가능하도록, 즉 Aligned regularly data로 만들어주는 방법과 Model의 구조 자체를 unaligned Irregularly data가 사용 가능 하도록 만드는 방법이 존재합니다. 이때, 해당 논문에서 제시하는 방법은 필요한 시점의 Data를 앞 뒤의 관측 값으로부터 Interpolation 하는 방법을 이용하고 있었습니다. 먼저 Multi-time Attention을 통하여 temporal similarity를 학습하고, temporally distributed latent representation을 사용해 time series의 local structure를 잘 반영하고 있으며, 이후 VAE 구조를 활용하는 encoder-decoder 구조의 mTAND-full 모델을 통하여 최종적으로 좋은 성능을 보이고 있었습니다. 시계열 데이터를 연구하는 입장에서 한 번도 이러한 종류의 데이터를 다룰 생각을 하지 못하였는데, 이러한 데이터가 존재한다는 것과 처리하는 방법을 알게 되어 저에게는 매우 의미 있는 세미나였던 것 같습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 “Multi-Time Attention Networks for Irregularly Sampled Time Series”에 대해 다뤄 주셨습니다. 대부분의 시계열은 등간격으로 수집되는 것과 달리 해당 논문은 변수 마다 다른 간격으로 수집 된 시계열 데이터에 NN model을 활용하기 위한 mTANs 모델을 제안합니다. mTANs는 연속 시간 값의 임베딩을 학습하고 어텐션 메커니즘을 사용하여 관측 수가 다른 시계열 데이터의 고정 길이 표현을 생성합니다. 이러한 모듈을 활용하여 여러 Variatnion을 같이 제안하고 있는데, mTAN은 Attention을 통해 원하는 시점의 representation을 구하는 것, mTAND는 일반적인 NN model에 적용할 수 있도록 하는 것, mTAND-Full은 VAE구조를 활용하여 irregularly sampled time series를 처리하는 encoder-decoder model입니다. 모델 구조 자체는 복잡하지 않지만 irregularly sampled time series를 다룬다는 점에서 Novelty가 있다고 생각이 되며, 다만 익숙치 않은 형태이기 때문에 바로 직관적으로 다가오지는 않았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Multi-Time Attention Networks for Irregularly Sampled Time Series 라는 방법론에 대해 다루었습니다. 이 논문에서는 불규칙하게 샘플링된 다변량 시계열 데이터를 딥러닝 모델에 활용하기 위한 방법론을 제안합니다. mTAN 방법론은 데이터를 임베딩하고 unaligned mutivariate irregularly time series data에 attention mechanism을 적용하여 고정된 길이의 representation을 생성하는 방법론입니다. 이 방법론은 attention을 통해 temporal similarity를 잘 학습할 수 있게 되고 이렇게 학습된 temporally distributed latent representation을 사용하여 time series의 local structure를 잘 반영한다는 특징을 가지고 있습니다. 추가적으로 모든 연산을 병렬적으로 할 수 있기 때문에 학습시간을 감소시킬 수 있다는 장점이 있습니다. 실험에서도 sota를 달성했던 것을 알 수 있었습니다. 발표를 들으면서 다른 도메인의 실제 데이터에서도 좋은 성능이 나올지 궁금하다는 생각을 했습니다. 내용이 복잡했던 것 같은데, 단계적으로 설명해주셔서 잘 이해할 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Multi-time Attention Networks for Irregularly Sampled Time Series” 논문에 대해 소개해주셨습니다. 이상적인 시계열 데이터는 각 변수들이 등간격으로 동일한 Time Step에 수집된 경우일 것입니다. 그러나, 의료 데이터와 같은 경우 각 변수 별로 수집된 간격이 다를 수도 있고, 각 변수 자체의 수집 간격이 다른 경우도 존재합니다. 이러한 Unaligned Irregularly Sampled Time Series를 처리하기 위해 해당 연구에서는 원하는 시점을 Query로 Attention을 수행해 해당 Time Step의 Representation을 산출하도록 하는 방법론을 제안했습니다. mTAN, mTAND, mTAND-Full 이라는 세 가지 방법론을 함께 제안했는데 mTAND는 일반적인 Neural Network Model에 mTAN을 통해 산출한 Representation을 바로 사용할 수 있도록 하여 제안하는 방법론의 확장성과 사용성을 높인 점이 인상적이었습니다. 다소 수식이 많아 이해에 어려움이 있을 수도 있었으나, 발표자 분께서 친절히 설명해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사드립니다.

이번 세미나는 Multi-time Attention Networks For Irregularly Sampled Time Series를 주제로 진행되었습니다. 시계열 데이터에는 동일한 간격으로 측정되지 못해 불규칙적으로 수집된 데이터가 존재하며 이를 irregularly sampled time sereis data라고 합니다. 이를 해결하기 위해 일반적인 방법은 시간 간격을 늘려 해당 간격내의 data들을 하나로 축약하는 down sampling과 보간하는 interpolation이 일반적입니다. 본 논문에서는 model based로 model의 구조 자체를 irregularly sampled time series가 사용하는 것을 목표로 하고 있습니다. 본 논문이 제안하고 있는 mTAND는 attention을 통해서 원하는 하나의 시점을 query로 representation을 도출합니다. 어떤 시점이든 representation을 도출하겠다는 아이디어가 인상 깊었으며, 불규칙적으로 수집된 시계열 데이터를 다루기는 항상 어려운 task인데 해당 방법론을 통해 해결 가능하다는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에선 Multi-Time Attention Networks for Irregularly Sampled Time Series 라는 연구에 대해 소개되었습니다. 논문에선 수집 간격이 불규칙한 시계열 데이터는 일반적인 NN 모델에 사용되기 어렵기에 이러한 데이터를 다룰 수 있는 방법론을 제안하고 있습니다. 수집 시기가 일정하지 않은 다변량 시계열 데이터를 다루는 방법은 데이터를 일반적인 regularly sampled 형태로 변환하는 것과 모델을 irregularly sampled에 맞게 변환하는 방법으로 나눠지는데 논문에선 전자에 해당하는 mTAN을 제안합니다. mTAN은 regularly sampled 형태로 데이터를 변환하기 위해 attention mechanism을 사용하여 reference time에 해당하는 representation을 추출하는 형태이며 이전까지 제안된 일반적인 시계열 모델들에 바로 활용 가능하다는 장점을 가집니다. 시계열 데이터에서 불규칙하게 수집되는 경우는 발표자분께서 언급해주신 것처럼 의료 데이터가 대표적인데, 이외에도 사용되는 변수의 modality가 여러 개일 경우도 논문의 method가 사용될 수 있을 것 같습니다. 개인적으로 생소한 문제 정의와 이에 대한 해결 방법을 제시한 논문이었는데 이번 세미나를 통해 많이 배울 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 "Multi-Time Attention Networks for Irregularly Sampled Time Series"라는 논문에 대해 다루어주셨습니다. 시계열 데이터가 불규칙한 시간 간격으로 수집되었을 때 이를 처리하기 위한 방법론을 다루었는데, 일반적으로 등간격이 아닌 경우 window를 구성하지 않는 방식으로 해당 구간을 무시하는 방법을 많이 사용하였는데 이를 처리할 수 있는 방법론을 제안한 것이 흥미로웠습니다. 이를 위해 attention을 통해서 특정 시점을 query로 representation을 도출하도록 하여 불규칙한 시간 간격에 대해서도 임베딩이 가능하도록 모델을 설계하였습니다. 이를 통해 일정하게 수집된 시계열 데이터의 형태로 변환하여 처리하였는데 처음 보는 형태의 보간 기법이라 흥미로웠습니다. 해당 방법론의 경우 데이터의 양은 많지만 많은 구간에서 missing 시점이 존재하는 데이터에서 사용할 경우 좋을 수 있겠다는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나는 "Multi-Time Attention Networks for Irregularly Sampled Time Series" 논문에 대하여 소개해주셨습니다. 해당 논문에서는 등간격으로 수집되지 않은 불규칙한 간격의 시계열 데이터를 다루기 위하여 mTAN이라는 모델을 제안하였습니다. 불규칙한 간격의 시계열 데이터로는 대표적으로 의료 분야에서 많이 볼 수 있습니다. 이러한 불규칙한 시간 간격을 갖는 시계열 데이터는 일반적인 Neural Network에 적용하기위해 간격을 일정하게 resampling할 필요가 있습니다. 제안한 mTAN은 attention을 통하여 reference time에 해당하는 representation을 추출하는 방식으로 학습을 진행합니다. 이번 세미나에서는 데이터를 모델에 맞는 형태로 적용하기 위한 아이디어가 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나는 Multi-Time Attention Networks for Irregularly Sampled Time Series 논문으로 진행되었습니다. 처음에 Unaligned Irregularly Sampled Time Series가 일반적인 모델에 모두 적용이 가능하도록 하는 방법론이 중요함을 설명했는데, 개인적으로 align 시키는 것이 공정데이터가 아닌 다른 데이터셋에서 시계열에 대한 align 은 항상 중요한 이슈였습니다. 이를 위해 Attention을 통해 temporal similarity 를 학습하고 이를 선형결합하여 최종적인 representation 을 만들어 냅니다. 사실 이러한 방법론은 메모리 네트워크 분야에서 많이 사용되었던 방법론 같은데, 좀 더 수식적관점과 local structure 를 잘 반영하게 만든 representation 이 주 contribution 같습니다. 물론 저희가 다루는 일반적인 align 은 공정데이터에서 크게 많이 필요하지 않지만, 다른 도메인에서는 충분히 필요하다 느끼며 좋은 내용들이라 생각합니다.

이번 세미나는 Multi-time Attention Networks For Irregularly Sampled Time Series에 대해 소개해주셨습니다. mTAND는 irregularly sampled time series 데이터를 사용하기 위한 모델로, 데이터가 존재하기를 원하는 시점을 query로 하여 attention을 수행함으로써, 해당 시점의 time series representation을 얻어내는 것을 목적으로 하고 있습니다. 논문에서 소개한 multi-time attention module은 3가지로, attention을 통해 원하는 시점의 representation을 도출하나, 하나의 시점만을 사용하는 mTAN과 일련의 reference points를 사용하는 mTAND, 그리고 VAE 구조를 활용하는 mTAND-Full이었습니다. mTAN의 경우에는, 하나의 시점을 사용하기는 하나, embedding 과정에서 H개의 time embedding을 사용하여 선형 결합 하므로, attention처럼 변수마다 반영해야 할 time interval을 각각 다르게 하고 있었습니다. mTAND-Full은 mTAND를 활용한 VAE구조의 모델로, encoder-decoder로 이루어진 모델을 통해 irregular time series data를 새로운 time series data로 도출할 수 있게 됩니다. 해당 방법론에서 굉장히 다양하고 복잡한 수식들이 사용되었으나, 발표자분께서 침착하게 자세히 설명해주셔서 이해할 수 있었던 것 같습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 변수마다 샘플링된 시점이 다른 unaligned irregularly sampled time series를 활용하기 위한 방법론을 다룬 논문 Multi-Time Attention Networks for Irregularly Sampled Time Series을 주제로 진행되었습니다. 등간격으로 수집되지 않은 시계열 데이터를 nerual network 모델에 활용하기 위한 접근은 데이터 자체를 regularly sampled 형태로 변환하거나 모델이 irregulary sampled 데이터를 처리할 수 있도록 구조를 변형하는 계열로 나눠볼 수 있습니다. 본 논문에서는 전자의 접근을 취하고 있으며 interpolation을 통해 데이터가 regulary sampled 형태를 갖출 수 있도록 처리해주고, attention 메커니즘으로 reference time에 해당하는 데이터의 representation을 추출하여 일반적인 시계열 모델에 활용할 수 있도록 하는 mTAN 방식을 제안합니다. 시계열 분야에 unaligned irregulary sampled 데이터를 다룬 연구 갈래가 있다는 사실이 흥미로웠고, 현실 세계와 밀접한 관련이 있는 유익한 연구 주제라는 생각이 들었습니다. 발표자분께서 항상 또박또박 내용을 잘 전해주셔서 잘 듣고 있습니다. 이번에도 유익한 발표 진행해주셔서 감사합니다.

이번 세미나는 ICLR 2021에 소개된 Multi-time Attention Networks For Irregularly Sampled Time Series 논문으로 진행되었습니다. 시계열 데이터 중 데이터가 관측되는 시점의 간격이 균등하지 않고, 변수마다 관측값의 수가 변화하는 시계열 데이터를 Unaligned Irregularly Sampled Time Series 데이터라고 하는데 이를 Neural Network Model에 적용 가능하게 하는 방법은 크게 2가지가 있다고 합니다. 첫 번째가 Irregularly Sampled Time Series를 Regularly Sampled Time Series의 형태로 처리해서 일반적인 모델을 적용하는, 데이터에 변경을 주는 방법이고 두 번쨰가 모델에 변경을 주는 방법인데 해당 세미나에서 제안된 mTAN은 interpolation을 통해 데이터에 변경을 주는 방식을 취했습니다. Regularly Sampled Time Series의 형태로 처리된 데이터를 기반으로 attention mechanism을 적용하는 모델 구조를 통해 원하는 시점의 representation을 얻을 수 있을뿐 아니라 temporal similarity를 학습하고, temporally distributed latent representation을 사용해 time series의 local structure를 잘 반영할 수 있다고 합니다. 비록 처음 접하는 시계열 데이터라 이해에 어려움이 있었지만, 항상 수식적으로 어려운 논문을 쉽게 풀어서 설명해주셔서 많은 도움이 되는 것 같습니다. 좋은 발표 감사합니다.