이번 세미나에서는 Latent ODEs for Irregularly-Sampled Time Series를 다루었습니다. 이번 세미나에서 ODE에 대해 처음 접하게 되어서 생소한 개념이었는데, 발표 초반 부분에서 아주 자세하게 설명해주셔서 기본적인 개념을 이해하는 데에 큰 도움이 되었습니다. latent ode에 대한 설명에서 가장 흥미로웠던 점은 discrete한 데이터로 모델링을 하는 구조를 가진 rnn을 latent ode를 통해서 continous한 구조로 변환할 수 있다는 점이었습니다. 이렇게 되면 가지고 있는 데이터 안에서 기록되지 않았던 데이터의 분포를 파악할 수 있어서 좀 더 유연한 output을 도출할 수 있을 것 같다는 생각이 들었습니다. 이는 특히 time-series 특성을 갖는 데이터 도메인에 전반적으로 확장하여 적용할 수 있을 것 같다는 점에서 연구 가치가 높고 매력적인 방법론이라는 생각이 들었습니다. 좋은 발표 잘 들었습니다. 감사합니다.

본 세미나에서는 Latent ODEs for Irregularly-Sampled Time Series라는 주제의 논문에 대한 리뷰를 진행하였습니다. Latent ODEs의 배경이 되는 NeuralODEs부터 개념을 상세하게 설명해 주셔서 내용의 이해가 수월했습니다. 본 논문에서 제안하는 Latent ODEs with ODE-RNN는 RNN에서의 hidden state 사이의 변화를 ODE로 풀어내, continuous-time latent function의 encoding을 유도하였습니다. Time series data의 경우 interval에 해당하는 구간의 값만 예측할 수 있다는 고질적인 문제가 있는데 이를 ODE를 활용하여 해결하였다는 점이 참신하다고 느꼈습니다. 또한 본 논문에서 제안한 방법론이 다양한 dataset에서 우수한 성능을 내었다는 점도 인상적이었습니다. 발표자님께서도 발표 말미에 언급하였듯이 Latent ODEs with ODE-RNN이 주는 가장 큰 의미는 dynamic 범위 확장에 있다고 저도 생각합니다. 이를 통해 다양한 domain에 적용할 수 있는 확장 가능한 모델을 구축했다는 점이 큰 의미로 다가왔습니다. 세미나와 스터디를 통해 ODE, diffusion과 같이 수학적인 base를 많이 요구하는 모델에 대해서 소개를 해주셨는데 탄탄하게 배경을 소개해주셔서 매번 수월하게 이해하고 있습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Latent ODEs for Irregularly-Sampled Time Series 논문을 다루어 주셨습니다. 데이터 모델링에 있어서는 크게 두개의 접근법을 이용하게 되는데 첫번째 view는 curve fitting이며, 두번째 view는 slope fitting입니다. Curve fitting은 특정한 함수를 정하고 numerical optimization을 통해 함수를 직접 조정해가는 접근입니다. 다음으로 slope fitting은 학습을 통해 f의 slope를 알아내고 학습한 slope를 풀어 f를 얻어내고 있습니다. Latent ODEs: A generative latent function time-series model에서는 VAE에서 decoder를 ODE solver로 대체한 time-series generative model 컨셉을 제안하고 있습니다. Latent ODEs with ODE-RNN에서는 RNN의 변형구조를 이용하여 RNN에서의 hidden state 사이의 변화를 ODE로 풀어내어 continuous-time latent function의 encoding을 유도하고자 하고 있습니다. ODE와 관련된 background를 흐름에 따라 설명을 상세히 해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다!

금일 세미나에서는 ODE(Ordinary Differential Equation, 미분방정식)의 개요를 시작으로 irregularly-sampled time-series 분야에서 다른 RNN 류 모델보다 좋은 성능을 낼 수 있는 Latent ODE에 대한 내용이 소개되었습니다. 먼저 ODE의 기초 내용을 소개해주시며 ResNet과의 비교를 해주심으로써 residual connection의 의미를 다시한 번 파악할 수 있었습니다. 특히 ODE를 알아낸다는 것은 입출력 사이의 hidden stat의 변화를 알아낸다는 설명이 충분히 납득될 수 있었습니다. 한편, 기존 RNN의 한계로 언급하신 점 중 불규칙적인 time-step의 연속적인 data(Irregular time-step sampled sequential data)를 동일한 time-step을 갖도록 변형한 후에 입력함으로써 fitting에 어려움이 있을 수 있다는 점이 유의미 해보였고, 이를 연속적인 depth에서 sample을 해석하여 한계점을 개선한 본 논문의 방법론의 접근이 신선했습니다. RNN을 활용한 VAE에서 Decoder 부분을 ODE sovler로 변형한 Latent ODE에 더해 Encoder 부분을 ODE-RNN으로 교체함으로써 모델의 구조에 개선을 요한 부분이 핵심이라고 볼 수 있겠습니다. 수학적으로 많은 개념을 요하는 분야기에 접근이 쉽지 않아 보이지만, 발표자 분께서 차분히 자세히 설명해주신 덕분에 큰 흐름을 파악할 수 있었습니다. 다음 발표가 더욱 기대됩니다. 감사합니다.

Latent Ordinary Differential Equations for Irregularly-Sampled Time Serie라는 제목의 논문 소개가 있었습니다. 본 논문에서는 ODE-RNN이라는 시계열 모델을 제안합니다. 이 모델은 autoregressive하게 사용될 수 있으며 VAE의 encoder로 사용될 수 있습니다. 또한 해당 모델을 활용해 시계열을 continuous 하게 latent trajectory로 표현하여 기존의 이산적 구조인 RNN과 달리 irregular time-series를 별도의 전처리 없이 fitting시킬 수 있다는 장점이 있습니다. 특히 기존 RNN과 ODE-RNN의 latent의 변화, ResNet과 Neural ODE의 차이를 직관적으로 설명해주어 흥미로웠습니다. 늘 ODE 관련 주제로 신선한 연구 내용을 공유해주셔서 감사합니다.

이번 세미나는 Latent ODEs를 기반으로 한 시계열 생성 모델을 다룬 논문 Latent ODEs for Irregularly-Sampled Time Series를 주제로 진행되었습니다. 논문 소개에 앞서 Latent ODEs를 이해하기 위한 배경 지식을 상세히 설명해주셔서 대략적인 개념을 이해해볼 수 있었습니다. 데이터 모델링의 접근을 curve fitting과 slope fitting으로 나누어 ODE의 개념 도출하고 slope으로 정의되는 ODE를 찾아내는 것이 결국 input과 outpu 사이의 hidden state 변화를 알아내는 것과 같다는 설명이 인상 깊었습니다. 이를 ResNet의 residual connection과 연관지어 설명해주셔서 이해에 도움이 되었습니다. discrete depth-model에서 벗어나 neural ODEs는 continuous depth-model을 상정하고, hideen state의 변화를 continous하게 적용합니다. 이러한 neural ODE는 지도학습, 생성 모델과 같이 다양한 application이 가능하고, 소개해주신 논문에서는 VAE의 디코더를 ODE solver로 대체한 시계열 생성 모델을 제안합니다. 이를 통해 데이터의 continuous dynamics와 latent trajectory를 학습하여 기존 RNN 계열 모델 보다 불규칙적인 시계열 데이터에 대해 prediction, extrapolation에서 높은 성능을 달성하였습니다. 굉장히 어려운 주제라 모든 내용을 따라가기는 힘들었지만, 발표자분의 섬세하고 친절한 설명 덕에 많이 배울 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

Latent Ordinary Differential Equations for Irregularly-Sampled Time Serie라는 논문을 주제로 진행되었습니다. ODE-RNN이라는 시계열 모델을 제안합니다. 이 모델은 autoregressive하게 사용될 수 있으며 VAE의 encoder로 사용될 수 있습니다. 또한 해당 모델을 활용해 시계열을 continuous 하게 latent trajectory로 표현하여 기존의 이산적 구조인 RNN과 달리 irregular time-series를 별도의 전처리 없이 fitting시킬 수 있다는 장점이 있습니다. 특히 기존 RNN과 ODE-RNN의 latent의 변화, ResNet과 Neural ODE의 차이를 보였고, 기존 Neural Net 기반의 방법론에 비해 좋은 성능을 보임을 알 수 있었습니다. 해당분야에 대한 지식이 많이 없지만 양질의 쉬운자료를 통해 흐름을 따라가기 좋았습니다. 감사합니다.

이번 세미나는 Neural ODE 기반 시계열 데이터 생성 기법을 다루는 Latent ODEs for Irregularly-Sampled Time Series 논문으로 진행되었습니다. 해당 논문에선 Latent ODEs의 encoder를 ODE-RNN으로 교체한 Latent ODEs를 제안했으며, RNN에서의 hidden state 사이 변화를 ODE로 풀어내 continuous한 변화를 학습하도록 하는 모델입니다. 특히 이전에 제안된 Latent ODEs는 encoder로 기본적인 RNN 구조를 활용했지만, 해당 논문은 encoder를 ODE-RNN을 활용해 VAE 구조의 새로운 Latent ODEs 모델을 구축했다는 부분에서 큰 차이가 있습니다. 이렇게 ODE-RNN을 활용했을 때 불규칙적이거나 결측치가 많은 시계열 데이터에서 discretization in equal interval, imputation 등의 과정을 거치지 않고도 latent function을 효과적으로 학습할 수 있으며, medical, robot engineering 등 다양한 데이터에도 적용이 가능하다는 점이 큰 contribution인 것 같습니다. 특히, 자연어 분야에도 적용된 사례가 있을만큼 여러모로 확장 가능성이 넓은 기술이라는 생각이 들었습니다. Neural ODE란 분야 자체가 수식적인 부분이 많기도 하고, 세미나로 많이 접해보지 못한 분야라 어려울 수 있음에도 항상 배경 지식을 상세히 설명해주셔서 도움이 많이 되는 것 같습니다. 좋은 발표 감사합니다.

해당 세미나에서는 "Latent ODE for Irregulary-Sampled Time Series"라는 논문에 대해 설명해주셨습니다. 이전 연구실 내 스터디에서 ODE를 소개해주셨는데, 당시에 ODE라는 것을 설명해주실 때부터 처음 접해보는 내용이라 신기했습니다. 최적화 대상을 f(x)로 하지 않고 이 f(x)의 Slpoe f'(x) 즉, Slope를 최적화의 대상으로 삼아 f'을 학습을 통해 알아낸다면, 이를 이용해 역으로 모든 지점에서의 Original Function 값을 알아낼 수 있다는 전개 자체도 매우 신선했습니다. Latent ODEs with ODE-RNN에서는 기존 RNN의 Hidden state 사이 변화가 Discrete하지만 ODE를 이용하여 Hidden State 사이 변화를 Continuous하게 변화시켜 기존 방법론의 한계를 풀어냈습니다. Time Series 데이터에 적용이 가능하다면, Time Series 데이터와 마찬가지로 Sequential 데이터인 자연어 데이터에도 ODE 방법론을 적용한다면 모델 확장 및 Distillation과 같은 모델 크기 측면에서 주로 연구되는 자연어 처리 기법에서도 ODE를 조금 더 잘 적용하면 새로운 Mainstream 방법론이 나올 수 있지 않을까 고민해볼 수 있었습니다. 처음 접해보는 내용이라 듣는 사람이 이해할 수 있도록 발표 자료와 내용을 준비하기 힘드셨을텐데 발표자 분의 노력이 느껴지는 정말 좋은 발표였습니다. 감사합니다.

이번 세미나는 NeuralODEs를 time series에 접목한 Latens ODEs for Irregularly-Sampled Time Series를 주제로 진행되었습니다. 먼저 본 논문 설명에 앞서 이전에 진행했던 NeuralODEs의 설명을 다시 한번 진행해주셨습니다. 기존 RNN이 Irregular time-step sampled 데이터의 경우 fitting에 어려움이 존재하고 동일한 interval을 갖도록 변형을 하여야만 했습니다. 본 논문은 NeuralODEs를 통해 이런 구조적 제약에서 벗어나고자 continuous-time generative 방법론을 제안하였습니다. Latent ODEs와 ODE-RNN는 크게는 VAE 구조를 하고 있으며 ODE solver를 decoder로 가지고 있습니다. Irregular time-series를 동일 간격으로 재구성하는 방법만을 생각해보았지 이렇게 continuous하게 다루는 방법에 대해서는 고려해보지 못했던 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 "Latent ODEs for Irregularly-Sampled Time Series"라는 주제로 진행되었습니다. 본 발표에서는 VAE에서 decoder를 ODE solver로 대체한 time-series generative model이 소개되었습니다. 해당 연구에서는 RNN이 discretized 구조로 인해 irregular time-step sampled 데이터를 fitting하는데 어려움이 있다는 점을 지적하고, continuous depth에서 sample을 해석하여 irregular interval이 존재할때도 latent function으로 해당 데이터를 표현할 수 있는 모델을 제안하였습니다. 제안 모델은 missing value가 많은 데이터를 모델링하기에 적합하다는 특징이 있는데, 이를 통해 시계열 데이터의 incomplete data를 다루기 위한 다양한 task에서 ode를 활용하는 것이 좋은 접근 방법일 것 같다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 "Latent ODEs for Irregularly-Sampled Time Series"에 대해 다루어주셨습니다. 세미나를 통해서 ODE라는 개념에 대해서 자세히 알 수 있어 좋았습니다. 결국 resnet의 skip connection 구조를 연속적으로 가져가는 것이 ODE라는 것으로 이해하였습니다. 적절한 예시를 통해 기존의 neural net과 ODE가 가지는 차이점 또한 알 수 있었습니다. 해당 설명을 들을 때 그렇다면 continuos function을 아는 것이 왜 좋은 것인지에 대한 의문이 있었는데, 불규칙한 time interval을 갖는 시계열 데이터에 적용한 연구를 보고 그 필요성 중 하나를 알 수 있었습니다. 이외에도 ODE의 활용성이 더 있을 것이라고 말씀해주셨는데 추후 이에 대해 공부해보면 재밌을 것 같다는 생각을 하였습니다 .좋은 발표 감사드립니다.

이번 세미나에서는 NeurIPS 2019에 게재된 Latent ODEs for Irregularly-Sampled Time Series 논문을 소개해 주셨습니다. 본 연구에서 Irregular-sampled time-series에 대해 더 나은 성능을 보이는 것을 목표로하여 Neural ODE를 시계열 데이터에 적용하는 방식을 제안합니다. 발표자께서 지속적으로 소개해 주고 계신 Neural ODE를 시계열에 적용한 것으로, 본 방법론을 Latent ODE라고 부릅니다. 구체적으로는 기존의 ODE encoder를 RNN으로 교체하여 Time-series의 hidden state 변화를 continuous-depth로 모델링한 것으로, 데이터 모델링의 관점에서 기울기(slope 함수)를 최적화(ODE solve)하고 다시 적분하여 원래의 함수를 찾아내는 것은 input과 output 사이의 hidden state의 변화를 알아낸다는 것과 같아 위와 같은 활용이 가능합니다. 이를 통해 모델은 sample의 continuous dynamics와 latent trajectory을 할 습할 수 있게 되고, 목표하던 대로 기존의 RNN보다 irregular sampled time-series에 대해 예측 및 생성을 수행할 때 높은 성능을 달성하게 됩니다. 발표자께서 소개해 주시는 ODE 류의 방법론들이 수학적인 이해가 많이 필요하여 어려운 방법임에도 꾸준하게 자세히 소개해 주셔서 매우 흥미롭게 들을 수 있었습니다. 특히 하나의 주제를 가지고 다양한 활용을 소개해 주셔서 감명 깊게 듣고 있습니다. 항상 좋은 발표 감사합니다.

이번 세미나에선 Latent ODEs for Irregularly-Sampled Time Series 라는 연구에서 대해 소개되었습니다. LatentODE 이전에 NeuralODE라는 개념에 대해 curve fitting 부터 slope fitting까지 세미나 초반에 자세히 소개해주셔서 본 세미나를 이해하는데 많은 도움이 되었습니다. 특히, ODE를 학습 알아낸다는 것이 input과 output 사이의 hidden state의 변화를 알아내는 것과 같고, 이 부분이 skip connection을 사용했던 resnet에서 이미 시도했던 방식이라고 설명하신 부분이 기억에 남습니다. 그리고 NeuralODEs 가 ResNet과는 달리 continuous transformation을 학습하는 것을 목표로한다는 설명까지 본 세미나 이전의 background 부분에서 많이 배울 수 있었습니다. LatentODEs는 NeuralODEs의 활용 중 generative model 에 해당하며 기존 RNN이 irregular time-step sampled data에 대해 fitting이 어렵다는 점을 NeuralODEs의 continuous 를 반영하는 것으로 해결합니다. 결과적으로 본 논문은 ODE-RNN 방식을 사용하여 Continous depth에서 sample을 해석하는 것으로 irregular interval에서도 latent function을 표현할 수 있게하고, 이를 통해 time-series prediction과 extrapolation에서 높은 성능을 달성할 수 있었습니다. 이론에 대한 이해가 많이 필요했던 논문이었는데 발표자분께서 잘 설명해주셔서 어느 정도 따라갈 수 있었던 것 같습니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 "Latent ODEs for Irregularly-Sampled Time Series" 논문에 대해 소개해주셨습니다. 이전부터 ODE와 관련된 내용을 세미나로 소개해주셨었지만 오랜만에 돌아로는 세미나 순서인만큼 다시 ODE에 대한 배경지식을 상세하게 설명해 주셔서 좋았습니다. ODE는 도함수로 함수를 찾아나가는 과정입니다. 도함수에서 함수로 풀어내는 방법을 ODE solver라고 불리고 해당 방법은 euler method와 같이 기존에 수학적으로 증명된 방법들을 활용합니다. Time-series 데이터에 대한 ODE 모델의 장점 도함수에서 함수를 찾아내는 과정으로 진행되기 때문에 continuous latent trajectory를 학습 할 수 있다는 점입니다. 따라서 학습에 사용되지 않은 time index에도 상황에서도 보다 정확한 값을 찾아낼 수 있고 데이터의 time-index가 규칙적이지 않은 상황에서도 학습이 가능하며 extrapolation 성능이 우수함을 보입니다. 이해하기 어려운 ODE라는 방법에 대해 연구실에서 자세히 다뤄주고 적합한 사용 방향도 함께 세미나는 통해 들을 수 있어서 유익한 시간이었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Latent ODEs for Irregularly-Sampled Time Series에 대해 살펴보았습니다. 발표자분께서 지속적으로 Neural ODE에 대해서 세미나에서 소개해 주셨는데, 이번 세미나에서 ResNet과의 차이를 통한 설명은 매우 흥미로웠습니다. 덕분에 Neural ODE 측면에서 ResNet을 해석한 점과 discrete/continuous의 차이에 대해 알 수 있었습니다. 해당 설명을 들을때는 연속적으로 파악하는 ODE 방식의 장점을 알기 어려웠으나, RNN을 사용할 때 irregular interval의 경우 기존 방식으로 접근하면 문제가 되기 때문에 연속적인 방식으로 접근해야 한다는 설명을 듣고 그 필요성을 알 수 있었습니다. LatentODEs for Irregularly-Sampled Time Series에서는 Latent ODEs에서 제안된 ODE-RNN구조를 변형하여 사용하고 있습니다. 기존 ODE-RNN의 경우 encoder는 기존의 RNN으로, decoder는 ODE solver로 사용하고 있지만, 본 연구에서는 encoder, decoder 모두 ODE-RNN 구조를 활용해 hidden state 간 continuous한 변화를 학습하도록 유도합니다. 이러한 방식을 통해 적은 양의 irregular time-series sample 만으로도 latent trajectory를 잘 추론할 수 있다고 주장하는데, 개인적으로는 extrapolation에 대한 실험 내용이 매우 인상적이었습니다. 아마 여러 분야에서 활용이 가능하지 않을까라는 생각이 들었습니다.

이번 세미나에서는 “Latent ODEs for Irregulary-sampled Time series”에 대해 발표 해주셨습니다. 이전 다른 스터디에서도 ODE를 소개 해 주셨지만 이해하기 어려웠고 이번 세미나의 자세한 배경 설명을 통해 한층 더 쉽게 이해할 수 있었습니다. 게다가 친숙한 ResNet을 예시로 들면서 더 쉽게 이해할 수 있었습니다. 더불어 ODE를 사용함으로써 얻는 장점들을 여럿 얘기해주셨는데 그 중 연속적인 변화를 모델링할 수 있다는 것이 인상깊었습니다. 데이터를 직접 학습하는 것이 아닌 기울기를 학습함으로써 discrete한 시점이 아닌 continuous한 변화를 찾을 수 있고 연속적인 변화를 학습할 수 있었습니다. 이러한 장점은 시계열에서 큰 힘을 발휘할 수 있었습니다. ODE는 하나의 방법론에 국한되는 것이 아니라 학습을 하는 개념으로써 받아들일 수 있다 생각을 했고 시계열 뿐만 아니라 다른 비전, 자연어 등 다양하게 적용될 수 있지는 않을까 생각을 했습니다.

이번 세미나에서는 Latent ODEs for irregularly-sampled time series 논문을 바탕으로 발표를 진행해 주셨습니다. 발표자님은 Data modeling에서 전통적으로 접근하고 있는 ‘curve fitting’ 과는 다른 ‘Slope fitting’이라는 새로운 관점을 제시하였습니다. 이는 특정 함수가 존재할 때, 이 함수를 최적화의 대상으로 생각하지 않고 특정 함수의 ODE, 즉 Slope를 최적화의 대상으로 하여 이 ODE를 학습한다라고 하는 것이며, 이러한 점이 NeuralODE의 핵심이라고 느껴졌습니다. 특정 함수의 ODE를 안다면, 결국 모든 지점에서의 Slope를 알게 됨으로써 모든 지점에서의 Original function을 근사해 낼 수 있어 결국 우리가 Modeling을 통해 하고자 했던 것을 해낼 수 있습니다. 이 논문에서는 이러한 NeuralODE를 Generative latent function time-series model에 사용하고 있습니다. 먼저 ODE를 parameterization을 하고, Runge-kutta, Euler method 등의 solver(output)을 학습하여 Latent trajectory를 얻습니다. 이후 만들어진 Latent trajectory를 활용하여 Generation을 진행하게 됩니다. 이러한 방법론을 통하여 불규칙하게 샘플들이 존재해도 연속적인 변화를 잘 학습할 수 있었고, 이에 Extrapolation의 성능이 우수함을 보였습니다. 배경지식을 자세하게 설명해 주셔서 이해가 수월했고 Time-series를 Generative하기 위해 ODE를 학습시키겠다라는 접근법이 신기하게 다가왔습니다. 이에 어떤 문제 해결을 위해서는 다양한 방법론을 생각할 수 있어야 한다는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 지속적으로 발표자님께서 소개하고 계시는 Neural ODE를 시계열 데이터에 적용한 논문이었습니다. 기존의 Neural Net 기반의 방법론들은 입력값을 출력값으로 맵핑하는 임의의 함수를 찾기위해 손실함수를 최적화하는 반면, Neural ODE는 직접 임의의 함수의 1계도 함수를 최적화 대상으로 삼고 있습니다. 이는 미분 방정식을 직접 모델링하는 것으로 미분 방정식을 ODE Solver를 통해 적분함으로써 입력값이 순차적으로 레이어를 통과하지 않고 직접 출력값으로 연결되도록 할 수 있습니다. 이를 통해 기존의 ResNet 등의 모델들이 discrete한 Depth-Model을 가정하는 반면 Neural ODE 모델들은 Continous Depth-Model을 이용할 수 있다는 장점을 가지게 됩니다. 곧 Irregular Interval을 가지는 시계열 데이터에 대해 원활한 Latent Representation을 생성할 수 있게 되고, 기존 Neural Net 기반의 방법론에 비해 좋은 성능을 보임을 알 수 있었습니다. 특히 Multi-Horizon을 예측해야 하는 태스크에서 Extrapolation을 우수하게 수행하는 모습을 볼 수 있었습니다. 당연하게도 목적함수를 최소화하는 과정을 통해 입력값-출력값의 관계를 모델링하는 함수를 학습하는 것이라 여겼던 개념에서 벗어나 직접 1계도 함수를 모델링한다는 점이 새로우면서 그 장점이 분명히 존재하는 것을 알 수 있었습니다. 실제 그 장점이 여러 태스크에서 어떻게 존재하는지는 와닿지 않지만 분명 유의미한 접근법인 것 같습니다. 좋은 발표 감사드립니다.

금일 세미나는 Timeseries data를 위한 ODE 방법론을 주제로 진행되었습니다. 외부일정으로 참석하지 못했지만 발표자료를 보고 흐름을 따라갈 수 있었습니다. Neural ODE는 기존의 Neural network가 학습해온 방식과는 다르게 학습할 모델을 함수 f로 정의하고 함수를 찾기위해 미분을 활용합니다. 데이터 모델링과 다르게 크게 NeuralODE와 LatentODE를 설명해주셨는데, 먼저 NeuralODE는 ResNet과 유사하게 slope fitting을 통해 모델링을 수행합니다. slope field에서 연속적인 flow를 찾아가는 과정을 통해 본 함수를 찾아갈 수 있으며 차원이 변하지 않는다는 장점을 가집니다. 다만 기존의 ResNet에서도 residual을 적용하는 과정을 통해 비슷한 접근방법으로 모델을 구축했습니다. 이와 다르게 Neural ODE는 continuous depth-model로서 continuous transformation 학습을 목적으로 가지게 됩니다. 동일한 주제를 여러번의 세미나에서 다른 시각으로 정리해주셔서 컨셉에 대해 점차 구체적으로 이해하고 있습니다. 오늘 소개해주신 모델은 LatentODE with ODE-RNN이라는 논문에서 제안되었습니다. 해당 모델은 기존에 제안된 Latent ODEs를 개선하고 ODE-RNN 구조를 활용하여 학습을 진행합니다. 제안된 모델은 irregular time-series 데이터에서 높은 성능을 보였습니다. hidden state간 continuous한 변화값을 학습하는 새로운 접근방법을 통해 time-series forecasting에서 높은 성능을 보인것이 인상깊었고, 추후 다양한 Task에 접목가능할 경우 어떤 효과를 보일지 궁금했습니다. 감사합니다.