금일 세미나 시간에는 ODE라는 재미있는 토픽을 주제로 Augmented Neural ODEs논문을 다루어 보았습니다. 세미나의 주요 목적인 ODE(Ordinary Differential Equation)은 어떠한 함수를 하나의 변수만으로 미분하는 미분방적식을 의미합니다. 본 세미나의 논문에서 다루는 Neural ODE 관련 연구들은 동역학을 통해 이러한 ODE로부터 원래의 본함수를 찾고자 하고 있습니다. 기존의 Euler method와 같이 근사하여 찾는 방법은 함수가 복잡할수록 더 많이 잘게 쪼개는 step이 필요하여, 그만큼 많은 연산량이 필요한 한계점이 있었습니다. 이를 2018에 소개된 Neural ODE에서는 res-net구조를 활용하여 hidden state로부터 미분으로부터 본 함수로 해석할 수 있는 transformation을 찾고자 하였습니다. Res-net의 독특한 residual-connection구조는 기존 Euler method의 step을 더해가는 과정을 연속적인 사슬의 residual block들의 transformation으로 표현할 수 있었습니다. 하지만, Neural ODE에서는 교차하는 함수를 표현할 수가 없어 우회하는 방식으로 풀게 되는데, 이과정에서 함수는 복잡해지게 되고, 이는 학습 연산량의 증가로 이어집니다. 따라서 Augmented Neural ODEs 에서는 학습과정에서 feature vector의 차원을 증강시켜 flow의 자유도를 확보하고자 하였습니다. 이결과 좀더 낮은 학습 연산량과 안정적인 학습이 가능하게 되었습니다. 하나하나의 슬라이드 모두 적절한 시각자료를 활용하였고 세미나자료 이외의 appendix의 내용들은 발표자가 정말 많은 시간을 가지고 본 세미나를 준비했음을 알 수 있었습니다. 정성스러운 세미나 자료 덕분에 비교적 생소한 ODE에 대해서 쉽게 다가갈 수 있었습니다. 마지막으로, 이러한 ODE 방법론들과 함께 불확실성(Uncertainty)개념을 함께 접목한다면 재미있는 연구도 될 수 있을 것 같은 추상적인 생각이 들기도 하였습니다.

이번 세미나에서는 Neural ODE와 더불어 해당 연구의 후속 연구로 진행된 Augmented Neural ODE에 대해 소개해 주셨습니다. 개인적으로 자연어 Token과 Embedding의 이산적/연속적인 특성에 대해서는 고민을 해 본 적이 있지만, 특정한 Model의 Layer가 이산적이라는 생각은 해당 논문을 접하기 전에 해 본 적이 없었는데, 발상 자체가 상당히 참신하게 느껴졌습니다. Neural ODE는 Deep Learning Model을 하나의 함수로 가정하고, Gradient를 이용하여 이산적인 방식으로 원 함수를 근사하는 방법은 큰 오차를 불러 일으킬 수 있음을 언급하고, ODE를 사용하여 이를 해결합니다. Neural ODE는 상당히 파격적인 문제 제안을 하였으나, ODE를 이용하여 근사할 수 없는 함수들이 존재함이 언급되었고, 이를 해결하기 위해 고차원으로 변환을 활용한 Augmented Neural ODE가 제안되었습니다. 아직까지 해당 방법이 널리 사용되고 있지는 않은 것으로 생각되지만, 수리적인 근거를 기반으로 기존 모델들의 한계를 명확히 지적하였기 때문에, 향후 많은 발전이 있지 않을까 하는 생각이 듭니다. 좋은 발표 감사합니다.

어렵고 익숙하지 않은 개념인 Neural ODE에 대한 세미나였습니다. 세미나만 듣고서도 Neural ODE의 concept을 이해할 수 있어서 좋았습니다. 개인적으로는 input space가 연속적이다/이산적이다에 따른 이점과 한계점들에 대한 연구는 많이 접할 수 있어서 익숙한데, model space가 이산적인지 연속적인지를 드러내는 연구는 처음 접하는 것 같습니다. 그리고 한 번도 모델이 이산적이다는 인지를 못 하고 있었는데 이 부분만으로도 충분히 신선했습니다. 실험 결과는 기존의 모델들에 비해 많이 좋지 못했지만 교수님 말씀처럼 Neural ODE가 가지는 장점을 드러낼 수 있는 분야의 실험이 추가된다면 조금 더 Neural ODE의 강점을 알 수 있지 않을까 라는 아쉬움이 있었습니다. 논문의 컨셉이나 NeurIPS 컨퍼런스의 특성상 수학이 많이 어려웠을텐데 청자도 이해할 수 있게끔 발표해주셔서 감사드립니다. 그리고 Appendix 퀄리티가 너무 좋은 것 같습니다.

Neural ODE 에 대한 논문 이였습니다. 오일러 method 에 대한 기본적인 개념부터 시작하여 기본개념을 잡아주는 점이 매우 좋았습니다.
수식에 대한 논문은 기본개념부터 공부해야 완전한 이해를 할 수 있는데, 발표자는 이를 위해 발표자료를 매우 열심히 준비 했습니다.
Neural ODE 는 역전파를 위한 중간 값들을 유지할 필요가 없기 때문에, 공간,시간적 Complexity 가 낮다는 특징이 있습니다.
같은 차원에서 forward pass 과정이 유지된는것이 두번째 특징인데, 해당 내용은 아직 완벽하게 이해하지 못해, 좀더 공부가 필요할 것 같습니다.
연속적인 데이터(수치형) 데이터에 대해서 위와 같은 방식이 더 적합할 것으로 판단되는데, 관련된 데이터셋으로 위 방식을 적용해서 실험해본다면,
좋은 결과 나올 것 같습니다.

금일 세미나 시간에는 ODE의 단점을 Augmentation 방법을 활용하여 극복한 Augmented Neural ODEs논문을 소개해 주셨습니다. 기존 Neural ODE는 Residual Connection과는 다르게 여러개의 Discrete Transform을 통해 Original Fucntaion을 근사하지 않고, Contious 상에서 미분을 통해 근사할 수 있다는 장점을 갖고 있습니다. 하지만 고정된 차원에서 ODE를 이용하여 풀지 못하는 함수들도 존재합니다. 이를 극복하고자 ODE는 증강된 차원에서 ODE를 적용합니다. 그럼으로써 ODE를 이용하여 못푸는 문제에도 적용이 가능하며, FLow의 자유도를 증가시켜 ODE를 푸는 시간을 단축시켰습니다. 해당 방법은 SVM에서 Kernel을 이용하여 증강된 차원에서 분리하는 모습과 매우 흡사하다는 생각을 하였습니다. 해당방법론은 Flow based Generation에 많이 쓰인다고 하였는데, 이미지나 음성에서 잘 활용될 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Neural Network의 새로운 학습 개념을 제시한 Neural ODE와 후속 논문인Augemented Neural ODEs에 대한 발표를 진행해 주셨습니다. 데이터의 변화가 연속적이라고 생각하여 미분방정식을 통하여 해결하는 과정을 테일러 전개와 Euler method와 함께 상세하게 설명해 주셔서 이해하는데 큰 도움이 되었습니다. 또한 후속 연구인 차원 증강을 통하여 Neural ODE의 한계점을 보완한 Augmented Neural ODE 논문은 표현하지 못하는 함수를 차원증가를 통하여 자유도 증가시켜 학습하는 개념이 신선하게 다가왔습니다. Appendix로 첨부해 주신 내용은 자료만 읽어도 이해가 될 수 있도록 단계별로 잘 정의되어 있어서 이해하는데 많은 도움이 되었습니다. 좋은 발표 감사드립니다.

조금은 낯선 ode 개념에 대해 친절하게 잘 설명해주셨습니다. 물체의 변화 속에서 본 함수를 찾아간다는 과정에서 ode와 residual connection을 연결짓는 설명이 인상깊었습니다. Discretized 형태의 일반적인 딥러닝과 continuous 형태의 ode의 차이에 대한 설명을 들었지만 실험 결과를 포함해서 아직은 그 잠재력에 대해 충분한 매력을 느끼지는 못한 것 같습니다. 기존 ode가 선형분리가 되지 않는 상황에서 적용되지 않는 점을 지적하며 등장한 augmented ode의 경우 고차원의 매핑을 수행할 때 kernel mapping을 사용하지 않는 점도 개인적으로는 의아했습니다. 널리 알려진 방법을 사용하지 않은 이유에 대해서도 논문에서 명시를 하면 좋았을 것 같습니다. 어려운 개념을 예시까지 꼼꼼히 들면서 설명해주신 발표자분께 감사드립니다.

오늘 세미나는 NODE의 한계점을 해결하는 ANODE에 대해 소개해주었습니다. NODE는 모델을 학습하는 기존의 방식과 달리 continuous하게 모델을 학습하기 위한 방법론입니다. NODE는 학습 과정에서 차원이 그대로 전파된다고 하였습니다. 처음에 들었던 생각은 과연 continuous한 것이 어떤 의미가 있는지에 대한 의문이 많이 들었습니다. 이미지 데이터를 포함해 많은 비정형 데이터는 raw 데이터 자체로는 vector 공간상의 의미가 없다고 생각하기 때문입니다. 유의미한 feature를 뽑아 representation vector를 학습할 수 있기 때문에 기존의 딥러닝이 이런 데이터에 대해서 높은 성능을 가진다고 생각합니다. 그런 의미에서 NODE는 이러한 강점을 오히려 억제하는 것이 아닌가라는 생각을 하였습니다. 실제로 이미지 데이터에 대한 성능이 많이 떨어지는 것으로 보아 어떤 근본적인 문제점이 존재하는 것이 아닐까에 대한 생각을 하였습니다. 오늘 세미나는 새로운 연구 분야에 대해 알 수 있었고, 많은 생각을 하게 되어 유익한 시간이었습니다. 좋은 발표 감사드립니다.

이번 세미나 시간에는 "Augmented Neural ODEs"이라는 논문을 다루어 주셨는데요. 본격적인 논문을 다뤄주기 전에 ODE라는 개념은 상세하게 설명해주셨습니다. 정말, 미·적분이라는 개념을 오랜만에 보게 되어 반가웠는데요. ODE는 Ordinary Differential Equation은 종속변수(y)를 독립변수(x)에 대해 미분한 도함수를 포함하는 미분방정식을 의미합니다. ODE는 동역학에서 주로 따온 개념인데, 동역학은 물체의 변화(미분방정식)에서 물체의 운동(본 함수)를 찾고자 합니다. 여기서 말하고 있는 동역학이란, 우리가 미분에서 쓰는 근사(Approximation)을 말하는 것같은데 이를 우리가 딥러닝에서 알고 있는 ResNet과 동일하다고 볼 수 있는 점이 매우 신기했습니다. ODE를 풀기 위해 오일러 공식을 쓰게 되는데 이러한 방법은 복잡할수록 더 많이 잘게 쪼개는 step이 필요하여, 그만큼 연산 Cost가 많이 필요한 한계점이 있었습니다.

2018년에 소개된 Neural ODE에서는 Input Data에 대한 ODE를 수행하는 Forward Pass와, Gradient에 대하여 ODE를 수행하는 Backward Pass가 존재하게 되는데, 이때 Continuous한 flow가 들어가기 때문에 중간 값을 유지할 필요가 없어 memory cost 낮고, 차원이 변하지 않으며, 파라미터의 개수가 동일하다는 특징을 가지고 있습니다. 하지만, 이러한 Neural ODE도 문제가 존재했는데 이는 교차하는 함수를 표현할 수가 없어(Linear), space dimension을 유지한체로 우회(Curve)를 하는 방식으로 풀게 되는데, 이러한 과정에서 함수는 복잡해지게 되고, 이는 학습 연산량의 증가로 이어진다는 단점이 존재하였습니다.

따라서 Augmented Neural ODEs 에서는 학습 공간의 증강된 차원으로 flow의 자유도를 확보하고자 하였습니다. 이러한 결과 (1) 빠른 학습, (2) 낮은 연산 Cost, (3) 높은 Generalization 성능 (4) 효율적인 Parameter 사용 (5) 안정적인 학습이 가능해졌습니다. 아직까지 성능이 조금 아쉽고, overfitting이 된다는 단점이 존재하나 충분히 Neural ODE로도 이러한 task를 수행할 수 있다는 것을 알게된 좋은 세미나였던 것 같습니다. 지금은 아직까지 핫하진 않으나 미래에는 충분히 많이 연구되고 흥행할 분야일 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 2018년 NeurlPS best paper인 Neural ODEs의 후속 연구인 Augmented Neural ODEs를 주제로 진행되었습니다. 본 논문으로 들어가기 앞서 ODEs와 Neural ODEs에 대해 소개해주셨습니다. Ordinary Differential Equation은 continuos한 데이터를 discrete하게 계산했던 기존 Neural Network와는 다르게 Euler method 같은 ODE solver를 이용하여 continuos하게 처리하고자 하였습니다. Neural ODEs는 역전파를 위한 중간 값들을 유지할 필요가 없어 메모리 cost가 낮고 input, output, 변화 과정 모두가 같은 차원내에서 이루어지며, depth와 무관하게 파라미터 갯수는 일정하다는 장점이 있었습니다. 하지만 한 포인트에서 2개의 방향벡터를 가져야하는데 1개의 slope만 갖을 수 밖에 없기 때문에 한 차원에서만 교차하는 경우가 생길 수 있는데 이를 피하고자 우회하게끔 계산이 되며, 이는 매우 복잡한 함수로 representation되어야만 하므로 evaluation이 급격하게 증가한다는 단점이 있습니다. 이를 해결하고자 본 논문은 차원을 증강시켜 문제를 해결하고자하였습니다. 원데이터를 original space에서 augmented space로 증강시킨 뒤에 Neural ODEs를 진행하여 이 문제를 해결하였습니다. classification등의 성능에서는 매우 낮지만 latent vecotr, space를 찾는 과정에서는 좋은 성능을 내는 것으로 보였습니다. 하지만 overfitting이 잘 일어날 것 같으며, 일반화 성능에 대해 논란이 있을 것이라고 생각됩니다. Neural ODEs에 대해서는 수학적 근거를 바탕으로 현 Neural network에 대한 의구심과 발전 가능성을 시사하는 것 같습니다. 아직 복잡한 모델에 적용시킬만큼 많은 연구가 진행되지 않았지만 향후에 Neural ODEs가 가져올 발전이 기대됩니다. 또한 제가 강화학습에 관심이 많은데 value function과 policy optimization에 대한 접근에 ODE를 적용한다면 어떠한 결과가 나타날지 궁금해졌습니다. 수식이 많고 굉장히 어려운 내용인데 이해가 잘가게 설명해주셔서 감사합니다.

이번 세미나는 augmented neural ODEs 에 대한 세미나입니다. 이는 기존 Neural ODE의 단점을 해결하기 위해 제안된 방법으로, continuous 한 데이터를 discrete하게 layer를 두어 취급한다는 것이 아니고 그대로 continuous하게 취급한다는 것입니다. 결론적으로 NODE가 표현하지 못하는 함수가 존재하며, 이는 학습하는데 cost의 증가로 이어집니다. 따라서 이를 해결하기 위해 학습 공간의 차원을 증강시켜 더욱 다양한 함수를 선형적으로 간단하게 표현하고, 기존보다 더 빠르고 안정적으로 적은 연산 cost로 학습을 한다는 특성을 갖는 모델입니다. 하지만 발표자께서 언급해주셨듯이, 과적합의 위험이 보인다는 점에서 위험할 수 있다는 생각이 듭니다. 기존 방법론에 대한 자세한 설명과 appendix로 그 외 수식들을 잘 설명해주셔서 매우 이해가 잘되었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Augmented Neural ODEs"라는 주제로 진행되었습니다. 발표는 Neural Network의 학습 구조에 대한 새로운 개념을 제시한 Neural ODE와 Neural ODE의 한계점을 보완한 Augmented Neural ODEs를 중심으로 진행되었습니다. 개인적으로 Ordinary Differential Equation를 적용한 모델을 처음 접하였는데 continuous data를 discrete layer로 구성된 모델이 아닌 continuous하게 학습하고자 하는 시도가 매우 신선하다고 생각했습니다. 본 논문에서 제안한 방법론의 경우 매우 다양한 수학적 방식들이 neural network에 접목되었는데 이 점들이 본 논문에서 새로운 시각을 제시하는데 많은 도움이 된 것 같고, 특히 물체의 변화 속에서 함수를 찾아간다는 과정에서 ODE와 딥러닝의 residual connection이 연결되는 부분이 인상적이었습니다. 방법론의 경우 매우 새로운 부분이 많고 수학적인 부분을 기존 딥러닝에서 사용되는 방식들과 연결지어 새로운 시각으로 모델을 바라본 점이 매우 흥미로웠지만, 실험 부분에서는 이러한 시각에 대한 성능을 입증하는 부분이 적어 개인적으로 아쉽다고 느껴졌습니다. 더불어 발표자료의 경우 Appendix가 매우 자세하게 구성되어 있어 발표 내용을 이해하는데 도움이 많이 되었습니다. 좋은 발표 감사합니다.

본 세미나는 기존 딥러닝 학습 방법인 미분 값을 사용하여 반복적으로 함수를 Update를 하는 방식을 Ordinary Differential Equation으로 본함수를 근사하는 방식에 대해 다루었습니다. 즉 Hidden state의 변화에서 본함수를 찾고자 하는 방식이며 Neural ODE는 미분방정식에서부터 euler method를 Neural Network에 적용한 것이라 할 수 있습니다. 해당 방식은 역전파를 위한 중간 값들을 유지할 필요가 없어 낮은 메모리를 달성할 수 있으며, 기존 학습방식은 Layer마다의 파라미터가 제각각이지만 Neural ODE는 하나의 방정식으므로 파라미터가 동일하게 되어 간결한 모델을 구성할 수 있습니다. 하지만 Neural ODE로 인해 표현하지 못하는 함수들이 존재하고, Feature 표상을 표현할 수 있더라도 학습을 위한 비용이 오히려 높아지게 되어 Augmented Neural ODE를 제안합니다. 이는 단순히 학습 공간의 차원을 증가시켜 자유도를 증가 시키며 빠른 학습, 높은 일반화 성능 및 다양한 장점을 제공합니다. 확실히 본 세미나는 기존에 많이 익숙해진 분야와 괴리가 커서 이해가 매우 어려웠지만 발표자분께서 가장 간결하게 설명해주셔서 감사합니다.

이번 세미나에서는 Neural ODE에 대한 자세한 설명과 Neural ODE가 갖는 한계점을 극복하고자 제안된 Augmented Neural ODE라는 논문에 대해 소개해주셨습니다. 사실 Neural ODE는 굉장히 낯선 개념이라 한 번의 세미나로 이해할 수 있을까 했는데, 발표자분의 자료가 워낙 자세하고 꼼꼼하게 작성이 되어 수월하게 이해하였습니다. 기본적인 아이디어는 resnet과 같이 residual connection이 존재하는 모델에 있어서 "변화량"을 추정하는 데 상미분방정식 기반의 모델링을 수행합니다. 이 때 모델의 forward-pass 시 오일러 방정식을 이용하여 포인트들을 예측하게 되며 back propagation을 통해 업데이트를 거치게 됩니다. 결과적으로 신경망 모형이 파라미터를 추정하는 것과 목적은 동일하나 그것을 위한 모델링이 미분방정식을 통해 하나의 함수를 예측하는 과정이라고 할 수 있는데, 사실 이게 성능이 좋나? 오버피팅이 되지는 않을까? 하는 의문이 많이 들었습니다. 실제로 성능이 크게 좋지는 않다고 하나, 계산량 관점에서 신경망에 비해 훨씬 메모리가 적게 드는 장점이 있다고 합니다. 또한 오버피팅을 해결하고자 augmented neural ODE가 제안되는데, 커널 함수를 정의하여 데이터 포인트를 보다 고차원으로 맵핑한 뒤 neural ODE를 수행함으로써 추정된 모델이 지나치게 높은 order가 되지 않도록 합니다. 낯선 개념에 대해 굉장히 자세하게 설명해 주셔서 감사합니다.

오늘 세미나는 Augmented NeuralODEs 를 주제로 진행되었습니다. 오늘 핵심적으로 다루어지는 개념인 NeuralODE는 제게는 매우 생소한 개념이었습니다. 하지만 발표자분께서 굉장히 차근차근 설명해주셔서 세미나를 통해 전달하고 싶으셨던 내용을 충분히 이해할 수 있었습니다. 개인적으로는 해당 논문에 관심을 가진 계기나 분야를 알게된 background가 매우 궁금했습니다.

해당 발표가 정말 흥미롭게 느껴졌던 이유는, Deeplearning과 동일한 목표를 가지지만 다른 접근방법을 취하는 방법론이었기 때문이기 때문이었습니다. 이러한 논문은 진입장벽이 매우 높아 쉽게 접하기 어렵지만 세미나를 통해 간접적으로 알 수 있게 되어 큰 도움이 되었습니다. 특히 8페이지에서 ODE를 사용하는 이유를 짚어주셨는데 NN의 한계를 알 수 있었습니다. 전반적으로 발표의 흐름이 탄탄하고 체계적이어서 처음 보는 분야임에도 불구하고 포인트를 놓치지 않고 따라갈 수 있었습니다.

특히 Transformation이 연속 or 이산적인지 예시를 통해 구분해주셨는데, 평소에 생각해보지 못했던 부분이라 흥미롭게 들을 수 있었습니다. 다만 모든 연산을 ODE로 대체할 수는 없고, ODE 구간에서 사용되었으며 이 부분을 잘 구분해야 할 것 같습니다. Neural ODE는 교차하는 함수를 표현하지 못하기 때문에 Augmented Neural ODE가 제안되었습니다. 고차원으로 값을 mapping하여 사용하는 기법은 저희가 자주 아는 Kernel함수와 유사하다고 이해하였습니다.

저는 발표자료를 구성할때 최대한 수식부분을 스스로 이해한 후 발표자료에서 제외하고 예시로 정리하였습니다. 하지만 이번 발표를 통해 수식 자체로 설명을 진행하는 것도 굉장히 좋은 발표가 될 수 있겠다는 생각을 하게 되었습니다.

정말 훌륭한 발표였습니다 🙂 감사합니다.

금일 세미나는 “Augmented Neural ODEs”를 주제로 진행되었습니다. Neural ODE라는 다소 생소한모델을 접하게 되었는데, 이에 대한 배경과, Neural ODE에 대한 충분한 설명을 해주신 후 Augmented Neural ODE에서 대해 소개해주셨습니다. 먼저 기존 딥러닝 모델들은 layer들이 이산적으로 구성되어있다는 가정 하에 모델을 구성합니다. 반면 본 논문에서 핵심이 되는 Neural ODE는 Neural Network 내 데이터 변화를 연속적으로 간주합니다. ODE를 통해 전체 함수를 모사하고, 이는 Neural ODE에서 추구하고자 하는 연속적인 변화를 찾아내는 것을 의미합니다. Neural ODE는 모델 depth와 관계없이 파라미터 개수가 일정하여 구조적으로 장점을 갖습니다. 하지만 Neural ODE만으로는 표현할 수 없는 함수들이 있기 때문에 이를 고차원으로 매핑시킴으로써 앞서 언급한 문제를 해결합니다. Augmented Neural ODE는 저차원에서 풀 수 없는 문제를 해결하기 위해 고차원으로 매핑하는 kernel trick과 유사하다고 느껴졌습니다. 또한, 당연하다고 생각했던 layer에 대한 가정을 이산적/연속적이라고 나누어서 생각한 부분이 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Augmented Neural ODEs에 대해서 발표해주셨습니다. 종속변수와 독립변수의 관계를 미분으로 표현하는 ODE부터 오일러방법까지 단계적으로 설명해 주셨습니다. 오일러방법은 특정 function을 변화량으로 세부적으로 표현하는 수식을 가졌는데 이 개념을 resnet의 잔차를 최소화하는 목적에 적용한 논문이었습니다. Neural ODE는 변화량에 대한 방정식을 계산하기 때문에 잔차에 대한 중간결과물을 미리 저장할 필요가 없어 메모리가 적게 드는 장점을 가졌습니다. 하지만 Neural ODE는 복잡한 차원에서 표현되기 힘든데 augmented Neural ODE는 이를 선형분리 가능하도록 고차원 맵핑을 통해서 이 단점을 극복하고자 하였습니다. 이부분은 마치 kernel machine에서 사용되는 kernel trick과 유사하다고 느껴졌습니다. 제가 이해한 바로는 고차원 맵핑을 통한 방법론은 분류 성능이 매우 뛰어나지만 과적합 위험이 있고 order를 tuning하기 어렵다고 생각합니다. 제안모델의 실험결과 또한 일반화성능이 낮게 나왔다는 점에서도 같은 맥락인것 같습니다. 뉴런넷 자체가 고차원맵핑을 사용하는 model space인데 이런 동일한 목적을 가지는 구조가 논리적인지 의문이 남습니다. 좋은 발표 감사합니다.

오늘 세미나 주제는 Augmented Neural ODEs 논문입니다. ODE는 도함수를 포함하는 방정식 중 미분하는 변수가 하나인 상미분 방정식을 의미합니다. 이 ODE를 인공 신경망에 적용하여 이산적인 layer 구조를 가정한 기존의 인공신경망과 다르게 연속적인 구조로 데이터를 처리하고자 하였습니다. 연속적인 변화 FLOW를 미분방정식 ODE를 푸는 것으로 찾아내고자 합니다. 이를 동역학과 비교하여 설명해주셨고, 순간 변화에서 본 함수를 찾고자하는 ResNet과 비교하여 설명해주셨는데, 기본 원리는 공통적이지만 Neural ODE는 함수 추적 과정이 연속적으로 이루어진다는 점에서 차이가 있습니다. 하지만, Neural ODE가 표현하지 못하는 함수들이 있는데, 이를 해결하기 위해 함수를 증강된 고차원 공간 속에서 표현하여 풀고자 하는 Augmented Neural ODEs가 제안되었습니다. 발표해주신 여러 Neural ODE의 장점 중, 개인적으로 가장 공감이 갔던 큰 장점은 낮은 parameter 수 인 것 같습니다. 성능적인 측면에서는 아쉬움이 있었지만, 딱히 의심없이 사용해오던 이산적인 layer 구조를 연속적으로 풀고자 하는 아이디어가 매우 신선했고, 지금까지 접해보지 못한 완전히 새로운 Neural Net 접근 방식이라 흥미롭게 들을 수 있었습니다. 수식이 많아 내용 전달이 힘들었을 텐데, 자세한 예시와 함께 쉽게 풀어 설명해주셔서 처음 접하는 개념이라도 잘 팔로우업 할 수 있었던 것 같습니다. 좋은 발표 감사합니다.

오늘 세미나는 Neural ODE의 후속 연구인 Augmented neural ODEs에 대한 내용으로 진행되었습니다. 기존의 neural net과 dynamics는 어떤 변화량을 이용해 본 함수를 찾아간다는 점에서 공통점이 있는데, 변화량을 나타내는 미분방정식에서부터 euler method를 사용한 적분을 통해 본 함수를 복원하고자 하는 과정을 neural network에 적용한 것이 neural ODE입니다. euler method를 통한 적분은 slope field에서 무조건 1개의 slope를 가지며, 연속적인 slope를 가지기 때문에 연속적인 ground truth function을 모사할 수 있게 됩니다. 반면,residual connection은 discrete한 transformation에서의 euler method라고 할 수 있는데, neural ODE는 이러한 network에서의 forward와 backward 연산을 모두 ODE로 대체한 network를 말합니다. Nerual ODE는 하나의 원 함수를 찾아가는 과정이기 때문에 layer마다 parameter가 다른 기존의 NN과 달리, 하나의 함수에 대한 고정된 개수의 parameter를 update하는 방식인데, 한가지 단점은 neural ODE는 같은 차원에서 교차하는 함수를 추정할 수 없다는 점입니다. 그 이유는 교차하는 지점에서 slope를 2개 이상 가져야 하는데, ODE 특성 상, 각 지점에서 단 하나의 slope를 가지기 때문입니다. 이 교차를 표현하기 위해서는 우회하도록 추정해야 하기 때문에 computation complexity가 급격히 높아져 효율이 떨어지게 됩니다. 또한 동심원 형태의 classification의 경우, 이 또한 교차가 일어나기 때문에 전자와 같은 이유로 ODE로 해결하기 어려워집니다. 이러한 문제를 해결하기 위해 dimension augmentation을 도입한 것을 Augmented Neural ODE입니다. dimension augmentation은 원래 차원보다 높은 차원으로 보내 이 공간에서 ODE수행하게 하는 방법으로, cost나 generalization, 안정성 측면에서 기존 neural ODE보다 강점을 가집니다. neural ODE에 대해서 많이 접해보지 않았는데, 개념을 단계적으로 자세히 설명해주셔서 이해에 큰 도움이 되었습니다. neural network가 하고자 하는 function 추정을 좀 더 근본적인 수학적 방법으로 회귀하여 해결하려고 한 것 같습니다. 좋은 발표 감사합니다.

오늘 세미나는 Neural ODE 분야에서 기존에 Neural ODE가 가지는 한계점을 해결하기 위해 새로운 방법을 제안한 Augmented Neural ODEs라는 논문에 대해 소개해 주셨습니다. Neural ODEs는 2018년도 NIPS에 best paper로 선정되고 나서부터 최근까지 관련된 방법들이 꾸준히 개선되어가고 새롭게 제안된 방법입니다. Neural ODEs의 가장 큰 장점으로는 continuous data를 discrete하게 layer를 구성하여 모델을 학습하는 것이 아닌 continuous 하게 모델을 학습하는 방법입니다. 상미분방정식을 가정하여 구조를 만들고 이를 학습하기 위해 forward/backward 과정에서 ODE solver 중 대표적인 Euler method를 적용합니다. 본 논문에서는 기존 Neural ODEs가 가지는 문제점 중 하나로 Nonlinear 한 데이터 공간에 대해서는 문제를 풀기 위해 수많은 evaluation을 거쳐야 하므로 그만큼 학습 cost가 증가해야만 하다고 주장하고 이를 해결하기 위해 새로운 차원으로 augment하는 방식으로 적은 evaluation 만으로 학습이 가능함을 보였습니다. Neural ODEs에 대한 내용은 새롭지만 아직까지 benchmark dataset에 대한 성능이 SOTA 모델에 비해 많이 못미치고 학습을 위해 모든 모델 구조를 ODE만으로 구성하는 것이 아니기 때문에 Neural ODE 자체가 가지는 장점에 많이 공감할 수 없었습니다. 또한 Neural ODE는 continuous한 데이터를 continuous하게 푸는 것이 핵심이지만 실험 데이터가 이미지 데이터여서 이와 관련된 장점을 확인하기 어려웠다고 생각이 됩니다. 다음에 기회가 된다면 Time series 데이터와 같은 연속성이 있는 데이터에 대한 연구를 들어볼 수 있었으면 좋겠습니다. 첫 세미나 발표임에도 차분하게 모든 질문에 답변해주시고 Appendix로 예상 질문에 대해 준비된 모습이 인상 깊었습니다. 좋은 발표 감사드리며 앞으로도 기대하겠습니다.