금일 세미나는 Denoising Diffusion Probabilistic Models를 주제로 진행되었습니다. 최근 diffusion model이 다양한 task에서 좋은 성능을 보이고 있으나, 정확히 공부하지 못했었는데 세미나를 통해 배울 수 있어 유익했습니다. 먼저 basic한 diffusion 모델에 대해 설명해주셨습니다. forward에서는 time step에 따라 gaussian noise를 주입하고 반대로 reverse process에서는 noise를 제거해가며 output을 생성하고, 0 시점의 값들을 사용하여 둘 사이의 차이를 reconstruction loss로 정의했습니다. 그 후 denoising diffusion model에서는 기존의 regularization term을 제외하고 denoising process를 재 정의하여 모델을 발전시켰습니다. DDPM은 mean function에 대해서만 학습을 진행하게되는데, 이는 기존에 학습을 진행했던 varianve function을 상수화 하기 때문이며 이를 통해 기존에 정의한 denoising process를 재구성하였습니다. 따라서 mean function을 학습하기위해서는 특정 time step의 Noise임을 알 수 있었습니다. DDPM의 목적이 “각 시점의 다양한 scale의 gaussian noise를 예측하여, denoising에 활용하는 것” 이라 정리해주셔서 새로운 목적식의 의도와 수식의 전개방향을 이해할 수 있었습니다. 좋은 발표 감사드립니다.

금일 세미나에서는 NeurIPS 2020에서 발표된 Denoising Diffusion Probabilistic Model (DDPM) 에 대해 살펴보았습니다. 개인적으로는 다른 생성 모델들보다 GAN의 성능이 좋은 것을 보고, 이미지에서 representation을 뽑는 방법론은 생성모델로써 한게가 있다고 생각했었는데 diffusion model이 GAN을 beat했다는 결과들을 보고 꼭 그렇지만은 않다는 것을 알게 되었습니다. 이 또한 CNN과 ViT의 관계처럼 연구마다 결과가 달라지겠지만 개인적으로는 매우 흥미로운 결과였습니다. 생각을 조금 해보면 기존의 방법론들은 이미지로부터 representation을 추출하기 위해서 반드시 파라미터를 학습해야 했지만 diffusion model은 이 부분이 학습이 아닌 계산으로 대체되어 그만큼 안정적이며 그 결과 또한 isotropic gaussian하기 때문에 representation 생성에 매우 유리합니다. DDPM에서는 기존의 목적식에서 정규화 텀을 제외하고 분산 텀을 상수화 시킵니다. 이 과정을 통해 결과는 기존과 매우 유사하되, 학습을 보다 안정적으로 진행할 수 있게 되었습니다. 또한 평균 텀을 denoising matching function으로 새롭게 정의하는데 이를 통해 다양한 크기의 가우시안 노이즈를 고려하여 denoising을 할 수 있도록 합니다. 사실 NeurIPS에 발표되는 여러 논문들처럼 본 논문도 실험 결과가 중요한 연구는 아니라는 생각이 들었습니다. 문제를 해결하는 방법이 합리적이고 수학적으로 깔끔한 것 같아 재밌었습니다.

금일 세미나는 "Denoising Diffusion Probabilistic Model" 논문에 대해 소개해 주셨습니다. Diffusion 관련된 내용이 최근 생성 모델에 많이 등장하고 있어서 간단히만 알고 있었는데 자세히 과정을 설명해 주셔서 Diffusion이 가정하는 것이 무엇인지와 forward / backward process에 대해 전반적으로 알 수 있는 기회었습니다. Diffusion process에서는 noise를 주입하는 과정에서 모델이 활용되는 것이 아닌 정해진 schedule에 따라 진행되고 backward process에서 주입된 noise를 추정하며 지워가는 과정으로 진행됩니다. 기존에 다른 분야에서 정의된 개념을 잘 적용하여 수식을 단순화하는 과정이 인상깊었던 논문이었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Denoising Diffusion Probabilistic Model (DDPM) 논문을 다루어 주셨습니다. Diffusion process 중 forward process는 미세한 gaussian noise를 점진적으로 추가하며 noise화되는 과정입니다. 이러한 과정을 통해 단계적으로 gaussian noise를 가지는 다수의 latent variable들을 얻게 됩니다. reverse process는 반대로 gaussian noise를 제거해가며 특정한 패턴을 만들어가는 과정입니다. 해당 논문에서는 gaussian noise를 제거하는 과정상에서의 Markov chain이 gaussian noise를 추가하는 과정상에서의 Markov chain을 보고 학습하고자 한다는 내용을 다루고 있습니다. Diffusion model과 관련하여 단계적으로 잘 설명해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다!

금일 세미나는 "Denoising Diffusion Probabilistic Model"라는 주제로 진행되었습니다. 본 발표에서는 diffusion model에 대한 개요와 해당 모델을 활용한 Denoising Diffusion Probabilistic Model이 소개되었습니다. 먼저 diffusion model은 forward pass의 diffusion process와 reverse pass로 구성되어 있으며, diffusion process의 denoising reverse 과정을 학습하는 것을 통해 데이터의 생성 모형으로서의 역할을 수행합니다. 해당 모델을 기반으로 하는 Denoising Diffusion Probabilistic Model은 encoder의 regularization loss, denoising process loss, decoder의 reconstruction loss로 구성되어 있는 기존의 diffusion loss에서 regularization loss를 제외하고 denoising process loss를 재구성하는 방법을 통해 loss term을 간단하게 재정립하였습니다. 이 과정에서 denoising process loss를 재구성하는 과정이 본 논문에서 제안한 모델이 지향하는 바를 잘 나타냈다고 생각합니다. 세부적으로 본 논문에서는 denoising process loss의 variance function을 상수화하고 mean function을 noise를 예측하는 loss로 새롭게 정의하였고, 이러한 과정을 통해 각 시점의 다양한 scale의 Gaussian noise를 예측하여 이를 denoising에 활용하고자 하였습니다. 개인적으로 오랜만에 새로운 모델 구조가 아닌 수학적인 내용에 초점을 맞춘 모델을 접하게 되어 좋았고, diffusion model을 time-series analysis 모델들에 적용하는 방법에 대해 고민하는 시간을 가질 수 있어 좋았습니다. 좋은 발표 감사합니다.

본 세미나에서는 Denoising Diffusion Probabilistic Model 이라는 주제의 논문을 리뷰 하였습니다. 대표적인 Generative model의 방법론인 VAE, GAN, Flow-based Model 과 본 논문의 방법론인 Diffusion based model에 대한 내용을 다뤄주셔서 generative model 방법론의 발전 과정을 알 수 있었습니다. 본 논문의 방법론인 diffusion model도 일반적인 generative model과 마찬가지로 패턴을 고의적으로 무너트리고, 이를 다시 복원하는 구조로 학습을 진행합니다. 패턴을 무너트리는 과정에서 diffusion process를 사용합니다. 수학적인 내용이 많이 들어가는 부분이라 어렵긴 하였지만 차근 차근 설명을 해주셔서 따라갈 수 있었습니다. 또한 diffusion model을 통해 이미지가 무너지고 복원 되는 과정을 gif를 통해 보여준 장표가 인상적이었습니다. 많은 분량의 내용을 깔끔하게 정리하여 발표해 주셔서 감사합니다.

이번 세미나에서는 Diffusion process를 주제로 한 Denoising Diffusion Probabilistic Model 이라는 제목의 논문이 소개되었습니다. 이는 생성모델(generative model) 중 하나로 이때 diffusion은 특정한 패턴이 확산되어 의미없는 형태로 변형되는 과정을 의미합니다. 마치 용질이 용매에 퍼져나가는 것 같은 현상으로 궁극적으로는 diffusion을 통해 사라진 패턴을 복원하도록 학습하는 것을 목표로 하는 것입니다. 그래서 패턴을 무너뜨리는 과정과 이를 복원하는 과정으로 이루어져 있음을 알 수 있습니다. 어쩌면 VAE와도 유사한 구조를 가진다고 볼 수 있는데 VAE는 하나의 latent variable을 활용하는 반면 Diffusion 모델은 sequential 한 여러 개의 latent variable을 활용하게 됩니다. 생성모델이란 결국 확률 분포를 학습하는 것이기 때문에 충분히 Diffusion 모델이 합리적이라 생각이 됩니다. 특히 Denoising Process의 목적식을 재구성하는 부분을 상세하게 잘 설명해주셔서 흥미롭게 들을 수 있었습니다. 유익한 발표 감사합니다.

이번 세미나에선 Denoising Diffusion Probabilistic Model 를 주제로 발표가 진행되었습니다. Diffusion model 은 이미지 생성, 변환 등의 task 에서 GAN 기반 모델의 성능을 뛰어넘었기에 최근 주목 받고 있는 방법론입니다. Diffusion model 은 forward, backward diffusion process 로 구성되며 forward 단계에선 입력 이미지에 노이즈를 반복적으로 추가하여 입력 이미지와는 독립적인 가우시안 노이즈 이미지를 생성하고, backward(reverse) 단계에선 forward 단계에서 주입했던 노이즈를 denoising 할 수 있도록 모델이 학습됩니다. 이번 세미나를 통해 기존 diffusion model 의 목적식과 DDPM 에서 이 식이 어떻게 정리되었는지를 단계적으로 접해볼 수 있었고 발표자분의 설명으로 이해하는 데 많은 도움이 되었던 것 같습니다. 항상 쉽지 않은 내용들을 잘 소개해주셔서 유익한 세미나가 되는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서 소개된 논문은 denoising diffusion probabilistic models 입니다. 본 논문의 DDPM 모델은 각 시점의 다양한 scale의 gaussian noise를 예측해, denoising에 활용하고자 합니다. Diffusion process는 VAE 모형과 비슷하지만, 패턴을 무너뜨리고 복원하는 과정이 단계적이고 연속적인 Markov process로 이루어져 있습니다. DDPM에서는 기존 diffusion loss를 간단한 식으로 정의하였는데, 기존과 다르게 regularization term을 제외하고 denoising process 목적식을 재구성하여 t 시점에 대한 gaussian noise를 학습하도록 합니다. 즉, denoising 과정의 각 시점별로 다양한 gaussian noise를 예측하도록 합니다. 본 발표 내용을 들으면서 representation을 보다 더 잘 학습할 수 있도록 가정과 수식을 잘 설계한 것 같다는 생각이 들었습니다. 수식적인 접근이 부담이 되어 직관에 의한 방법론 위주로 아이디어 구상을 하게 되는 경우가 많은데, 수학적인 접근이 주는 논리적 힘을 다시한번 생각해볼 수 있는 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나는 diffusion process 기반의 비지도 학습 방법론을 제안한 논문 Denoising Diffusion Probabilistic Model(NeurIPS 20)을 주제로 진행되었습니다. Diffusion의 사전적 정의는 '확산'으로, diffusion process는 특정 데이터의 패턴이 반복적인 과정을 거치며 와해되는 현상을 일컫습니다. 현재 diffusion 계열의 모델은 generation 관련 task에서 강세를 보이고 있으며, 본 논문에서 제안하는 DDPM은 diffusion process의 반대 과정인 Denoising을 학습하여 입력 데이터의 생성 모델로서 작동합니다. 학습 목적식에서 regularization term을 제외하고 denoising process의 목적식을 재구성하여 Loss 측면에서의 변화를 꾀했습니다. 이러한 목적식은 variational lower bound를 활용하는 VAE와 유사하며 방법론의 구조는 flow-based model과 유사하다 볼 수 있습니다. 또한, hierarchical VAE와 비슷하게 여러 latent variable을 도입하여 활용한다는 특징을 가집니다. 개인적으로 발표자 분의 세미나 및 연구실 논문 스터디, 파이토치 스터디 발표를 통해 diffusion과 normalizing flow 관련 방법론들을 접하며 새로운 개념들을 배워가고 있어 매번 흥미롭게 잘 듣고 있습니다. 이번 세미나 역시 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에서는 Denoising Diffusion Probabilistic Model 논문을 중심으로 Diffusion process와 해당 방법론을 기본으로 하는 Denoising Diffusion Probabilistic Model 방법론을 소개해 주셨습니다. Diffusion model은 forward pass와 reverse pass로 구성됩니다. Forward pass는 원래의 데이터에 조금씩 Gaussian noise를 섞는 과정이며 Reverse pass는 noise화 된 데이터를 denoising하여 본래의 패턴을 복원하도록 합니다. 이 과정에서 모델은 생성 모델로 학습되게 됩니다. 원래의 데이터를 latent variable로 표현한다는 점은 VAE와 유사하고 그를 다시 복원하는 과정을 통해 데이터를 생성하는 구조는 Flow-based Model과 유사합니다. Diffusion model이 데이터를 noise화할때 Gaussian noise를 반복적으로 추가해 서서히 패턴이 와해되도록 한 것이 매우 인상적이었습니다. Diffusion model의 설명과 함께 대표적인 생성 모델 GAN, VAE, Flow-based Model를 함께 비교하여 설명해 주셔서 이해하기 좋았고, Diffusion model 기반의 생성 모델들이 활발히 개발되고 있다고는 들었지만 잘 모르고 있었는데 이번 세미나를 통해 자세한 내용을 알 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 ‘Denoising Diffusion Probabilistic Models’를 주제로 진행되었습니다. Diffusion은 gaussian noise를 forward 단에서 점진적으로 추가하여 데이터의 패턴을 와해시키고 backward단에서 이를 다시 복원하는 조건부 PDF를 학습합니다. Image generation 분야에서 diffusion을 활용한 연구들이 많이 진행되고 있는데 해당 diffusion에 대해서 자세히 배울 수 있는 시간이 되어서 유익하였습니다. 또한 제가 연구중인 time-series에도 generation based model들이 사용되고 있는데 아직 time-series에서는 diffusion과 nomalizing flow가 적용된 연구가 거의 없는 만큼 충분히 도전해볼 가치가 있다고 판단됩니다. 좋은 발표 감사합니다.

이번 세미나는 ‘Denoising Diffusion Probabilistic Models’ 논문을 주제로 진행되었습니다. Diffution 은 물리에서는 특정한 물질이 조금씩 번지며 같은농도로 바뀌는 현상을 의미하고, 물질들의 분포가 서서히 와해되는 과정으로 이해 할 수 있습니다. 특정한 데이터의 패턴이 서서히 반복적인 과정을 거쳐 와해되는 과정을 데이터에서의 Diffusion 으로 이해할 수 있습니다. 해당하는 반복적인 변화가 flow based model 과 유사하였고, 분포에 대한 추론을 통한 학습을 진행하는 점이 VAE 와 유사했습니다. 해당 연구주제가 항상 수학적인 백그라운드와 수식에대한 정확한 이해가 많이 요구되는데, 발표자께서 잘 정리해주셔셔 맥락을 이해하는데 도움이 됩니다. 이번 발표에서는 코드까지 직접 보여주시며, 실제 코드는 이론보다는 쉽다는 점을 강조하며, 이해에 도움을 주어 좋았습니다. 이러한 관점에서 Denoising diffusion 모델은 noise 처럼 확산된 이런 데이터분포를 제거함으로써 vae 와 같은 생성모델을 만드는 것으로 이해했습니다. 관련 연구의 유사점을 파악하고 소개해준 시간이 매우 흥미로웠습니다.

이번 세미나는 2020년 NeurlPS에 억셉된 Denoising Diffusion Probabilistic Model(이하 DDPM)이란 논문으로 진행이 되었습니다. Diffusion model은 Generative model로서 고의적으로 패턴을 무너트리는 Diffusion process와 이를 다시 복원하는 조건부 PDF를 학습하는 Reverse process 과정을 반복해 패턴 생성 과정을 학습하는 모델입니다. DDPM은 Diffusion process 기반 비지도 학습 방법론을 기반으로 하면서, 학습 목적식에서 Regularization term을 제외하고, Denoising Process의 목적식을 재구성한 방법론입니다. Diffusion이나 Normalizing flow, Generative Model과 관련해 배경 지식을 잘 설명해주셔서 Diffusion이란 개념을 처음 접해봄에도 이해가 수월했던 것 같습니다. 좋은 발표 감사합니다!