🔗 Link

https://github.com/hojonathanho/diffusion

Denoising Diffusion Probabilistic Model에 대한 이해

기초 지식

negative log likelyhood를 사용하는 이유 : 계산의 곱셈을 덧셈으로 변환

KL Divergence : 두 확률 분포 간의 차이를 측정하는 방법입니다. 이는 원래 분포 P와 비교하여 대체 분포 Q가 얼마나 잘 맞는지를 수량화

Markov Chain : Markov 성질을 이산 확률과정 Markov 성질 : 특정상태(t+1)의 확률은 현재(t)의 상태에 의존

이산 확률과정 : 이산적인 시간(0초,1초,2초….) 속에서의 확률적 현상

normalizing flow : 심층 신경망 기반 확률적 생성 모형 중 하나, 잠재 변수(Z) 기반 확률적 생성 모형으로서, 잠재변수 획득에 ‘변수변환’ 공식을 활용

본 내용 요약

디퓨전 모델은 크게 noising part, denoising part로 구성. noising part는 input을 가우시안 분포로 만드는 과정으로

markov chain 형식으로 아주 많은 step을 거쳐 진행.

denoising part는 noising part에서 변한 가우시안 분포를 원래대로 회복시키는 과정.