Diffusion Model一发力，GAN就过时了？？？( 二 )

此外，GAN模型在训练过程中，除了需要“生成器”，将采样的高斯噪声映射到数据分布；还需要额外训练判别器，这就导致训练变得很麻烦了。
和GAN相比， Model只需要训练“生成器”，训练目标函数简单，而且不需要训练别的网络（判别器、后验分布等），瞬间简化了一堆东西。
【Diffusion Model一发力，GAN就过时了？？？】目前的训练技术让 Model直接跨越了GAN领域调模型的阶段，而是直接可以用来做下游任务。
△ Model直观图
从理论角度来看， Model的成功在于训练的模型只需要“模仿”一个简单的前向过程对应的逆向过程，而不需要像其它模型那样“黑盒”地搜索模型。
并且，这个逆向过程的每一小步都非常简单，只需要用一个简单的高斯分布（q(x(t-1)| xt)）来拟合。
这为 Model的优化带来了诸多便利，这也是它经验表现非常好的原因之一。
Model是否就是完美？
不见得。
从趋势上来看， Model领域确实正处于百花齐放的状态，但正如“我想唱high C”所述：
这个领域有一些核心的理论问题还需要研究，这给我们这些做理论的人提供了个很有价值的研究内容。>
并且，哪怕对理论研究不感兴趣，由于这个模型已经很work了，它和下游任务的结合也才刚刚起步，有很多地方都可以赶紧占坑。
我相信 Model的加速采样肯定会在不久的将来彻底被解决，从而让 Model占据深度生成模型的主导。
而对于 Model的有效性以及很快取代GAN这件事，马毅教授认为充分地说明了一个道理：
几行简单正确的数学推导，可以比近十年的大规模调试超参调试网络结构有效得多。
不过对于这种“前浪推后浪”的火热，马毅教授也有不一样的观点：
希望年轻的研究员端正研究的目的和态度，千万不要被目前热的东西忽悠。
包括，这其实也是好几百年old的想法，只是老树发新芽，找到新的应用。
“我想唱high C”知乎回答：
参考链接：
[1]
[2]
[3]
[4]
[5]
[6]
[7]