Generative Adversarial Nets

29 Pages·2017·4.98 MB·Norwegian

by  Aiden Fang

Generative Adversarial Nets
王文富
20170329
研究 发展
&
“There are many interesting recent development in deep learning…The most
important one, in my opinion, is adversarial training (also called GAN for
Generative Adversarial Networks). This, and the variations that are now
being proposed is the most interesting idea in the last 10 years in ML, in my
opinion.”
– Facebook, Yann LeCun
Google Trends for GANs
（2017/02/01）
生成式模型
生成式模型
通过观测数据，学习样本与标签的联合概率分布P(X, Y)，训练
好的模型能够生成符合样本分布的新数据。可用于有监督学习和无监督学习。
有监督生成式模型
- 朴素贝叶斯（Naïve Bayes, NB）
- 高斯混合模型（Gaussian Mixture Model, GMM）
- 隐马尔科夫模型（Hidden Markov Model, HMM）。
无监督生成式模型
深度生成式模型在无监督深度学习方面占据主要位置，它通过深层网络捕捉数
据的内在特征，生成与训练样本相似的新数据。典型无监督生成式模型：
- 受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）
- 深度信念网络（Deep Belief Network, DBN）
- 变分自编码器（Variational Autoencoders, VAE）
- 自回归模型（Autoregressive models）
- 生成对抗网络（Generative Adversarial Networks, GANs）
对抗网络/对抗训练
极小极大博弈
判别模型的训练目的是最大化自己的判别准确率:
生成模型的训练目的是最小化判别模型的判别准确率：
判别器(D)、生成器(G)交替迭代学习，使得对方的错误最大化，最终G 能估测出
样本数据的分布。[Goodfellow 2014]论文证明了这个极小化极大博弈当且仅当
𝑃 = 𝑃 时存在最优解，即达到纳什均衡，此时生成模型G恢复了训练数据的
" #$%$
分布，判别模型D的准确率等于50%。
http://papers.nips.cc/paper/5423-generative-adversarial-nets Ian J. Goodfellow
极小极大博弈
http://papers.nips.cc/paper/5423-generative-adversarial-nets Ian J. Goodfellow
Conditional GAN
生成真实的、想要的数据
https://arxiv.org/pdf/1411.1784.pdf
Conditional Generative Adversarial Nets. Mehdi Mirza, Simon Osindero.
Conditional GAN
生成真实的、想要的数据
https://arxiv.org/pdf/1411.1784.pdf
Conditional Generative Adversarial Nets. Mehdi Mirza, Simon Osindero.
Conditional GAN
基于文本描述的图像生成
http://www.jmlr.org/proceedings/papers/v48/reed16.pdf
generative adversarial text to image synthesis. Scott Reed, Zeynep Akata.
优势与缺陷
三个优势 ：
[OpenAI Ian Goodfellow的Quora问答]
- 能更好建模数据分布（图像更锐利、清晰）。
- 理论上，生成对抗式网络框架能训练任何一种生成器网络。其他的框架
需要生成器网络有一些特定的函数形式，比如输出层是高斯的。
- 无需利用马尔科夫链反复采样，无需在学习过程中进行推断（Inference），
没有复杂的变分下界，避开近似计算棘手的概率的难题。
两个缺陷：
- 难训练，不稳定。D与G之间需要很好的同步，但是在实际训练中很容易D
收敛，G发散。D/G的训练需精心设计。
- 模式缺失（Mode Collapse）问题。GAN的学习过程可能出现模式缺失，
生成器开始退化，总是生成同样的样本点，无法继续学习。