甘斯你能做什么?

这里,我们给你一些GAN结果和给出的例子的一些事情我们可以做氮化镓。

随机的脸合成

一旦GAN训练,我们只需要使用发电机。我们只是生成一个随机的潜在的向量,将这作为输入传递给发电机网络和得到一个图像作为输出。以下随机产生的面孔GAN培训在面部图像使用最先进的StyleGAN2架构:

图像是引人注目的细节,多样性和照相现实主义。注意,GAN学习合理的背景合成与照明表面上是一致的。也学会了景深效果,背景是模糊(网络训练肖像照片从flickr这个效果是很常见的)。

虽然这些结果让人印象深刻,但甘并不完美。让我们看看一些例子失败的病例。

故障情况下

在这幅图像中,注意左边耳环是扭曲的,不符合正确的。耳环是很困难的,因为他们是高度可变的,只有在一些培训图片。同时,他们创建一个长期依赖——像素远离彼此非常高度相关的小细节。卷积的架构不擅长捕捉这种关系。

这张图片很好除了右肩。领子是正确地合成,但其余的衣服应该是,有一个奇怪的混合与背景。再一次,这是因为衣服是高度可变的和没有足够的训练示例学习的数据集所有可能的服装风格和人际关系。

这些文物将部分解决通过使用更多和更加多样化的培训数据。

潜在的空间可视化

现在我们去一个有趣的部分。潜在的空间给了我们一个控制面图像。如果我们移动一小段距离的潜在空间,少量的形象的变化。这意味着我们可以得到光滑的脸之间的转换。在这个动画,我们说的是一个随机走动的空间和想象的输出。注意,大部分的脸,似是而非的和现实的。

潜在的空间编辑

现在我们可以做一些很酷的东西!我们可以做机器学习中潜在的空间。如果我们的图像标签属性是否有人戴眼镜或他们是否有胡子,我们可以训练网络操纵一个潜在的向量来添加这些属性。所以,我们可以一个一个真实的人的形象,找到最佳的潜在向量给出了图像匹配的图像,然后操纵的向量。这给了我们一种逼真图像编辑。让我们看看一些例子。

这是一个真正的脸的图像:

现在,我们重建的图像通过寻找潜在的代码给出了一个最佳匹配这个形象。然后我们操作的代码,在这种情况下调整姿势属性:

这是另一个真实的脸:

我们重复相同的过程,但是这一次我们编辑年龄年轻:

及以上:

如果我们之间逐渐移动年轻和年老的结果我们可以看到一个模拟老化:

最后,让我们尝试添加眼镜:

你可能会注意到在这个结果的眼镜也会导致头发改变。这是一个不受欢迎的基于机器学习的图像合成的结果。由于整个系统是一个黑盒,我们没有明显的方式来控制系统的行为时我们不喜欢的东西。唯一的选择就是添加更多的训练数据的人戴眼镜有不同的发型所以我们不学习这个伪相关。显然,这不是可行的为每一个可能的编辑我们可能想要。

然而,很明显,甘斯提供了一个非常强大的方法合成现实的图像内容。

反射

甘斯介绍我们一些新概念。首先,它们涉及生成模型而不是歧视我们看到cnn模型用于。其次,他们是一个无监督学习技术。我们提供的是一组图片,我们没有任何标签。这是机器学习的一个非常有趣的领域,我们可以学习表示的数据从数据本身。这个研究的一个热门话题。

引用

Tero。卡拉,et al。”stylegan”的分析和改善图像质量。《IEEE / CVF计算机视觉与模式识别会议。2020。