这些面部生成系统对于我的喜好来说已经变得相当可怕了。-王其杉博客|程序员|科技新闻
机器学习模型越来越擅长生成逼真的人脸——如此之好,以至于我可能再也不相信机器或者人类是真实的了。来自Nvidia的研究人员的新方法通过分离面部的细节级别,并允许它们分别进行调整,从而超越了其他方法。结果非常现实。
这篇发表在预印存储库Arxiv(PDF)上的论文描述了用于生成和混合图像(特别是人脸)的新架构,该架构“导致更好的插值特性,并且还更好地解开变化的潜在因素”。
这意味着,基本上,系统更加了解图像之间的有意义变化,并且能够以各种规模引导。例如,研究人员的旧系统可能会产生两个“不同的”脸,除了其中一个的耳朵被擦掉和衬衫的颜色不同之外,大部分脸都是相同的。这并不是真正的独特性——但是系统不知道这些不是要关注的图像的重要部分。
它的灵感来自于所谓的风格转换,其中提取绘画的重要风格方面并应用到另一个图像的创建中,而另一个图像(如果一切顺利)最终具有相似的外观。在这种情况下,“风格”与其说是笔触或颜色空间,不如说是图像的组成(居中、向左或向右等)和面部的物理特征(肤色、雀斑、头发)。
这些特征可以有不同的比例,还有-在好的一面,它像个别的面部特征;在中间,它是拍摄的一般组成;在最大的规模,它像整体色彩。允许系统调整它们可以改变整个图像,而仅调整少数可能只是改变某人头发的颜色,或者只是雀斑或面部头发的存在。
在顶部的图像中,注意脸部是如何完全改变的,但是明显存在“源”和“样式”的标记,例如底部的蓝色衬衫。在其它情况下,一切都由整块布料组成,比如中间那个孩子穿的和服。那是从哪里来的?注意,所有这些都是完全可变的,不仅仅是A+B=C,而且A和B的所有方面都存在或不存在,这取决于如何调整设置。
这些人都不是真人。但是,如果这些图片是某人的个人资料图片或类似图片,我几乎不会看两遍。想想我们现在基本上有了一个脸部发生器,可以整天吐出看起来很正常的人,这有点可怕。这里有几十个:
它不是完美的,但是很有效。不仅仅是为了人们。汽车、猫、风景——所有这些东西或多或少都适合于小型、中型和大型特征的相同范例,这些特征可以单独分离和复制。就我个人而言,无限的猫生成器听起来更有趣。
研究人员还发布了一组新的脸部数据:从Flickr收集(经过许可)的70000张脸部图像,对齐并裁剪。他们用机械突厥来清除雕塑、绘画和其他异类。鉴于这些类型的项目使用的标准数据集大多是名人的红地毯照片,这应该提供更多可变的面孔集合。数据集将很快供其他人下载。