伦敦帝国学院的研究人员有发达Arc2face,一种高级计算机模型,生成人脸的逼真图像。将其与众不同的是它依赖身份嵌入,这使该模型能够在保持身份一致性的同时生成各种面部图像。但是,该模型的当前版本只能根据提供的ID嵌入一次一次创建一个人的图像。
所提出的ARC2FACE模型构建在稳定的扩散文本引导的扩散模型上。它以从预先训练的弧形网络,不依赖文本嵌入。
作者证明了该计算机模型的功效,他们使用其模型生成的合成图像训练了面部识别模型。最终的性能超过了当前合成数据集的性能。
尽管诸如StyleGan之类的生成模型能够生产面部图像,但在操纵过程中试图保持一致的身份时,它们通常会受到影响。同样,文本引导的扩散模型从2开始试图将身份与文本描述分开时会遇到问题。
研究人员解释说:“我们精心研究了以ID限制为条件的高分辨率面部图像合成问题的问题,并提出了一个大规模的基础模型。由于有限的高质量面部图像数据库的可用性,开发此类模型构成了重大挑战。”
研究表明,仅依靠单位图数据集(例如FFHQ)不足以创建可靠的计算机模型。为了解决这个问题,ARC2FACE模型背后的团队利用了综合的WebFace42M数据库,该数据库具有大量的内部可变性,作为其工作的基础。
然而,尽管大规模数据集有好处,但科学家指出,当前的限制仍然限制在紧密地裁剪的面部区域进行面部识别训练。因此,有必要结合更广泛的不同和不受限制的面部图像,以增强模型生成完整面部图像的能力。
研究人员说:“我们进行了广泛的定量比较,以评估最新的ID条件模型的性能,以产生主题的多样化和忠实的图像。”
在论文中,作者探索了模型生产的使用合成图像这可以帮助训练面部识别模型。通过从座嵌入座的分布中对身份向量进行采样,并确保合成身份之间的多样性,它们建立了一个数据集,该数据集是训练面部识别模型的资源。
为了确保具有独特外观的各种受试者,根据相似性阈值选择合成身份。然后将对这些合成图像训练的面部识别模型的有效性与在现实数据集和通过各种方法生成的其他合成数据集进行训练的模型进行了比较。
根据分析,使用Arc2face生成的合成数据训练的生物识别模型在几种评估基准中表明了高性能。与其他合成数据集(如Synface,Digiface和DC-FACE)相比,接受Arc2face生成的合成数据训练的FR模型显示出较高的结果。
研究人员总结说:“我们的实验证明了其忠实地再现任何个人面部ID的能力,与任何现有方法相比,同时保留了产出的多样性,从而产生具有更大程度的相似性的高度现实图像。”