微软已经出版了研究论文在将面部分析算法仅使用合成数据的情况下,在现实生活中部署之前,可以训练面部分析算法。
根据Github帖子在软件巨头的研究中,Face Biometrics科学界一直在使用与图形合成培训数据已经很长时间了。
但是,本文的摘要认为,实际和合成应用之间的域差距仍然是一个问题,尤其是在考虑人脸时。
为了避免这个问题,研究人员传统上采用了数据混合,域适应和域 - 反向培训的组合。
根据微软的新研究,可以使用最小的域间隙合成数据,以便实际上可以在野外部署对合成数据训练的面部分析模型。
新过程将程序生成的参数3D面部模型与全面的手工资产库相结合,旨在使培训图像具有较高的现实主义和多样性。
研究人员在本文中解释说:“借助综合数据,您可以保证没有注释噪声的完美标签,产生丰富的标签,否则可以手工标记,并且可以完全控制数据集中的变化和多样性。”
程序构造的合成面是现实且表现力的,并且基于初始面部模板,然后用随机表达式和纹理拼写。
纸张写道:“固定随机的头发和衣服,并在随机环境中呈现脸部。”
研究人员渲染了100,000个合成面部图像的培训数据集,然后评估了面部分析任务,面部暂停和具有里程碑意义的本地化的合成数据。
他们解释说:“我们训练的网络从未见过一个真实的图像。” “我们使用[D]标签适应来最大程度地减少人类宣传的标签。”
根据Microsoft团队的说法,此过程的主要困难是将模型的3D投影下颌转换为2D面轮廓。
该技术的可能应用在面部分析的非生物测量区域的培训中发现。
研究人员解释说:“目光跟踪可能是虚拟现实或增强现实的关键功能,但是训练数据很难获取。”
研究人员说,合成的面孔看起来足够现实,可以使团队相对容易设置合成的眼球追踪相机并进行培训图像。
微软证实,新型数据集将很快发布,并配有2D地标和每个像素分段标签,出于非商业研究目的。