近期，海外规画机视觉与格局识别会议CVPR 2022在好意思国新奥尔良举行，并同步进行线上会议。由王君乐博士率领的腾讯Turing Lab执行室提交的论文《High-resolution Face Swapping via Latent Semantics Disentanglement》（基于隐语义解耦的高分辨率换脸）生效入选。
论文由腾讯Turing Lab与华南理工大学、卡迪夫大学及中国香港大学相助完成。接下来，咱们将为各人解读论文的中枢服从，一齐来学习规画机视觉限制的最前沿参议吧！
基于隐语义解耦的高分辨率换脸
High-resolution Face Swapping via Latent Semantics Disentanglement
在换脸任务中，咱们需要针对给定的源脸和计划脸，将源脸的身份信息转移至计划脸上，并同期保握计划脸的属性信息。该工夫比年来得回多数关爱的，并在互动文娱、广电、安全与秘密保护等限制均展现出较大的应用后劲。
这篇论文建议了一种新的、基于预造就GAN模子中内在先验学问的换脸轮番，罢了了高分辨率（1024X1024）换脸。该轮番除了能保握计划脸的常见属性信息，如姿色、姿态、光照、布景等除外，还不错更好地保握计划脸的妆容信息。
在这个责任中，咱们摆布生成叛逆模子隐空间的解耦特质，将不同性质的属性分离转移。具体来说，姿色、姿态等是与结构联系的属性，而光照、作风等是与外不雅联系的属性。这两类属性由隐编码的不同层分离摈弃：一张图片隐编码的前半部分摈弃结构信息，尔后半部分摈弃外不雅信息。
咱们先分离将源脸和计划脸回转到StyleGAN的隐空间内。同期将源脸和计划脸关键点的热图送入关键点编码器，得到一个结构属性搬动向量，这个向量作用在源脸的隐编码上，即可罢了结构属性的转移。
同期，咱们用计划脸隐编码的后半部分代替源脸隐编码的后半部分，这么即可罢了外不雅属性的转移。将解决之后的隐编码送入预造就好的StyleGAN中，即可得到初步的换脸收尾。
此外，为了罢了计划脸布景的转移，咱们将计划脸径直送入计划编码器，得到不同分辨率的特征，并和StyleGAN中间经过中产生的特征在解码器中进行会通。这么咱们就得回了最终的收尾y。执行收尾标明，咱们的轮番在图片和视频换脸任务中，好多方面的效果均擢升了多SOTA轮番。
注：图片只用作学术参议，无须于买卖用途。
对于CVPR
CVPR 全称 IEEE 海外规画机视觉与格局识别会议（IEEE Conference on Computer Vision and Pattern Recognition），该会议始于 1983 年，是规画机视觉和格局识别限制的顶级会议。本年大会共收到来自全球各大高校、科研机构与科技公司共8186篇投稿，最终接管的论文险些王人代表了年度规画机视觉限制最新、最高科研水平以及将来发展趋势。
这次论文入选，亦然对腾讯Turing Lab执行室现阶段科研及变嫌身手的认同。将来，腾讯Turing Lab将不竭尽力，为各人在规画机视觉限制带来更多可能。
腾讯Turing Lab执行室慎重东谈主
王君乐博士
腾讯各人参议员
领有十余年规画机视觉、多媒体、机器学习限制参议教化，在东谈主体姿态预计与重建、图像质地评价、规画影相学、千里浸式多媒体等限制有较深的了解及实战教化，并在这些限制率领团队进行探索与落地的责任。
曾主导腾讯CenseoQoE画质评价决策的设备与社区开源，主导腾讯时尚云游戏云表虚实互动工夫的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东谈主及组织者。
