用于跨域头部重演的表情域翻译网络
计算机视觉与模式识别
2023-11-07 v2
摘要
尽管头部重演取得了显著进展，现有方法在跨域头部重演方面仍面临挑战，其旨在将人体运动迁移至人类以外的域，包括卡通角色。由于大眼睛等迥异外观，从域外图像提取运动仍然困难。近来，已有工作引入了名为 AnimeCeleb 的大规模动画数据集及跨域头部重演模型，包含基于优化的映射函数以将人类域表情翻译至动画域。然而，我们发现该依赖部分表情子集的映射函数对各种表情的映射存在局限。为解决此挑战，我们提出了一种新颖的表情域翻译网络，将人类表情转换为动画表情。具体而言，为保持表情域翻译网络输入与输出间表情的几何一致性，我们采用 3D 几何感知损失函数，缩小人类与动画 3D 网格中顶点间的距离。由此，它强制实现关于两个跨表情域的高保真一对一映射。我们的方法在定性与定量分析中均优于现有方法，标志着跨域头部重演领域的显著进步。
引用
@article{arxiv.2310.10073,
title = {Expression Domain Translation Network for Cross-domain Head Reenactment},
author = {Taewoong Kang and Jeongsik Oh and Jaeseong Lee and Sunghyun Park and Jaegul Choo},
journal= {arXiv preprint arXiv:2310.10073},
year = {2023}
}
备注
Project page with videos: https://keh0t0.github.io/research/EDTN/