MI-NeRF：从多个身份学习单一人脸 NeRF
计算机视觉与模式识别
2024-04-04 v2
摘要
在这项工作中，我们引入了一种方法，该方法从多个身份的单目说话人脸视频中学习一个单一的动态神经辐射场（NeRF）。NeRF 在建模人脸的 4D 动态和外观方面显示出卓越的结果。然而，它们需要针对每个身份进行优化。尽管最近的方法提出了减少训练和渲染时间的技术，但增加身份数量可能代价高昂。我们引入了 MI-NeRF（多身份 NeRF），这是一个统一的网络，仅使用任意长度的单目视频，就能为多个身份建模复杂的非刚性面部运动。我们方法的核心前提是通过一个乘法模块学习身份特定信息与非身份特定信息之间的非线性交互。通过在多个视频上同时训练，与标准的单身份 NeRF 相比，MI-NeRF 不仅减少了总训练时间，而且在为任何输入身份合成新表情方面表现出鲁棒性。我们展示了面部表情迁移和说话人脸视频合成的结果。我们的方法可以仅通过一个短视频进一步为特定目标身份进行个性化。
引用
@article{arxiv.2403.19920,
title = {MI-NeRF: Learning a Single Face NeRF from Multiple Identities},
author = {Aggelina Chatziagapi and Grigorios G. Chrysos and Dimitris Samaras},
journal= {arXiv preprint arXiv:2403.19920},
year = {2024}
}
备注
Project page: https://aggelinacha.github.io/MI-NeRF/