面向头像创建与编辑的前馈高斯配准

我们提出MATCH(Multi-view Avatars from Topologically Corresponding Heads)，一种用于高质量头部头像创建与编辑的多视角高斯配准方法。现有最先进的多视角头部头像方法需要耗时的头部跟踪，随后进行昂贵的头像优化，往往导致总创建时间超过一天。MATCH则直接从校准的多视角图像中在0.5秒/帧内预测对应关系下的高斯光点纹理，无需数据预处理。跨帧的学习内主体对应关系支持快速创建个性化头部头像，而跨主体的对应关系则支持表情迁移、无优化跟踪、语义编辑和身份插值等应用。我们采用基于Transformer的模型实现端到端的对应关系，通过引入注册导向注意力块，使每个UV图块token仅注意于显示其对应网格区域的图像token。该设计较稠密跨视角注意力在效率和性能上均有所提升。MATCH在新视角合成、几何配准和头部头像生成方面均优于现有方法，同时使头像创建速度比最近的竞争基线快10倍。代码和模型权重已在项目网站提供。