基于 3D 高斯与扩散的视线重定向
计算机视觉与模式识别
2025-11-17 v1 人工智能
摘要
高保真视线重定向对于生成增强数据以提升视线估计算法的泛化至关重要。3D 高斯溶解（3DGS）模型如 GazeGaussian 代表最新进展，但难以渲染细微连续的视线变化。在本文中，我们提出 DiT-Gaze 框架，通过结合 Diffusion Transformer（DiT）、跨视线角度的弱监督及正交约束损失来增强 3D 视线重定向模型。DiT 实现更高保真的图像合成，弱监督策略使用合成的中间视线角度提供平滑的视线方向流形。正交约束损失从数学上强制解耦视线、头部姿态与表情的内部表征。全面实验表明，DiT-Gaze 在感知质量与重定向精度上均达到最新水平，将最新视线误差降低 4.1% 至 6.353 度，为创建合成训练数据提供了更优方法。我们的代码与模型将向研究社区开放，以便基准测试。
引用
@article{arxiv.2511.11231,
title = {3D Gaussian and Diffusion-Based Gaze Redirection},
author = {Abiram Panchalingam and Indu Bodala and Stuart Middleton},
journal= {arXiv preprint arXiv:2511.11231},
year = {2025}
}