面向人体中心体积视频的拓扑感知高斯基元优化

体积视频正成为数字化动态物理世界的关键媒介，它创建具有六自由度的虚拟环境，以提供沉浸式用户体验。然而，鲁棒地建模一般动态场景，特别是那些涉及拓扑变化同时保持长期跟踪的场景，仍然是一个根本性挑战。本文提出了TaoGS，一种新颖的拓扑感知动态高斯表示，它将运动与外观解耦，以支持长程跟踪和拓扑自适应。我们使用一组稀疏的运动高斯来表示场景运动，这些高斯通过时空跟踪器和检测帧间结构变化的光度线索持续更新。为了捕捉细粒度纹理，每个运动高斯锚定并动态激活一组局部外观高斯，这些外观高斯通过非刚性变形到当前帧，以提供强初始化并显著减少训练时间。这种激活机制能够高效建模详细纹理并保持时间一致性，即使在换衣服等挑战性场景下也能实现高保真渲染。为了实现与基于编解码器的体积格式的无缝集成，我们引入了一个全局高斯查找表，该表记录每个高斯的生命周期，并将属性组织成生命周期感知的二维布局。这种结构与标准视频编解码器自然对齐，并支持高达40倍的压缩。TaoGS为拓扑变化下的可扩展体积视频提供了一个统一的、自适应的解决方案，捕捉“动之优雅”与“静之力量”的瞬间，提供与物理世界和谐共存的沉浸式体验。