EgoX：从单段外视角视频生成自我中心视频

自我中心感知使人类能够直接从自身视角体验和理解世界。将外视角（第三人称）视频转换为自我中心（第一人称）视频为沉浸式理解开辟了新可能性，但由于极端的相机姿态变化和最小的视角重叠，这仍然极具挑战性。该任务需要在忠实保留可见内容的同时，以几何一致的方式合成未见区域。为实现这一目标，我们提出了EgoX，一个从单段外视角输入生成自我中心视频的新框架。EgoX通过轻量级LoRA适配利用预训练大规模视频扩散模型的空间-时间知识，并引入了一种统一的条件化策略，通过宽度和通道维度的拼接结合外视角和自我中心先验。此外，几何引导的自注意力机制选择性地关注空间相关区域，确保几何一致性和高视觉保真度。我们的方法实现了连贯且逼真的自我中心视频生成，并在未见过的和真实场景视频中展示了强大的可扩展性和鲁棒性。