BodyReLux：面向全身视频的时序一致性人体视频 relighting
计算机视觉与模式识别
2026-05-22 v1 图形学
摘要
能够对人体演出进行光照重新定位是后期制作和内容创作中的一项基本任务。我们提出了 BodyReLux，一个基于视频扩散的主题特定框架，用于在时序一致性下对全身人体演出进行光照重新定位。该模型在由像素对齐的视频光照重新定位对组成的混合数据集上进行训练，涵盖多样化的光照条件、演出和视角。为获取此类数据集，我们结合传统的静态单光照法 (One-Light-at-a-Time, OLAT) 捕获与我们 novel 的动态演出捕获：两种光照序列被快速交错进行。由于光照工作在人体视觉混合阈值之上，这种交错并不会产生闪烁。我们训练视频光照模型时，从预训练的文本到视频模型中继承，以充分利用生成先验，产生高质量视频。为实现精确的光照控制，我们引入一种新的光照条件方法，将每个光源表示为一个 token。我们进一步对光照序列采用掩码注意力，以支持动态光照控制。结合精心设计的数据增强流程，我们实现了对主题特定人体演出的照片实用、稳健且时序一致的视频 relighting。
引用
@article{arxiv.2605.21766,
title = {BodyReLux: Temporally Consistent Full-Body Video Relighting},
author = {Li Ma and Mingming He and Xueming Yu and David M. George and Ahmet Levent Taşel and Paul Debevec and Julien Philip},
journal= {arXiv preprint arXiv:2605.21766},
year = {2026}
}
备注
Siggraph 2026 Journal Track. Project page: https://eyeline-labs.github.io/bodyrelux/