CustomVideoX：面向零样本定制视频扩散变换器的 3D 参考注意力驱动动态适应

定制化生成在图像合成方面取得了显著进展，但个人化视频生成因时间不一致性和质量下降而仍具挑战。本文引入 CustomVideoX，一种创新框架，利用视频扩散变换器实现从参考图像进行个人化视频生成。CustomVideoX 利用预训练视频网络，通过仅训练 LoRA 参数来提取参考特征，确保高效和适应性。为促进参考图像与视频内容之间的无缝交互，我们提出了 3D 参考注意力，使参考图像特征能同时且直接地与所有视频帧在空间和时间维度上互动。为缓解参考图像特征和文本指导在推理期间对生成视频内容的过度影响，我们实现了 Time-Aware Reference Attention Bias（TAB）策略，动态调制不同时间步的参考偏置。此外，我们引入实体区域感知增强（ERAE）模块，通过调整注意力偏置将关键实体 token 的高度激活区域与参考特征注入对齐。为彻底评估个人化视频生成，我们建立了一个新的基准 VideoBench，包含 50 多个对象和 100 个提示进行广泛评估。实验结果表明，CustomVideoX 在视频一致性和质量方面显著优于现有方法。