幽灵数据：通用主体一致性视频生成数据集
计算机视觉与模式识别
2025-06-24 v1
摘要
主体到视频的生成在近年来取得了显著进展。然而，现有模型仍面临在忠实于文本指令方面存在显著挑战。这种限制常被称为复制粘贴问题，源于广泛使用的成对训练范式。该方法本质上通过从目标视频同一场景中采样参考图像，将主体身份与背景及上下文属性捆绑在一起。为解决此问题，我们引入了\textbf{幽灵数据(Phantom-Data)，首个通用跨对主体到视频一致性数据集}，包含约百万个跨越多样类别的身份一致配对。该数据集通过三个阶段的管道构建：（1）通用且输入对齐的主体检测模块，（2）从超过5300万个视频和30亿张图片中进行大规模跨上下文主体检索，（3）先验引导的身份验证，以确保在上下文变化下保持视觉一致性。全面实验表明，使用幽灵数据训练可显著提升提示词对齐度和视觉质量，同时在主体身份一致性方面与成对基线相当。
引用
@article{arxiv.2506.18851,
title = {Phantom-Data : Towards a General Subject-Consistent Video Generation Dataset},
author = {Zhuowei Chen and Bingchuan Li and Tianxiang Ma and Lijie Liu and Mingcong Liu and Yi Zhang and Gen Li and Xinghui Li and Siyu Zhou and Qian He and Xinglong Wu},
journal= {arXiv preprint arXiv:2506.18851},
year = {2025}
}
备注
Project page:https://phantom-video.github.io/Phantom-Data/