用于肖像视频编辑的上下文同步 LoRA

编辑肖像视频是一项具有挑战性的任务，需要对多种修改（如外观变化、表情编辑或物体添加）进行灵活且精确的控制。关键难点在于保留主体的原始时序行为，要求每个编辑帧与对应的源帧保持精确同步。我们提出 Sync-LoRA，一种用于编辑肖像视频的方法，在实现高质量视觉修改的同时保持帧级精确同步和身份一致性。我们的方法采用图像到视频扩散模型，其中编辑通过修改第一帧来定义，然后传播到整个序列。为实现精确同步，我们使用描绘相同运动轨迹但外观不同的配对视频来训练上下文 LoRA。这些配对通过基于同步的过滤过程自动生成和筛选，仅选择时间对齐程度最高的样本用于训练。该训练设置使模型学会将源视频中的运动线索与编辑后第一帧中引入的视觉变化相结合。Sync-LoRA 在一组紧凑且经过高度筛选的同步人像肖像上训练，可以泛化到未见身份和多样化编辑（例如修改外观、添加物体或更改背景），稳健地处理姿态和表情的变化。我们的结果展示了高视觉保真度和强时间连贯性，在编辑保真度与精确运动保持之间取得了稳健的平衡。