Omnimatte：关联视频中物体及其效应

计算机视觉在图像和视频中分割物体的能力日益有效；然而，与物体相关的场景效应——阴影、反射、生成的烟雾等——通常被忽视。识别此类场景效应并将其与产生它们的物体关联，对于增进我们对视觉场景的基本理解十分重要，也可辅助多种应用，如移除、复制或增强视频中的物体。在这项工作中，我们向自动关联视频中物体与其效应的这一新问题迈出一步。给定一段普通视频和一个或多个感兴趣主体随时间的粗略分割掩码，我们为每个主体估计一个omnimatte——一个包含该主体及其所有相关时变场景元素的alpha matte和彩色图像。我们的模型仅以自监督方式在输入视频上训练，无需任何人工标签，且具有通用性——它为任意物体和各种效应自动生成omnimatte。我们展示了包含不同类型主体（汽车、动物、人）之间交互的实时视频结果，以及从半透明元素（如烟雾和反射）到完全不透明效应（如附着在主体上的物体）的复杂效应。