以运动为可选项并结合输出选择的无监督视频对象分割

无监督视频对象分割旨在无需任何关于对象的外部指引的情况下检测视频中最显著的对象。显著对象相较于背景常表现出独特运动，近期方法通过结合光流图的运动线索与RGB图像的外观线索来利用这一点。然而，由于光流图常与分割掩码高度相关，网络在训练时可能过度依赖运动线索，导致在面对混淆运动线索时脆弱并引发不稳定预测。为应对此挑战，我们提出一种新颖的“运动即选项”网络，将运动线索视为可选组件而非必需项。训练期间，我们随机将RGB图像而非光流图输入运动编码器，从而隐式降低网络对运动线索的依赖。该设计确保运动编码器能够处理RGB图像与光流图，并依据所提供输入类型产生两种不同预测。为充分利用此灵活性，我们引入一种自适应输出选择算法，在测试时确定最优预测。