VSCD：基于视频的未对齐场景变更检测

检测环境中发生了什么变更对于长期自主性至关重要，但大多数变更检测设置都假设固定视角、轻微错位，或只有少数已更改的对象。我们提出 Video-based Scene Change Detection（VSCD），用于预测给定参考视频和查询 RGB 视频中每个查询帧的像素级变更掩码，两者均为相同室内空间的视频，记录于不同时间，摄像机运动受限。两个视频不存在时间同步，且许多对象实例可能出现或消失。为研究此设置，我们构建了一个包含超过 110 万帧并标注像素精确变更掩码的大型基准数据集，同时提供一个现实世界测试集，用于评估超出模拟的迁移能力。我们提出一种查询中心多参考模型，从变更掩码监督下学习时序匹配，通过局部图块对应将候选参考特征对齐到查询特征，并在帧级和图块级置信度基础上融合每个候选变更特征，随后对每个帧进行一次高分辨率掩码解码。我们的方法在强大的基于图像和基于视频的基线上实现了状态-of-the-art 性能，并通过在移动机器人上部署验证了其现实世界影响，用于两个下游应用——视觉监视和对象增量学习。