基于对象（但类别无关）的视频域适应
计算机视觉与模式识别
2023-12-01 v1
摘要
现有基于视频的动作识别系统通常需要密集标注，且在相对于训练数据存在显著分布偏移的环境中表现不佳。当前视频域适应方法通常利用目标域数据的子集上的全标注数据微调模型，或使用自举或对抗学习对齐两域表示。受近期有监督以对象为中心的动作识别模型中对象的关键作用启发，我们提出基于对象（但类别无关）的视频域适应 (ODAPT)，一种简单而有效的框架，通过利用目标域中带类别无关对象标注的稀疏帧集，将现有动作识别系统适应到新域。我们的模型在 Epic-Kitchens 的厨房间适应时取得 +6.5 提升，在 Epic-Kitchens 与 EGTEA 数据集间适应时取得 +3.1 提升。ODAPT 是一个通用框架，也可与以往无监督方法结合，与自监督多模态方法 MMSADA 结合时带来 +5.0 提升，在 Epic-Kitchens 上添加到基于对抗的方法 TAN 时带来 +1.7 提升。
引用
@article{arxiv.2311.17942,
title = {Object-based (yet Class-agnostic) Video Domain Adaptation},
author = {Dantong Niu and Amir Bar and Roei Herzig and Trevor Darrell and Anna Rohrbach},
journal= {arXiv preprint arXiv:2311.17942},
year = {2023}
}