用于视频显著性预测的层次化域自适应特征学习
计算机视觉与模式识别
2021-05-07 v4
摘要
在这项工作中，我们提出了一种用于视频显著性预测的 3D 全卷积架构，该架构对不同抽象层级提取的特征所生成的中间图（称为显著图）采用层次化监督。我们为基层次学习机制提供了两种域自适应和域特定学习的技术。对于前者，我们鼓励模型通过多尺度的梯度反转无监督地学习层次化通用特征，以增强在训练时未提供标注的数据集上的泛化能力。至于域专门化，我们通过将所学特征在特定数据集上专门化，采用域特定操作（即先验、平滑和批归一化）以最大化性能。我们的实验结果表明，所提出的模型在有监督显著性预测上取得了最先进的精度。当基层次模型配备域特定模块时，性能得到提升，在 DHF1K 基准的五个指标中有三个上优于最先进模型，并在其余两个上取得次优结果。相反，当我们通过启用层次化梯度反转层以无监督域自适应设置测试它时，我们获得了与有监督最先进模型相当的性能。
引用
@article{arxiv.2010.01220,
title = {Hierarchical Domain-Adapted Feature Learning for Video Saliency Prediction},
author = {Giovanni Bellitto and Federica Proietto Salanitri and Simone Palazzo and Francesco Rundo and Daniela Giordano and Concetto Spampinato},
journal= {arXiv preprint arXiv:2010.01220},
year = {2021}
}