TinyHD：基于分层图蒸馏与异构解码器的高效视频显著性预测
计算机视觉与模式识别
2023-01-12 v1
摘要
视频显著性预测近来受到研究界的关注，因其是若干实际应用的上游任务。然而，当前方案尤其计算昂贵，特别是由于广泛使用的时空 3D 卷积。我们观察到，尽管不同模型架构在基准上取得相似性能，预测显著性图之间的视觉差异仍显著。受此直觉启发，我们提出一种轻量模型，采用多个简单异构解码器，并采纳若干实用方法以在保持低计算成本的同时提升精度，如分层多图知识蒸馏、多输出显著性预测、无标签辅助数据集以及带教师助理监督的通道缩减。我们的方法在 DFH1K、UCF-Sports 和 Hollywood2 基准上取得与最先进方法相当或更优的显著性预测精度，同时显著增强模型效率。代码见 https://github.com/feiyanhu/tinyHD
引用
@article{arxiv.2301.04619,
title = {TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation},
author = {Feiyan Hu and Simone Palazzo and Federica Proietto Salanitri and Giovanni Bellitto and Morteza Moradi and Concetto Spampinato and Kevin McGuinness},
journal= {arXiv preprint arXiv:2301.04619},
year = {2023}
}
备注
WACV2023