基于有效评分函数的半监督时序动作定位主动学习
计算机视觉与模式识别
2022-12-02 v2
摘要
时序动作定位（TAL）旨在预测未修剪视频中动作实例的类别与时序边界，即开始与结束时间。现有大多数工作通常采用全监督方案，且被证明是有效的。这些方案的一个实际瓶颈是需要大量带标注的训练数据。为降低昂贵的人工标注成本，本文关注一个很少被研究但实用的任务——半监督 TAL，并提出了一种有效的主动学习方法，称为 AL-STAL。我们采用四个步骤来主动选择具有高信息量的视频样本并训练定位模型，即“训练、查询、标注、追加”。AL-STAL 配备了两种考虑定位模型不确定性的评分函数，从而促进视频样本的排序与选择。其中一种以预测标签分布的熵作为不确定性度量，称为时序提议熵（TPE）。另一种引入了基于相邻动作提议间互信息的新度量，并评估视频样本的信息量，称为时序上下文不一致性（TCI）。为验证所提方法的有效性，我们在两个基准数据集 THUMOS'14 和 ActivityNet 1.3 上进行了大量实验。实验结果表明，AL-STAL 优于现有竞争对手，并与全监督学习相比取得了令人满意的性能。
引用
@article{arxiv.2208.14856,
title = {Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization},
author = {Ding Li and Xuebing Yang and Yongqiang Tang and Chenyang Zhang and Wensheng Zhang},
journal= {arXiv preprint arXiv:2208.14856},
year = {2022}
}
备注
Need to modify