缓解时序动作定位任务中任务差异问题的软着陆策略
计算机视觉与模式识别
2022-11-14 v1
摘要
时序动作定位（TAL）方法通常建立在由Trimmed Action Classification（TAC）任务预训练的冻结片段编码器所提取的特征序列之上，从而导致任务差异问题。尽管现有TAL方法或通过 pretext 任务重训编码器、或通过端到端微调来缓解该问题，但它们通常都需要过高的内存与计算开销。在本工作中，我们提出软着陆（SoLa）策略，一种高效且有效的框架，通过在冻结编码器之上加入一个轻量级神经网络（即SoLa模块）来弥合预训练编码器与下游任务之间的可迁移性差距。我们还提出了一种针对SoLa模块的无监督训练方案；它利用以帧间隔作为监督信号的帧间相似性匹配进行学习，从而消除对时间标注的需求。在多个下游TAL任务基准上的实验评估表明，我们的方法以显著的计算效率有效缓解了任务差异问题。
引用
@article{arxiv.2211.06023,
title = {Soft-Landing Strategy for Alleviating the Task Discrepancy Problem in Temporal Action Localization Tasks},
author = {Hyolim Kang and Hanjung Kim and Joungbin An and Minsu Cho and Seon Joo Kim},
journal= {arXiv preprint arXiv:2211.06023},
year = {2022}
}