基于扩展时间移位模块的多任务学习用于时序动作定位
计算机视觉与模式识别
2025-12-15 v1
摘要
我们提出了 ICCV 2025 BinEgo-360 挑战赛的解决方案，该挑战赛聚焦于多视角、多模态视频设置中的时序动作定位（TAL）。挑战赛提供了一个包含全景、第三人称和自我中心视角录制的多视角数据集，并标注了细粒度的动作类别。我们的方法基于时间移位模块（TSM），通过引入背景类别并对固定长度的非重叠区间进行分类，将其扩展以处理 TAL。我们采用多任务学习框架，联合优化场景分类与 TAL，利用动作与环境之间的上下文线索。最后，我们通过加权集成策略融合多个模型，提升了预测的鲁棒性和一致性。我们的方法在比赛的初始轮和扩展轮中均排名第一，证明了将多任务学习、高效骨干网络与集成学习相结合用于 TAL 的有效性。
引用
@article{arxiv.2512.11189,
title = {Multi-task Learning with Extended Temporal Shift Module for Temporal Action Localization},
author = {Anh-Kiet Duong and Petra Gomez-Krämer},
journal= {arXiv preprint arXiv:2512.11189},
year = {2025}
}
备注
BinEgo360@ICCV25