PHI:通过渐进式分层指令弥合长期动作质量评估中的领域偏移
计算机视觉与模式识别
2025-10-09 v1
摘要
长期动作质量评估(Action Quality Assessment, AQA)旨在评估长视频中动作的量化表现。然而,由于预训练的大规模动作识别主干网络与特定 AQA 任务之间存在领域偏移,现有方法面临挑战,从而阻碍了其性能。这是由于在小型 AQA 数据集上微调资源密集型的主干网络是不切实际的。我们通过识别两个层次的领域偏移来解决这一问题:任务级偏移(关于任务目标的差异)和特征级偏移(关于重要特征的差异)。对于危害更大的特征级偏移,我们提出了具有两种策略的渐进式分层指令(Progressive Hierarchical Instruction, PHI)。首先,间隙最小化流(Gap Minimization Flow, GMF)利用流匹配逐步学习一条快速流路径,以缩小从浅层到深层中初始特征与期望特征之间的领域间隙。此外,一个时间增强注意力模块捕捉了 AQA 所需的长程依赖关系。其次,列表式对比正则化(List-wise Contrastive Regularization, LCR)通过全面比较批次对来学习细粒度线索,同时缓解领域偏移,从而实现由粗到细的对齐。集成这些模块后,PHI 提供了一种有效的解决方案。实验表明,PHI 在三个具有代表性的长期 AQA 数据集上取得了 SOTA 性能,证明了其在解决长期 AQA 领域偏移方面的优越性。
引用
@article{arxiv.2505.19972,
title = {PHI: Bridging Domain Shift in Long-Term Action Quality Assessment via Progressive Hierarchical Instruction},
author = {Kanglei Zhou and Hubert P. H. Shum and Frederick W. B. Li and Xingxing Zhang and Xiaohui Liang},
journal= {arXiv preprint arXiv:2505.19972},
year = {2025}
}
备注
Accepted by IEEE Transactions on Image Processing