基于链路思考提示分解与迁移的开放词汇emporal动作检测对齐
计算机视觉与模式识别
2026-03-26 v1 多媒体
摘要
开放词汇时序动作检测(OVD-TAD)旨在对未知类别的动作在未剪辑视频中进行分类与定位。以往方法仅依赖标签级语义与视觉特征之间的全局对齐，这在将时间一致的视觉知识从已见类别迁移到未见类别方面不足。为此，我们提出了阶段分解与对齐(PDA)框架，实现细粒度动作模式学习以有效迁移先验知识。具体而言，我们首先引入链路思考(CoT)提示语义分解(CSD)模块，利用大语言模型的链路思考推理能力自动将动作标签分解为连贯的阶段级描述，模拟人类认知过程。随后，我们引入文本植入前景过滤(TIF)模块，利用阶段级语义线索自适应过滤每个阶段相关的动作段落，生成语义对齐的视觉表征。进一步，我们提出自适应阶段对齐(APA)模块进行阶段级视觉-文本匹配，并自适应聚合各阶段的对齐结果以进行最终预测。这种自适应阶段对齐促进了可迁移动作模式的捕获，显著提升对未见动作的泛化能力。在两个 OVD-TAD基准上进行大量实验表明，所提方法具有优势。
引用
@article{arxiv.2603.24030,
title = {Decompose and Transfer: CoT-Prompting Enhanced Alignment for Open-Vocabulary Temporal Action Detection},
author = {Sa Zhu and Wanqian Zhang and Lin Wang and Xiaohua Chen and Chenxu Cui and Jinchao Zhang and Bo Li},
journal= {arXiv preprint arXiv:2603.24030},
year = {2026}
}
备注
Accepted by CVPR 2026