PLOT-TAL：基于最优传输的提示学习用于少样本时序动作定位
计算机视觉与模式识别
2025-07-25 v2 机器学习
摘要
通过单提示微调适配大模型的少样本时序动作定位（TAL）方法通常无法产生精确的时序边界。这源于模型从稀疏数据中学习到非判别性的动作均值表示，从而损害了泛化能力。我们通过提出一种基于多提示集成的新范式来解决这一问题，其中为每个动作设定一组多样且可学习的提示，鼓励其专精于组合子事件。为了强制实现这种专精化，我们引入了 PLOT-TAL，这是一个利用最优传输（OT）在提示集成与视频时序特征之间寻找全局最优对齐的框架。我们的方法在具有挑战性的 THUMOS'14 和 EPIC-Kitchens 少样本基准上建立了新的 SOTA，且无需复杂的元学习。显著的性能提升（特别是在高 IoU 阈值下）验证了我们的假设，并证明了学习分布式、组合表示对于精确时序定位的优越性。
引用
@article{arxiv.2403.18915,
title = {PLOT-TAL: Prompt Learning with Optimal Transport for Few-Shot Temporal Action Localization},
author = {Edward Fish and Andrew Gilbert},
journal= {arXiv preprint arXiv:2403.18915},
year = {2025}
}
备注
Accepted to ICCVWS