提示动物发生时间：基于位置恢复训练的时序动物行为定位
计算机视觉与模式识别
2026-02-19 v2 人工智能
摘要
时序定位在多模态学习中至关重要，但由于时刻的稀疏性和均匀分布，将其应用于动物行为数据时面临挑战。为了应对这些挑战，我们提出了一种新颖的位置恢复训练框架（Positional Recovery Training framework, Port），该框架在训练期间利用特定动物行为的开始和结束时间来提示模型。具体而言，Port 通过恢复分支增强基线模型，以重建损坏的标签序列，并通过双重对齐方法对齐分布。这使得模型能够专注于由真实信息提示的特定时序区域。在 Animal Kingdom 数据集上的大量实验证明了 Port 的有效性，实现了 38.52 的 [email protected]。它成为 ICME 2024 Grand Challenges 中 MMVRAC 子赛道的最佳表现者之一。
引用
@article{arxiv.2405.05523,
title = {Prompt When the Animal is: Temporal Animal Behavior Grounding with Positional Recovery Training},
author = {Sheng Yan and Xin Du and Zongying Li and Yi Wang and Hongcang Jin and Mengyuan Liu},
journal= {arXiv preprint arXiv:2405.05523},
year = {2026}
}
备注
Accepted by ICMEW 2024