Context-PIPs：持久独立粒子需要空间上下文特征
计算机视觉与模式识别
2023-12-07 v2
摘要
我们解决视频中持久独立粒子（PIPs）问题，亦称跟踪任意点（TAP），其具体目标为估计视频中查询点的持久长期轨迹。先前方法尝试独立估计这些轨迹以纳入更长图像序列，因此忽略了引入空间上下文特征的潜在益处。我们认为独立视频点跟踪同样需要空间上下文特征。为此，我们提出一种新框架 Context-PIPs，其通过聚合视频中的空间上下文特征有效提升点轨迹精度。Context-PIPs 包含两个主要模块：1）源特征增强（SOFE）模块，和 2）目标特征聚合（TAFA）模块。Context-PIPs 全方位显著改进 PIPs，在 CroHD 上降低 11.4% 的遮挡点平均轨迹误差（ATE-Occ），并在 TAP-Vid-Kinectics 上提升 11.8% 的平均正确关键点百分比（A-PCK）。演示见 https://wkbian.github.io/Projects/Context-PIPs/。
引用
@article{arxiv.2306.02000,
title = {Context-PIPs: Persistent Independent Particles Demands Spatial Context Features},
author = {Weikang Bian and Zhaoyang Huang and Xiaoyu Shi and Yitong Dong and Yijin Li and Hongsheng Li},
journal= {arXiv preprint arXiv:2306.02000},
year = {2023}
}
备注
Project Page: https://wkbian.github.io/Projects/Context-PIPs/