面向稳健动物重识别的类别化关键点位置编码
计算机视觉与模式识别
2024-12-03 v1
摘要
动物重识别（ReID）已成为生态学研究中不可或缺的工具，对于跟踪种群动态、分析行为模式和评估生态影响至关重要，这些都是为制定保育策略所必需的。与人类重识别不同，动物重识别面临姿态高度变异、环境多样化以及无法直接将预训练模型应用于动物数据等挑战，使得跨物种识别过程更为复杂。本工作引入一种创新的关键点传播机制，该机制利用单个标注图像和预训练扩散模型在整个数据集上传播关键点，显著降低了手动标注成本。此外，我们通过实现关键点位置编码（KPE）和类别化关键点位置编码（CKPE），增强了视觉Transformer（ViT），使其能够学习更稳健且更具语义意识的表示。这提供了更全面和详细的关键点表示，导致更准确和更高效的重识别。我们的广泛实验评估表明，该方法在四个野生动物数据集上均显著优于现有最先进的方法。代码将公开发布。
引用
@article{arxiv.2412.00818,
title = {Categorical Keypoint Positional Embedding for Robust Animal Re-Identification},
author = {Yuhao Lin and Lingqiao Liu and Javen Shi},
journal= {arXiv preprint arXiv:2412.00818},
year = {2024}
}
备注
In review