探索图像修复模型嵌入的聚类能力用于基于模式的个体识别
计算机视觉与模式识别
2026-05-07 v1
摘要
在本文中，我们探索了基于动物皮肤模式的深度学习个体识别技术。个体识别在生物多样性监测中至关重要，因为它能够分析种群的衰退或增长，或种群内的种内互动。为个体识别任务训练的模型通常不关注动物的皮肤模式，而是关注背景细节或体型细节。这些特征并非个体特有，或者会随时间发生剧烈变化。我们专注于研究在从图像中提取个体视觉嵌入时，使机器学习模型对皮肤模式结构更具响应性的技术。为此，我们探索将任务特定掩码的图像修复作为辅助任务，以增强基于机器学习的动物皮肤模式个体识别。我们提出对四种模型作为个体识别任务编码器主干进行对比分析。我们以斑马鱼为案例研究，这是一种被广泛认可的生物模式生物，并表现出个体识别的皮肤模式。为了评估编码器主干的性能，我们提出了分类准确率的标准指标、嵌入聚类指标和 GradCAM 可视化。
引用
@article{arxiv.2605.04904,
title = {Exploring Clustering Capability of Inpainting Model Embeddings for Pattern-based Individual Identification},
author = {Jens van Bijsterveld and Daniele Avitabile and Fons J. Verbeek and Rita Pucci},
journal= {arXiv preprint arXiv:2605.04904},
year = {2026}
}