为人体重识别学习信息性注意力权重
计算机视觉与模式识别
2025-12-24 v2 机器学习
摘要
注意力机制在深度学习中得到广泛应用，近期研究致力于将注意力模块集成到深度神经网络（DNN）用于人体重识别（Re-ID），以提升其判别特征学习能力。现有注意力模块（包括自注意力和通道注意力）学习的注意力权重用于量化特征标记或特征通道的重要性。然而，现有注意力方法未显式确保注意力权重对输入图像中人物身份的预测具有信息性，可能导致从输入图像中引入噪声信息。为此，我们提出一种新方法，称为 Information Bottleneck（IB）损失的“瓶颈减少”（Reduction of Information Bottleneck，RIB），灵感来自 IB 原理。我们推导了 IB 损失的一个无分布假设且高效的变分上界（IB upper bound，IBB），可通过标准 SGD 进行优化，并纳入 RIB 模型的训练损失中。将 RIB 应用于具有自注意力模块的 DNN，通过一种新颖的可微通道选择注意力模块（Differentiable Channel Selection Attention，DCS-Attention），该模块用于计算注意力权重时选择最具信息性的通道，形成一系列具竞争性能的模型，称为 RIB-DCS。RIB 也被集成到具有现有通道注意力模块的 DNN 中，以促进学习信息性通道注意力权重，形成称为 RIB-CA 的模型。RIB-DCS 和 RIB-CA 均应用于固定神经网络主干网络和可学习主干网络（使用可微可分神经网络架构搜索，DNAS）。在多个人体重识别基准数据集上进行大量实验表明，RIB 在提升 DNN 用于人体重识别的预测准确率方面具有显著效果，甚至在进行遮挡人体重识别时也同样有效。
引用
@article{arxiv.2505.08961,
title = {Learning Informative Attention Weights for Person Re-Identification},
author = {Yancheng Wang and Nebojsa Jojic and Yingzhen Yang},
journal= {arXiv preprint arXiv:2505.08961},
year = {2025}
}