利用双曲视觉层次映射改进视觉识别
计算机视觉与模式识别
2024-04-02 v1
摘要
视觉场景自然地组织成层次结构，其中粗略的语义递归地由若干精细细节组成。探索这种视觉层次对于识别视觉元素之间的复杂关系至关重要，有助于实现对场景的全面理解。在本文中，我们提出了一种视觉层次映射器，这是一种用于增强预训练深度神经网络结构化理解的新方法。Hi-Mapper 通过以下方式研究视觉场景的层次组织：1）通过封装概率密度预定义层次树；2）使用新型的层次对比损失在双曲空间中学习层次关系。预定义的层次树通过层次分解和编码过程与预训练 DNN 的视觉特征递归交互，从而有效地识别视觉层次并增强对整个场景的识别能力。大量实验表明，Hi-Mapper 显著增强了 DNN 的表示能力，在包括图像分类和密集预测任务在内的各种任务上提升了性能。
引用
@article{arxiv.2404.00974,
title = {Improving Visual Recognition with Hyperbolical Visual Hierarchy Mapping},
author = {Hyeongjun Kwon and Jinhyun Jang and Jin Kim and Kwonyoung Kim and Kwanghoon Sohn},
journal= {arXiv preprint arXiv:2404.00974},
year = {2024}
}
备注
This paper is accepted to CVPR 2024. The supplementary material is included. The code is available at \url{https://github.com/kwonjunn01/Hi-Mapper}