视觉一致的层次图像分类
计算机视觉与模式识别
2025-04-18 v2
摘要
层次分类是在不同分类学层次上预测标签，例如从粗糙级 '鸟' 到中级 '蜂鸟' 再到细级 '绿色霪鸟'，允许在不同视觉条件下进行灵活的识别。它通常被建模为多个单层任务，但每个层次可能依赖不同的视觉线索：区分 '鸟' 和 '植物' 依赖于全球特征，如羽毛或叶子，而将 'Anna 的蜂鸟' 与 '绿色霪鸟' 区分开来则需要局部细节，如头部颜色。先前的方法通过使用外部语义监督来提高准确率，但这些统计学习准则在测试时无法确保视觉 grounding 的一致性，导致错误的层次分类。我们首次提出通过在图像内部进行分割来对齐细到粗的预测，从而强制执行内部视觉一致性。我们的方法在层次分类基准测试中超越了零样本 CLIP 和最新基线，实现更高的准确率和更一致的预测。它还可以在不需要像素级注释的情况下提高内部图像分割。
引用
@article{arxiv.2406.11608,
title = {Visually Consistent Hierarchical Image Classification},
author = {Seulki Park and Youren Zhang and Stella X. Yu and Sara Beery and Jonathan Huang},
journal= {arXiv preprint arXiv:2406.11608},
year = {2025}
}
备注
Accepted to ICLR 2025