“层次化”视觉表示真的具有层次性吗？
计算机视觉与模式识别
2023-11-27 v2 人工智能
机器学习
摘要
学到的视觉表示常捕获大量语义信息以用于准确的下游应用。人类对世界的理解从根本上基于层次结构。为模仿这一点并进一步提升表示能力，学界已探索旨在对视觉世界底层层次建模的“层次化”视觉表示。本工作中，我们着手调查层次化视觉表示是否比标准学习表示更好地捕获人类感知的层次。为此，我们创建了 HierNet，一套涵盖来自 ImageNet 的 BREEDs 子集的 3 类层次、共 12 个数据集。在对双曲表示与 Matryoshka 表示跨训练设置进行广泛评估后，我们得出结论：它们并不比标准表示更好地捕获层次，但可在搜索效率与可解释性等其他方面提供帮助。我们的基准与数据集已在 https://github.com/ethanlshen/HierNet 开源。
引用
@article{arxiv.2311.05784,
title = {Are "Hierarchical" Visual Representations Hierarchical?},
author = {Ethan Shen and Ali Farhadi and Aditya Kusupati},
journal= {arXiv preprint arXiv:2311.05784},
year = {2023}
}