角度视觉难度
机器学习
2020-07-14 v4 计算机视觉与模式识别
机器学习
摘要
近期的卷积神经网络（CNN）取得了令人印象深刻的性能，但常存在校准不良的问题。它们往往过于自信，模型置信度并不总能反映底层真实的模糊性与难度。本文中，我们提出角度视觉难度（AVH），即由样本特征嵌入与目标分类器之间的归一化角度距离给出的分数，用以度量样本难度。我们通过深入而广泛的科学研究验证了该分数，并观察到准确率最高的 CNN 模型也具有最好的 AVH 分数。这与早前发现的最先进模型在更难样本的分类上有所改进相一致。我们观察到 AVH 的训练动态与训练损失大不相同。具体而言，即便训练损失持续改善，AVH 对所有样本都迅速达到平台期。这表明需要设计能更有效针对更难样本的更好损失函数。我们还发现 AVH 与人类视觉难度具有统计显著的关联性。最后，我们展示了 AVH 对多种应用的好处，例如用于域适应的自训练与域泛化。
引用
@article{arxiv.1912.02279,
title = {Angular Visual Hardness},
author = {Beidi Chen and Weiyang Liu and Zhiding Yu and Jan Kautz and Anshumali Shrivastava and Animesh Garg and Anima Anandkumar},
journal= {arXiv preprint arXiv:1912.02279},
year = {2020}
}