超越独热编码：注入语义以驱动图像分类器
计算机视觉与模式识别
2023-08-02 v1 人工智能
机器学习
摘要
图像承载着与现实世界本体论相关的语义信息：狗的品种具有哺乳动物的相似性，食物图片常出现在家庭环境中，等等。然而，在训练用于图像分类的机器学习模型时，物体类别之间的相对相似性通常与独热编码标签配对。按照这一逻辑，如果一张图像被标记为“勺子”，那么“茶匙”和“鲨鱼”在训练损失上同样错误。为克服这一局限，我们探索整合反映本体论和语义知识的额外目标，以提升模型的可解释性和可信度。我们提出了一种通用方法，可从关于分类标签的任意语义信息推导出额外的损失项。首先，我们展示如何将该方法应用于本体论和词嵌入，并讨论所得信息如何驱动监督学习过程。其次，我们使用语义增强损失训练图像分类器，并分析准确率、错误严重度与学习到的内部表示之间的权衡。最后，我们讨论了该方法在可解释性和对抗鲁棒性方面的进一步利用。代码仓库：https://github.com/S1M0N38/semantic-encodings
引用
@article{arxiv.2308.00607,
title = {Beyond One-Hot-Encoding: Injecting Semantics to Drive Image Classifiers},
author = {Alan Perotti and Simone Bertolotto and Eliana Pastor and André Panisson},
journal= {arXiv preprint arXiv:2308.00607},
year = {2023}
}
备注
This work has been accepted to be presented to The 1st World Conference on eXplainable Artificial Intelligence (xAI 2023), July 26-28, 2023 - Lisboa, Portugal