通过奖励重加权、重选择与重训练改进原型视觉解释
机器学习
2024-06-05 v4 人工智能
计算机视觉与模式识别
人机交互
摘要
近年来，研究者致力于开发深度可解释的图像分类方法，将模型输出明确归因于数据的特定特征。其中之一是原型部件网络（ProtoPNet），它尝试基于输入中有意义的部分对图像进行分类。尽管该架构能够产生视觉上可解释的分类结果，但它常常学习到基于图像中语义无意义的部分进行分类。为解决此问题，我们提出了奖励重加权、重选择与重训练（R3）后处理框架，该框架以离线且高效的方式对预训练的 ProtoPNet 执行三次额外的纠正性更新。前两步涉及基于收集到的人类反馈学习奖励模型，然后将原型与人类偏好对齐。最后一步是重训练，它将原始模型的基特征与分类器层与更新后的原型重新对齐。我们发现，我们的 R3 框架持续提升了 ProtoPNet 及其变体的可解释性与预测精度。
引用
@article{arxiv.2307.03887,
title = {Improving Prototypical Visual Explanations with Reward Reweighing, Reselection, and Retraining},
author = {Aaron J. Li and Robin Netzorg and Zhihan Cheng and Zhuoqin Zhang and Bin Yu},
journal= {arXiv preprint arXiv:2307.03887},
year = {2024}
}