面向视觉搜索、检索与相似性学习的公理化解释
机器学习
2022-03-17 v3 计算机视觉与模式识别
人机交互
信息检索
摘要
视觉搜索、推荐与对比相似性学习支撑着影响全球数十亿用户的技术。现代模型架构可能十分复杂且难以解释，并且有多种相互竞争的技术可用于解释搜索引擎的行为。我们表明，公平信用分配理论提供了一种的公理化解决方案，它推广了文献中若干现有的推荐与度量可解释性技术。利用这一形式体系，我们展示了现有方法何时违背“公平性”，并推导出规避这些缺陷且能自然处理反事实信息的方法。更具体地，我们表明现有方法隐式地近似二阶 Shapley-Taylor 指数，并将 CAM、GradCAM、LIME、SHAP、SBSM 及其他方法扩展到搜索引擎。这些扩展能够从训练好的模型中提取图像间的成对对应关系。我们还引入了一种快速的基于核的方法来估计 Shapley-Taylor 指数，其收敛所需的函数评估次数减少了数个数量级。最后，我们表明这些博弈论度量能为图像相似性架构提供更一致的解释。
引用
@article{arxiv.2103.00370,
title = {Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning},
author = {Mark Hamilton and Scott Lundberg and Lei Zhang and Stephanie Fu and William T. Freeman},
journal= {arXiv preprint arXiv:2103.00370},
year = {2022}
}