可解释图像相似性：融合孪生网络与 Grad-CAM
计算机视觉与模式识别
2025-10-27 v2 人工智能
机器学习
摘要
随着图像类应用在各领域的激增，对准确且可解释的图像相似性度量的需求变得日益关键。现有图像相似性模型常缺乏透明度，难以理解两幅图像被判为相似的原因。本文提出可解释图像相似性的概念，其目标是开发一种能够提供相似性分数及视觉事实与反事实解释的方法。据此，我们提出一个融合孪生网络与 Grad-CAM 以提供可解释图像相似性的新框架，并讨论采用该方法的潜在益处与挑战。此外，我们全面探讨了所提框架提供的事实与反事实解释在辅助决策方面的作用。该方法有望提升现实图像相似性应用中基于图像系统的可解释性、可信度与用户接受度。实现代码见 https://github.com/ioannislivieris/Grad_CAM_Siamese.git。
引用
@article{arxiv.2310.07678,
title = {Explainable Image Similarity: Integrating Siamese Networks and Grad-CAM},
author = {Ioannis E. Livieris and Emmanuel Pintelas and Niki Kiriakidou and Panagiotis Pintelas},
journal= {arXiv preprint arXiv:2310.07678},
year = {2025}
}
备注
The manuscript has been accepted for publication in "Journal of Imaging"