使用层次网络剖析解释人脸推理模型
计算机视觉与模式识别
2022-03-30 v2
摘要
本文提出了层次网络剖析，一个用于解释以人脸为中心的推理模型内部表示的通用流程。使用概率公式，我们的流程将模型单元与我们的“人脸字典”中的概念配对，该字典是一个包含相应样本图像的人脸概念集合。我们的流程受到网络剖析的启发，后者是一种流行的针对以物体为中心和以场景为中心的模型的可解释性模型。然而，我们的公式能够处理以人脸为中心的模型面临的两个网络剖析无法解决的重要挑战：(1) 概念的空间重叠：在同一图像区域同时出现不同的人脸概念，例如“鼻子”（人脸部位）和“尖鼻子”（人脸属性）；以及 (2) 全局概念：存在与不指向人脸特定位置的概念（例如表观年龄）具有亲和力的单元。我们使用层次网络剖析来剖析在不同广泛使用的人脸数据集上训练的不同以人脸为中心的推理模型。结果表明，为不同任务训练的模型学习了不同的内部表示。此外，可解释性结果可以揭示训练数据中的一些偏差以及以人脸为中心的推理任务的一些有趣特性。最后，我们在有偏数据上进行了对照实验，以展示层次网络剖析在偏差发现方面的潜力。结果说明了如何使用层次网络剖析来发现和量化训练数据中也被编码在模型中的偏差。
引用
@article{arxiv.2108.10360,
title = {Interpreting Face Inference Models using Hierarchical Network Dissection},
author = {Divyang Teotia and Agata Lapedriza and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:2108.10360},
year = {2022}
}