用于可解释预测的变分信息追踪

机器学习社区对开发“设计上即可解释”的预测算法的兴趣日益浓厚。为此，近期的工作提出通过顺序提出关于数据的可解释查询，直到可以根据获得的答案（历史记录）以高置信度做出预测，从而做出可解释的决策。为了促进简短的查询-回答链，使用了一种称为信息追踪（IP）的贪心过程，该过程按信息增益顺序自适应地选择查询。生成模型被用于学习查询-回答和标签的分布，进而用于估计信息量最大的查询。然而，对于复杂任务，使用完整的数据生成模型进行学习和推断通常是难以处理的。在这项工作中，我们提出了变分信息追踪（V-IP），这是 IP 的一种变分刻画，它绕过了学习生成模型的需要。V-IP 基于寻找一个查询选择策略和一个分类器，以最小化真实标签和预测标签之间的期望交叉熵。然后我们证明 IP 策略是该问题的最优解。因此，我们无需学习生成模型，而是可以使用我们的最优策略在给定任何历史记录的情况下直接选择信息量最大的查询。随后，我们通过使用深度网络定义策略和分类器的有限维参数化，并使用我们的目标函数进行端到端训练，从而开发了一种实用算法。在实验中，V-IP 在不同的视觉和 NLP 任务上比 IP 快 10-100 倍，且性能具有竞争力。此外，与通常用于序列决策问题的强化学习相比，V-IP 能找到更短的查询链。最后，我们在医学诊断等具有挑战性的任务上展示了 V-IP 的效用，其性能远优于生成建模方法。