通过因果自对话实现可解释性
人工智能
2022-11-21 v1 计算与语言
机器学习
摘要
解释AI系统的行为是一个重要问题，但在实践中通常被回避。尽管XAI社区已开发出大量技术，但大多数带来了深度学习广大社区在大多数情况下不愿付出的一系列代价。我们对此问题采取务实观点，定义了一组既捕捉XAI抱负又兼顾深度学习实际约束的需求。我们描述了满足所有需求的有效途径：训练AI系统构建自身的因果模型。我们为深度强化学习（Deep RL）智能体开发了该解决方案的一个实例：因果自对话（Causal Self-Talk, CST）。CST通过训练智能体跨时间自我通信来运作。我们在模拟3D环境中实现了该方法，并展示它如何使智能体生成忠实且具语义意义的自身行为解释。除解释外，我们还证明这些习得模型为构建AI系统的语义控制接口提供了新途径。
引用
@article{arxiv.2211.09937,
title = {Explainability Via Causal Self-Talk},
author = {Nicholas A. Roy and Junkyung Kim and Neil Rabinowitz},
journal= {arXiv preprint arXiv:2211.09937},
year = {2022}
}