论干预型Kullback-Leibler散度
机器学习
2023-03-13 v1 人工智能
摘要
现代机器学习方法在静态设定下表现出色，即针对给定任务有大量独立同分布训练数据可用。然而，在动态环境中，智能体需要能够跨域迁移知识并重用所学组件。有观点认为，这或许可以通过因果模型实现，旨在以独立因果机制反映真实世界的模块性。但是，给定数据集下的真实因果结构通常是不可识别的，因此期望有方法能在观测与干预层面上量化模型间（例如真实值与估计值之间）的差异。在本工作中，我们引入干预型Kullback-Leibler（IKL）散度，基于由真实值干预生成的一组有限多环境分布，来量化模型间结构与分布上的差异。由于我们通常无法针对每一有限干预分布集量化因果模型间的所有差异，我们提出了关于干预目标的一个充分条件，以识别模型可被证明一致或不一致的观测变量子集。
引用
@article{arxiv.2302.05380,
title = {On the Interventional Kullback-Leibler Divergence},
author = {Jonas Wildberger and Siyuan Guo and Arnab Bhattacharyya and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:2302.05380},
year = {2023}
}