通过因果发现与领域知识融合提升神经网络性能
机器学习
2024-12-25 v3 人工智能
统计方法学
摘要
在本文中，我们开发了一种通用方法，将观测变量间的层次因果结构编码到神经网络中，以提升其预测性能。所提出的方法称为因果知情神经网络（causality-informed neural network, CINN），它利用三个连贯的步骤将结构因果知识系统地映射到神经网络的层间设计，同时严格保持每条因果关系的方向。第一步，CINN 通过有向无环图（directed acyclic graph, DAG）学习从观测数据中发现因果关系，其中因果发现被重构为连续优化问题以避免组合爆炸。第二步，将发现的观测变量间层次因果结构通过专用架构和定制损失函数系统编码进神经网络。通过将因果 DAG 中的变量分类为根节点、中间节点和叶节点，层次因果 DAG 被转化为 CINN，且因果 DAG 中的节点与 CINN 中的单元一一对应，同时保持这些节点的相对顺序。关于损失函数，DAG 图中的中间节点和叶节点在 CINN 训练期间均被视为目标输出，以驱动不同类型节点间因果关系的协同学习。由于 CINN 中出现多个损失分量，我们利用冲突梯度的投影来缓解多学习任务间的梯度干扰。在广泛 UCI 数据集上的计算实验表明，CINN 在预测性能上相较其他 SOTA 方法具有显著优势。此外，消融研究强调了融合结构性与定量因果知识对逐步提升神经网络预测性能的价值。
引用
@article{arxiv.2311.17303,
title = {Enhancing the Performance of Neural Networks Through Causal Discovery and Integration of Domain Knowledge},
author = {Xiaoge Zhang and Xiao-Lin Wang and Fenglei Fan and Yiu-Ming Cheung and Indranil Bose},
journal= {arXiv preprint arXiv:2311.17303},
year = {2024}
}