CaTs 与 DAG：将有向无环图集成到 Transformer 以实现因果约束预测
机器学习
2026-01-28 v5 机器学习
摘要
人工神经网络（ANN），包括全连接网络和 Transformer，具有高度的灵活性和强大的函数逼近能力，广泛应用于计算机视觉和自然语言处理等领域。然而，它们无法本质上遵守因果结构，可能限制其鲁棒性，使其对协变量漂移敏感且难以解释。 这在实际应用中对可靠性提出了重大挑战。本文引入因果 Transformer（Causal Transformers, CaTs），一种在给定的有向无环图（DAG）指定的因果约束下运行的通用模型类。CaTs 保留了传统神经网络的强大函数逼近能力，同时遵循底层结构约束，在推断时提高了鲁棒性、可靠性和可解释性。这一方法为在更具挑战性的实际场景中部署神经网络开辟了新途径，尤其是在那些对鲁棒性和可解释性至关重要的场景。
关键词
引用
@article{arxiv.2410.14485,
title = {CaTs and DAGs: Integrating Directed Acyclic Graphs with Transformers for Causally Constrained Predictions},
author = {Matthew J. Vowels and Mathieu Rochat and Sina Akbari},
journal= {arXiv preprint arXiv:2410.14485},
year = {2026}
}