面向可解释贝叶斯神经网络的图结构学习
计算与语言
2024-06-24 v1 机器学习
摘要
图是编码数据 underlying 关系结构的通用工具。通常这些图并未给定,因此从节点观察中推断其结构成为重要任务。传统方法将其形式化为带平滑性激励目标的凸逆问题,依赖迭代方法求解。在监督设置下(即图标签可用时),可将这些迭代展开并截断为深度网络进行端到端训练。此类网络参数高效且继承优化公式的归纳偏见——这在医学、金融等数据受限的场景中具有吸引力。但通常这些场景同样关注边预测的不确定性,而不仅仅是点估计。本文引入具有独立可解释参数的迭代方案,即参数的值独立于其他参数的设置即可按比例影响估计图的特征,如边稀疏性。展开这些迭代后,针对这些图特征的先验知识可形成这些可解释网络参数的先验分布,从而构建一个能够进行图结构学习(GSL)的贝叶斯神经网络(BNN)。快速执行和参数效率允许通过马尔可夫链蒙特卡洛(MCMC)实现高保真后验近似,从而对边预测进行不确定性量化。合成数据和真实数据实验证实,该模型能够提供边预测的校准不确定性估计,包括从S&P500数据中揭示经济部门模块化结构以及从MNIST图像中恢复成对数字相似性。总体而言,本框架使在数据结构不确定性至关重要的中等规模应用中实现GSL。
引用
@article{arxiv.2406.14785,
title = {Understanding Finetuning for Factual Knowledge Extraction},
author = {Gaurav Ghosal and Tatsunori Hashimoto and Aditi Raghunathan},
journal= {arXiv preprint arXiv:2406.14785},
year = {2024}
}
备注
To appear in ICML 2024