通过结合逻辑推理的统计学习提升认证鲁棒性
机器学习
2023-04-13 v9 密码学与安全
机器学习
摘要
近来，为使复杂机器学习模型的认证鲁棒性快速提升，算法层面已投入大量努力。然而，当前的鲁棒性认证方法仅能在有限的扰动半径下提供认证。鉴于现有的纯数据驱动统计方法已遇到瓶颈，本文提出将统计机器学习模型与知识（以逻辑规则表示）作为推理组件，利用马尔可夫逻辑网络（MLN）相集成，以进一步提升整体认证鲁棒性。这为认证此类范式（尤其是推理组件，如MLN）的鲁棒性带来了新的研究问题。作为理解这些问题的第一步，我们首先证明认证MLN鲁棒性的计算复杂度为#P-hard。受该困难性结果的引导，我们随后通过仔细分析不同模型机制，推导出了首个MLN的认证鲁棒性界。最后，我们在包括高维图像与自然语言文本在内的五个数据集上进行了广泛实验，结果表明，结合基于知识的逻辑推理的认证鲁棒性确实显著优于当前最优方法（state-of-the-arts）。
引用
@article{arxiv.2003.00120,
title = {Improving Certified Robustness via Statistical Learning with Logical Reasoning},
author = {Zhuolin Yang and Zhikuan Zhao and Boxin Wang and Jiawei Zhang and Linyi Li and Hengzhi Pei and Bojan Karlas and Ji Liu and Heng Guo and Ce Zhang and Bo Li},
journal= {arXiv preprint arXiv:2003.00120},
year = {2023}
}
备注
Accepted by 36th Conference on Neural Information Processing Systems (NeurIPS 2022)