从数据序列上的神经网络中提取鲁棒寄存器自动机
人工智能
2025-11-25 v1 形式语言与自动机理论
机器学习
摘要
自动机提取是一种用于合成黑箱神经网络的可解释代理模型的方法，这些代理模型可以进行符号化分析。现有方法假设有限输入字母表，因此不直接适用于来自连续域的数据序列。我们通过确定性寄存器自动机（DRA）来解决这一挑战，DRA 扩展了有限自动机以存储和比较数值的寄存器。我们的主要贡献是一个从黑箱模型中提取鲁棒 DRA 的框架：我们开发了针对固定数量寄存器的 DRA 的多项式时间鲁棒性检查器，并将其与被动和主动自动机学习算法相结合。这种组合产生了具有统计鲁棒性和等价性保证的代理 DRA。作为关键应用，我们使用提取的自动机来评估神经网络的鲁棒性：对于给定的序列和距离度量，DRA 要么证明局部鲁棒性，要么产生具体的反例。在循环神经网络和 Transformer 架构上的实验表明，我们的框架能够可靠地学习精确的自动机并实现原则性的鲁棒性评估。总体而言，我们的结果表明，鲁棒 DRA 提取有效地桥接了神经网络可解释性与形式化推理，而无需访问底层网络的白箱信息。
引用
@article{arxiv.2511.19100,
title = {Extracting Robust Register Automata from Neural Networks over Data Sequences},
author = {Chih-Duo Hong and Hongjian Jiang and Anthony W. Lin and Oliver Markgraf and Julian Parsert and Tony Tan},
journal= {arXiv preprint arXiv:2511.19100},
year = {2025}
}