BOND：使用黑盒函数进行训练的许可
机器学习
2026-02-03 v2
摘要
我们提出了有界数值微分（BOND），一种用于估计黑盒函数梯度的微扰方法。BOND的独特之处在于其公式化表述，通过自适应地限制扰动来确保准确的符号估计，以及其实现方式，即在黑盒接口处运行。这使得BOND相比现有方法更准确且更具可扩展性，从而促进了包含非自动微分模块的架构的端到端训练。我们观察到，这些在我们的实验中作为冻结网络实现的模块，可以在不增加可训练参数数量的情况下提升模型性能。我们的发现突显了利用固定变换来扩展模型容量的潜力，指出了混合模拟-数字设备作为扩展网络的途径，并为自适应优化器的动力学提供了见解。
引用
@article{arxiv.2510.25074,
title = {BOND: License to Train with Black-Box Functions},
author = {Andrew Clark and Jack Moursounidis and Osmaan Rasouli and William Gan and Cooper Doyle and Anna Leontjeva},
journal= {arXiv preprint arXiv:2510.25074},
year = {2026}
}
备注
12 pages main, Appendix 10 pages, 6 figures in main body, 10 overall