自动界定泰勒余项级数:更紧的界与新应用
机器学习
2023-08-04 v3 最优化与控制
统计计算
摘要
我们提出了一种自动界定泰勒余项级数的新算法。在标量函数 的特殊情况下,我们的算法以参考点 、信赖域 和整数 作为输入,并返回一个区间 ,使得对于所有 ,满足 。与自动微分类似,函数 以符号形式提供给算法,并且必须由已知的原子函数组成。在宏观层面上,我们的算法包含两个步骤。首先,对于各种常用的初等函数(例如 、),我们利用最新发展的理论推导出泰勒余项级数的紧致多项式上下界。然后,我们使用泰勒模式自动微分的区间算术变体,递归地组合初等函数的界。我们的算法可以高效利用机器学习硬件加速器,并在JAX中提供了开源实现。随后,我们将注意力转向应用。最值得注意的是,在配套论文中,我们利用新机制创建了首个通用大化小优化算法:该算法通过自动推导而非手工推导的大化函数来迭代最小化任意损失。我们还表明,自动推导的界可用于验证全局优化和数值积分,并证明詹森不等式的更紧致版本。
引用
@article{arxiv.2212.11429,
title = {Automatically Bounding the Taylor Remainder Series: Tighter Bounds and New Applications},
author = {Matthew Streeter and Joshua V. Dillon},
journal= {arXiv preprint arXiv:2212.11429},
year = {2023}
}
备注
Previous version has been split into 3 articles: arXiv:2308.00679, arXiv:2308.00190, and this article