具有任意微分阶硬约束的神经场
机器学习
2023-10-31 v2 数值分析
数值分析
摘要
尽管深度学习技术已极为流行用于求解广泛的优化问题，但在优化过程中强制硬约束的方法（尤其在深度神经网络上）仍不成熟。受无网格插值丰富文献及其在科学计算中向谱配点法扩展的启发，我们开发了一系列在神经场上强制硬约束的方法，称之为约束神经场（CNF）。约束可指定为作用于神经场及其导数的线性算子。我们还针对标准模型可能遇到困难的问题设计了特定的模型表示与训练策略，如受约束时系统的条件数、内存消耗与网络容量。我们的方法在广泛的实际应用中得到展示。此外，我们开发了一个支持高效模型与约束指定的框架，可轻易应用于任何需在优化中显式满足硬约束的下游任务。
引用
@article{arxiv.2306.08943,
title = {Neural Fields with Hard Constraints of Arbitrary Differential Order},
author = {Fangcheng Zhong and Kyle Fogarty and Param Hanji and Tianhao Wu and Alejandro Sztrajman and Andrew Spielberg and Andrea Tagliasacchi and Petra Bosilj and Cengiz Oztireli},
journal= {arXiv preprint arXiv:2306.08943},
year = {2023}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023)