逆演化层：深度神经网络的物理信息正则化器
机器学习
2024-07-02 v2 数值分析
数值分析
摘要
采用偏微分方程（PDE）的传统图像处理方法为广泛的图像相关任务提供了大量有意义的规整子以及宝贵的理论基础。这使其集成到神经网络中成为一条有前景的途径。本文受基于PDE的演化模型逆过程启发，提出一种新颖的正则化方法。具体而言，我们提出逆演化层（IEL），其作为不良性质放大器，对输出具有不期望特征的神经网络进行惩罚。利用IEL，可实现特定的正则化目标，并赋予神经网络输出以相应PDE模型的性质。我们聚焦于使用热扩散IEL的语义分割任务的实验，证明了其在缓解噪声标签影响上的有效性。此外，我们开发了曲线运动IEL，以在基于神经网络的分段模型中强制凸形状正则化，防止生成凹形输出。理论分析确认了IEL作为一种有效正则化机制的功效，特别是在处理带标签问题的训练时。
引用
@article{arxiv.2307.07344,
title = {Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks},
author = {Chaoyu Liu and Zhonghua Qiao and Chao Li and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2307.07344},
year = {2024}
}