训练图像导数：提升精度与实现通用鲁棒性
机器学习
2025-02-04 v3 计算机视觉与模式识别
摘要
导数训练是一种成熟的方法，在特定低维任务中能显著提升神经网络的精度。本文将这一改进扩展到一个说明性图像分析问题：从图像中重建立方体的顶点。通过对立方体六个自由度的导数进行训练，我们在无噪声输入下实现了精度 25 倍的提升。此外，导数知识提供了一种增强网络鲁棒性的新途径；传统上鲁棒性被理解为两类脆弱性：对微小扰动的过度敏感，以及未能检测显著图像变化。常规的鲁棒训练依赖于输出不变性，这在这两类脆弱性之间固有地产生了权衡。通过利用导数信息，我们计算出对任意输入扰动的非平凡输出变化。这解决了权衡问题，得到了比不变性假设下最佳情况鲁棒性翻倍且精度提高五倍的网络。与常规鲁棒训练不同，该结果可通过简单增大网络容量而进一步改善。该方法适用于相位恢复问题以及其他能获得充分光滑流形参数化的场景。
引用
@article{arxiv.2310.14045,
title = {Training Image Derivatives: Increased Accuracy and Universal Robustness},
author = {Vsevolod I. Avrutskiy},
journal= {arXiv preprint arXiv:2310.14045},
year = {2025}
}