DC4L:通过数据驱动控制实现分布偏移恢复的深度学习方法
机器学习
2024-05-17 v3 计算机视觉与模式识别
摘要
深度神经网络已被反复证明对非真实世界的不确定性缺乏鲁棒性,即便对自然发生的扰动亦然。当前绝大多数方法聚焦于数据增强技术,以扩展分类器训练时所接触的扰动范围。一条同样大有前景但相对未被充分探索的途径是根据扰动性质,将图像净化作为预处理步骤。本文中,我们提出对习得模型使用控制以在线从分布偏移中恢复。具体而言,我们的方法施加一系列语义保持变换,以依据Wasserstein距离将偏移数据在分布上拉近训练集。我们的途径为:1)将分布偏移恢复问题表述为马尔可夫决策过程,并用强化学习求解;2)确定应用本方法所需的数据最小条件,并通过二分类器在线核查;3)通过正交投影进行降维以辅助Wasserstein距离估计。我们提供理论证据表明正交投影在分布层面保持数据特征。我们将分布偏移恢复方法应用于ImageNet-C分布偏移基准,在多种最先进ImageNet分类器上实现了平均准确率最高14.21%的提升。我们进一步表明本方法可泛化至ImageNet-C基准中偏移的组合,平均准确率提升最高达9.81%。最后,我们在CIFAR-100-C上测试本方法,报告最高8.25%的提升。
引用
@article{arxiv.2302.10341,
title = {DC4L: Distribution Shift Recovery via Data-Driven Control for Deep Learning Models},
author = {Vivian Lin and Kuk Jin Jang and Souradeep Dutta and Michele Caprio and Oleg Sokolsky and Insup Lee},
journal= {arXiv preprint arXiv:2302.10341},
year = {2024}
}