基于自适应选择性突触阻尼的免参数调优数据录入错误遗忘
机器学习
2024-02-16 v1
摘要
数据录入构成了机器学习流程的基本组成部分，但经常导致标签错误的引入。当模型在包含此类错误的数据集上训练时，其性能会下降。这带来了有效遗忘错误数据的影响以提高模型性能的挑战，而无需完全重新训练模型。虽然存在针对已知错误条目正确标签情况的模型编辑方法，但我们专注于不知道错误数据正确标签的数据录入错误情况。我们的贡献有两点。首先，我们引入了对选择性突触阻尼遗忘方法的扩展，消除了参数调优的需求，使遗忘技术更易于从业者使用。我们展示了这种扩展——自适应选择性突触阻尼（ASSD）——在各种 ResNet18 和 Vision Transformer 遗忘任务上的性能。其次，我们展示了 ASSD 在使用真实世界数据的供应链延迟预测问题中的性能，其中我们随机引入了不同级别的标签错误。这种方法的应用在工业环境中特别引人注目，例如供应链管理，其中很大一部分数据录入是通过 Excel 表格手动完成的，因此容易出错。ASSD 在通用遗忘基准测试以及错误纠正问题上表现出强劲的性能，在后者中其表现优于用于错误纠正的微调方法。
引用
@article{arxiv.2402.10098,
title = {Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening},
author = {Stefan Schoepf and Jack Foster and Alexandra Brintrup},
journal= {arXiv preprint arXiv:2402.10098},
year = {2024}
}