带有并发验证器的学习的泛化分析
机器学习
2022-10-12 v1
摘要
机器学习技术已广泛应用于各种实际系统中。在实际场景中，自然期望机器学习模型的输入-输出对能满足某些要求。然而，仅通过从样本中学习很难获得满足要求的模型。一种简单的解决方案是添加一个模块，用于检查输入-输出对是否满足要求，然后修改模型的输出。这种我们称之为并发验证器（concurrent verifier, CV）的模块可以提供一种认证，但尚不清楚使用 CV 会如何改变机器学习模型的泛化能力。本文对带有 CV 的学习进行了泛化分析。我们分析了机器学习模型的学习能力如何随 CV 发生变化，并展示了一种仅在推理阶段使用验证器即可获得保证假设的条件。我们还表明，在多类分类和结构化预测设置中使用 CV 时，基于 Rademacher 复杂度的典型误差界将不会大于原始模型的误差界。
引用
@article{arxiv.2210.05331,
title = {Generalization Analysis on Learning with a Concurrent Verifier},
author = {Masaaki Nishino and Kengo Nakamura and Norihito Yasuda},
journal= {arXiv preprint arXiv:2210.05331},
year = {2022}
}