分布外学习与人类反馈
机器学习
2024-08-16 v1 机器学习
摘要
分布外（OOD）学习通常严重依赖统计方法或关于OOD数据分布的预定义假设，这阻碍了其在真实部署环境中应对OOD泛化与OOD检测等多方面挑战的有效性。本文提出了一种新颖的分布外学习与人类反馈框架，可为OOD偏移的本质提供宝贵见解，并指导有效的模型适应。我们的框架利用野外环境中自由获取的无标签数据，这些数据在协变量偏移和语义偏移两种情况下均捕获了测试时的OOD分布。为利用此类数据，我们的核心思想是选择性地提供人类反馈并对野外数据分布中少量信息丰富的样本进行标注，然后用于训练一个多类分类器和一个OOD检测器。通过利用人类反馈，我们增强了机器学习模型的鲁棒性和可靠性，使其能够以更高的精度处理OOD场景。我们提供了关于泛化误差界的理论见解以验证算法的有效性。大量实验表明，我们的方法显著优于当前最先进方法。
引用
@article{arxiv.2408.07772,
title = {Out-of-Distribution Learning with Human Feedback},
author = {Haoyue Bai and Xuefeng Du and Katie Rainey and Shibin Parameswaran and Yixuan Li},
journal= {arXiv preprint arXiv:2408.07772},
year = {2024}
}