理论保证的分布自适应学习
机器学习
2024-11-06 v1
摘要
在许多开放环境应用中，数据以流的形式收集，其分布随时间演化。如何设计具有可证明保证的算法来跟踪这些演化的数据分布，特别是在泛化能力方面，仍然是一个巨大的挑战。为了处理这一关键但很少被研究的问题，并朝着鲁棒人工智能迈出一步，本文提出了一种名为分布自适应学习（Distribution Adaptable Learning, DAL）的新型框架。它使模型能够有效跟踪演化的数据分布。通过编码特征边际分布信息（EFMDI），我们打破了最优传输的限制来刻画环境变化，并使模型能够在不同的数据分布之间复用。这增强了 DAL 在适应演化分布方面的可复用性和可演化性。此外，为了获得模型的可解释性，我们不仅分析了演化过程中局部步骤的泛化误差界，还基于 Fisher-Rao 距离研究了与整个分类器演化轨迹相关的泛化误差界。为了演示，本文还给出了框架的两个特例，以及它们的优化和收敛分析。在合成和真实世界数据分布演化任务上的实验结果验证了所提框架的有效性和实用价值。
引用
@article{arxiv.2411.02921,
title = {Theoretically Guaranteed Distribution Adaptable Learning},
author = {Chao Xu and Xijia Tang and Guoqing Liu and Yuhua Qian and Chenping Hou},
journal= {arXiv preprint arXiv:2411.02921},
year = {2024}
}