一种简单而有效的元学习范式鲁棒化策略
机器学习
2023-10-03 v1 人工智能
摘要
元学习是一种有望实现跨任务技能迁移的范式。以往大多数方法在优化中采用经验风险最小化原则。然而，由此产生的最坏快速适应在部分任务子集上可能在风险敏感场景中带来灾难性后果。为增强快速适应的鲁棒性，本文从分布鲁棒视角优化元学习流程，并采用期望尾风险度量对模型进行元训练。我们以两阶段策略作为启发式方法求解鲁棒元学习问题，将最坏快速适应情形控制在一定概率水平内。实验结果表明，我们的简单方法能够提升元学习对任务分布的鲁棒性，并降低最坏快速适应风险的条件期望。
引用
@article{arxiv.2310.00708,
title = {A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm},
author = {Qi Wang and Yiqin Lv and Yanghe Feng and Zheng Xie and Jincai Huang},
journal= {arXiv preprint arXiv:2310.00708},
year = {2023}
}