任意路数元学习
机器学习
2024-01-11 v1 人工智能
摘要
尽管元学习在快速适应性领域展现出良好性能，但它受限于固定的路数。当面对训练期间未见过的、具有不同路数的任务时，模型便失去其能力。本文中，我们通过利用情景任务采样中随机数值标签分配所产生的“标签等价性”来应对并解决这一挑战。通过追问什么定义了“真正的”元学习，我们引入了“任意路数”学习范式，这是一种创新的模型训练方法，将模型从固定路数约束中解放出来。令人惊讶的是，该模型不仅在性能、收敛速度和稳定性上匹敌，甚至常常超越传统的固定路数模型。这颠覆了关于领域泛化的既定观念。此外，我们认为固有的标签等价性自然缺乏语义信息。为弥合因标签等价性而产生的这一语义信息鸿沟，我们进一步提出了一种向模型注入语义类别信息的机制。这将增强模型的理解能力和功能性。在MAML和ProtoNet等知名架构上进行的实验证实了我们方法的有效性。
引用
@article{arxiv.2401.05097,
title = {Any-Way Meta Learning},
author = {Junhoo Lee and Yearim Kim and Hyunho Lee and Nojun Kwak},
journal= {arXiv preprint arXiv:2401.05097},
year = {2024}
}