Learngene：从开放世界到你的学习任务
机器学习
2022-06-20 v3 人工智能
摘要
尽管深度学习在固定的大规模数据集上取得了显著进展，但它通常在开放世界场景下难以正确检测未知/未见类、存在过参数化以及小样本过拟合等问题。由于生物系统能很好地克服上述困难，个体从演化了数亿年的集体生物中继承先天基因，然后通过少量样本学习新技能。受此启发，我们提出一种实用的集体-个体范式，其中演化（可扩展）网络在顺序任务上训练，随后在真实世界中识别未知类。此外，提出 learngene，即用于目标模型初始化规则的学习基因，以从集体模型继承元知识并在目标任务上重构轻量级个体模型。特别地，提出一种新准则，根据梯度信息在集体模型中发现 learngene。最后，个体模型仅在目标任务上以少量样本训练。我们通过广泛的实证研究和理论分析证明了我们方法的有效性。
引用
@article{arxiv.2106.06788,
title = {Learngene: From Open-World to Your Learning Task},
author = {Qiufeng Wang and Xin Geng and Shuxia Lin and Shiyu Xia and Lei Qi and Ning Xu},
journal= {arXiv preprint arXiv:2106.06788},
year = {2022}
}
备注
To be appeared in AAAI-22