学习基础技能并重用：模块化自适应神经架构搜索（MANAS）
机器学习
2022-08-25 v2 人工智能
信息检索
符号计算
摘要
人类智能能够先学习一些解决基础问题的基础技能，再将这些基础技能组装为复杂技能以解决复杂或新问题。例如，基础技能“挖坑”“放树”“回填”和“浇水”组成复杂技能“种树”。此外，一些基础技能可被重用于解决其他问题。例如，基础技能“挖坑”不仅可用于种树，也可用于挖宝、修排水沟或填埋。学习基础技能并将其重用于各类任务的能力对人类十分重要，因为它有助于避免为每一个单独任务学习过多技能，并使通过仅学习少量基础技能来解决组合数量级的任务成为可能，从而节省人脑中相当多的记忆与计算。我们认为机器智能也应具备学习基础技能并通过组合成复杂技能来重用它们的能力。用计算机科学语言来说，每个基础技能是一个“模块”，即具有具体含义并执行特定基础操作的可重用网络。这些模块被组装为更大的“模型”以完成更复杂的任务。组装过程对输入或任务是自适应的，即对于给定的任务，模块应被组装为解决该任务的最佳模型。因此，不同的输入或任务可具有不同的组装模型，这就实现了自动组装 AI（AAAI）。本工作中，我们提出模块化自适应神经架构搜索（MANAS）来展示上述思想。在不同数据集上的实验表明，由 MANAS 组装的自适应架构优于静态全局架构。进一步的实验与实证分析为 MANAS 的有效性提供了见解。
引用
@article{arxiv.2208.11083,
title = {Learn Basic Skills and Reuse: Modularized Adaptive Neural Architecture Search (MANAS)},
author = {Hanxiong Chen and Yunqi Li and He Zhu and Yongfeng Zhang},
journal= {arXiv preprint arXiv:2208.11083},
year = {2022}
}
备注
In ACM CIKM 2022