超越规模扩展：从深度网络中进行感知知识的简约学习
机器学习
2024-12-18 v3 人工智能
摘要
对训练数据集、可学习参数和计算资源的暴力规模扩展，已成为开发更鲁棒学习模型的主流策略。然而，由于数据、计算和信任方面的瓶颈，该策略的可持续性令人严重担忧。在本文中，我们尝试以简约的方式（即用更简单的模型实现更大的潜力）来解决这个问题。关键在于利用领域特定知识（如符号、逻辑和公式）来驱动模型，而不是纯粹依赖规模扩展。这种方法使我们能够构建一个框架，将这些知识作为“构建模块”，在模型设计、训练和解释中实现简约。实验结果表明，我们的方法超越了通常遵循缩放定律的方法。我们还在人工智能驱动的科学（AI for science）中展示了我们的框架，具体是在药物相互作用预测问题上。我们希望我们的研究能在基础模型时代促进更多样化的技术路线图。
引用
@article{arxiv.2407.00478,
title = {Beyond Scaleup: Knowledge-aware Parsimony Learning from Deep Networks},
author = {Quanming Yao and Yongqi Zhang and Yaqing Wang and Nan Yin and James Kwok and Qiang Yang},
journal= {arXiv preprint arXiv:2407.00478},
year = {2024}
}
备注
Accepted to AI Magazine