通用智能需要重新思考探索
人工智能
2022-11-16 v1 机器学习
摘要
我们正处于人工智能（AI）研究从“从数据中学习”向“学习该从什么数据中学习”转型的边缘。尽管一阶学习问题尚未完全解决，统一架构（如 transformer）下的大模型已将学习瓶颈从如何有效训练模型转移到如何有效获取并利用任务相关数据。这一问题我们称之为探索，是开放域（如现实世界）中学习的普遍方面。尽管 AI 中探索的研究主要局限于强化学习领域，我们认为探索对所有学习系统（包括监督学习）都至关重要。我们提出广义探索问题，以在概念上统一监督学习与强化学习中由探索驱动的学习，从而凸显不同学习设定间的关键相似性并指明开放研究挑战。重要的是，广义探索是维持开放端学习过程的必要目标，其在持续学习发现并解决新问题的过程中，为通往更通用智能提供了一条有前景的路径。
引用
@article{arxiv.2211.07819,
title = {General Intelligence Requires Rethinking Exploration},
author = {Minqi Jiang and Tim Rocktäschel and Edward Grefenstette},
journal= {arXiv preprint arXiv:2211.07819},
year = {2022}
}