多面手，多专长：一个多用途 Transformer 智能体
人工智能
2024-07-11 v3
摘要
寻找能够跨多个领域无缝运行的通用模型仍然是机器学习研究的一个关键目标。强化学习 (Reinforcement Learning, RL) 中的主流方法通常将模型局限于单模态框架下的单一任务，这一限制与构建多功能、跨领域模型的更宏大愿景相悖。在本文中，我们提出了 Jack of All Trades (JAT)，一种基于 Transformer 的模型，其独特的设计针对处理序列决策任务和多模态数据类型进行了优化。JAT 模型通过在截然不同的 RL 基准上取得强劲表现，并在计算机视觉 (Computer Vision, CV) 和自然语言处理 (Natural Language Processing, NLP) 任务上取得有前景的结果，展示了其稳健的能力和多功能性，且所有任务均使用同一套权重。JAT 模型标志着向更通用的跨领域 AI 模型设计迈出了重要一步，值得注意的是，它是同类模型中首个在 https://huggingface.co/jat-project/jat 完全开源的模型，包含一个开创性的通用数据集。
引用
@article{arxiv.2402.09844,
title = {Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent},
author = {Quentin Gallouédec and Edward Beeching and Clément Romac and Emmanuel Dellandréa},
journal= {arXiv preprint arXiv:2402.09844},
year = {2024}
}