多首一脑：Fusion Brain——一项竞赛与单一多模态多任务架构
计算机视觉与模式识别
2022-12-29 v4 人工智能
计算与语言
摘要
为顺应 AI 社区当前趋势，我们提出了名为 Fusion Brain 的 AI Journey 2021 挑战赛，这是首个旨在构建能够处理不同模态（此处为图像、文本与代码）并解决视觉与语言多项任务的通用架构的竞赛。Fusion Brain 挑战赛结合了以下具体任务：Code2code 翻译、手写文本识别、零样本目标检测与视觉问答。我们为每个任务创建了数据集以测试参赛方案。此外，我们收集并公开了一个由 94,128 对图像与文本组成的新的英俄双语手写数据集。我们还提出了一种多模态多任务架构——一个基线方案，其核心为一个冻结的基础模型，并以融合模式与单任务模式联合训练。所提出的融合方法被证明具有竞争力，且相比任务专用方法更为节能。
引用
@article{arxiv.2111.10974,
title = {Many Heads but One Brain: Fusion Brain -- a Competition and a Single Multimodal Multitask Architecture},
author = {Daria Bakshandaeva and Denis Dimitrov and Vladimir Arkhipkin and Alex Shonenkov and Mark Potanin and Denis Karachev and Andrey Kuznetsov and Anton Voronov and Vera Davydova and Elena Tutubalina and Aleksandr Petiushko},
journal= {arXiv preprint arXiv:2111.10974},
year = {2022}
}