Uni-Perceiver：面向零样本与少样本任务的通用感知统一架构预训练
计算机视觉与模式识别
2021-12-03 v1
摘要
动物的生物智能系统通过整合不同模态的信息并同时处理各种任务来感知世界。相比之下，当前机器学习研究遵循任务特定的范式，导致任务间协作低效，且为新生任务开发感知模型的高边际成本。在本文中，我们提出一种名为Uni-Perceiver的通用感知架构，其以统一建模和共享参数处理多种模态与任务。具体而言，Uni-Perceiver通过模态无关的Transformer编码器和轻量级模态特定分词器，将任意模态的不同任务输入与目标编码到统一表示空间中。不同感知任务被建模为相同形式，即通过其表示的相似度为每个输入寻找最大似然目标。该模型在多个单模态与多模态任务上预训练，并在多种下游任务上评估，包括预训练阶段未出现的新任务。结果表明，我们的预训练模型无需任何调优即可在新任务上取得合理性能。通过在1%的下游任务数据上进行提示调优，性能可提升至接近最先进方法的水平。全数据微调进一步取得与最先进结果相当或更优的结果。代码将发布。
引用
@article{arxiv.2112.01522,
title = {Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks},
author = {Xizhou Zhu and Jinguo Zhu and Hao Li and Xiaoshi Wu and Xiaogang Wang and Hongsheng Li and Xiaohua Wang and Jifeng Dai},
journal= {arXiv preprint arXiv:2112.01522},
year = {2021}
}