PiggyBack：面向非深度学习专业人士的预训练视觉问答环境
计算机视觉与模式识别
2022-12-02 v3 人工智能
摘要
我们提出了 PiggyBack，一个视觉问答平台，允许用户轻松应用最先进的视觉-语言预训练模型。PiggyBack 支持视觉问答任务的全流程，具体包括数据处理、模型微调与结果可视化。我们集成了由 HuggingFace（一个深度学习技术的开源 API 平台）预训练的视觉-语言模型；然而，若无编程技能或深度学习知识，这些模型无法运行。因此，我们的 PiggyBack 提供了一个易于使用的基于浏览器的用户界面，并搭载多种深度学习视觉-语言预训练模型，面向普通用户与领域专家。PiggyBack 具有以下优势：基于 MIT 许可证免费可用；由于基于 Web 而具备可移植性，几乎可在任何平台上运行；全面的数据创建与处理技术；以及易于使用基于深度学习的视觉-语言预训练模型。演示视频可在 YouTube 上观看，地址为 https://youtu.be/iz44RZ1lF4s。
引用
@article{arxiv.2211.15940,
title = {PiggyBack: Pretrained Visual Question Answering Environment for Backing up Non-deep Learning Professionals},
author = {Zhihao Zhang and Siwen Luo and Junyi Chen and Sijia Lai and Siqu Long and Hyunsuk Chung and Soyeon Caren Han},
journal= {arXiv preprint arXiv:2211.15940},
year = {2022}
}
备注
Accepted by WSDM 2023