ArchBERT：神经架构与自然语言的双模态理解
计算与语言
2023-10-30 v1
摘要
构建多模态语言模型是近年来的趋势，其中图像、视频、语音等额外模态与自然语言（即文本信息）联合学习。尽管这些具不同模态的多模态语言模型取得了成功，但目前尚无针对神经网络架构与自然语言的现有方案。将神经架构信息作为一种新模态，使我们能够通过单次推理在云端提供快速的架构到文本和文本到架构的检索/生成服务。此类方案在帮助初学和中级 ML 用户通过简单文本查询得出更好的神经架构或 AutoML 方法方面具有价值。本文中，我们提出 ArchBERT，一种用于神经架构与自然语言联合学习与理解的双模态模型，为该领域的研究开辟了新途径。我们还引入了名为掩码架构建模（MAM）的预训练策略以实现更通用的联合学习。此外，我们引入并公开发布两个新的双模态数据集用于训练和验证我们的方法。ArchBERT 的性能通过一组针对不同下游任务（如架构导向推理、问答和描述生成（摘要））的数值实验得到验证。数据集、代码和演示作为补充材料提供。
引用
@article{arxiv.2310.17737,
title = {ArchBERT: Bi-Modal Understanding of Neural Architectures and Natural Languages},
author = {Mohammad Akbari and Saeed Ranjbar Alvar and Behnam Kamranian and Amin Banitalebi-Dehkordi and Yong Zhang},
journal= {arXiv preprint arXiv:2310.17737},
year = {2023}
}
备注
CoNLL 2023