异质化预训练视觉深度网络社区中的指称通信
计算机视觉与模式识别
2025-04-09 v7 人工智能
机器学习
摘要
随着大型预训练图像处理神经网络被嵌入自动驾驶汽车或机器人等自主智能体，这类系统如何尽管架构与训练方式不同仍能相互交流周围世界的问题随之产生。作为该方向的第一步，我们系统性地探索了由异质最先进预训练视觉网络构成的社区中的指称通信任务，表明它们能以自监督方式发展出一套共享协议，以在若干候选对象中指称目标物体。该共享协议在某种程度上也可用于交流此前未见过的、具有不同粒度的物体类别。此外，最初不属于某现有社区的一个视觉网络可以惊人地轻松学会该社区的协议。最后，我们从定性与定量两方面研究了涌现协议的性质，提供了一些证据表明其捕捉了物体的高层语义特征。
引用
@article{arxiv.2302.08913,
title = {Referential communication in heterogeneous communities of pre-trained visual deep networks},
author = {Matéo Mahaut and Francesca Franzon and Roberto Dessì and Marco Baroni},
journal= {arXiv preprint arXiv:2302.08913},
year = {2025}
}
备注
Published in the Transactions of Machine Learning Research