沟通断裂：人类与神经描述生成之间的低互理解性
计算与语言
2023-04-28 v2
摘要
我们比较了一个基于神经描述的图像检索器在输入为人类生成的描述或由神经描述生成器产生的描述时的0-shot性能。我们在最近推出的ImageCoDe数据集（Krojer等人，2022）上进行此比较，该数据集包含与待检索图像几乎相同的困难干扰项。我们发现，神经检索器在输入神经描述而非人类描述时性能高得多，尽管前者与后者不同，是在未感知使任务变难的干扰项的情况下生成的。更值得注意的是，当相同神经描述提供给人类受试者时，他们的检索性能几乎处于随机水平。因此，我们的结果增添了越来越多的证据，表明即使神经模型的“语言”类似于英语，这种表面上的相似性可能极具误导性。
引用
@article{arxiv.2210.11512,
title = {Communication breakdown: On the low mutual intelligibility between human and neural captioning},
author = {Roberto Dessì and Eleonora Gualdoni and Francesca Franzon and Gemma Boleda and Marco Baroni},
journal= {arXiv preprint arXiv:2210.11512},
year = {2023}
}
备注
Accepted as a short paper at EMNLP 2022