语言表示模型能否以赌注思维进行思考？
计算与语言
2022-10-17 v1 人工智能
摘要
近年来，基于 Transformer 的语言表示模型(LRMs)在问答与文本摘要等困难的自然语言理解任务上取得了最先进的结果。随着这些模型被集成到现实应用中，评估其做出理性决策的能力成为一项具有实际影响的重要研究议程。本文通过精心设计的决策基准与实验集，考察 LRMs 的理性决策能力。受认知科学经典工作启发，我们将决策问题建模为一次赌注，进而考察 LRM 选择具有最优或至少为正期望收益结果的能力。通过对四个成熟 LRMs 的大量实验，我们发现模型唯有先在结构相同的赌注问题上微调，才能“以赌注思维思考”。改变赌注问题的结构但保留其基本特征，会使 LRM 性能平均下降逾 25%，尽管绝对表现仍远高于随机水平。研究还发现，LRMs 在选择具有非负期望收益的结果时，比选择最优或严格正期望收益的结果时更理性。我们的结果表明，LRMs 有潜力应用于依赖认知决策技能的任务，但在能够稳健做出理性决策之前，仍需更多研究。
引用
@article{arxiv.2210.07519,
title = {Can Language Representation Models Think in Bets?},
author = {Zhisheng Tang and Mayank Kejriwal},
journal= {arXiv preprint arXiv:2210.07519},
year = {2022}
}