用合成智能体导航人类语言模型
人工智能
2020-09-30 v7 计算与语言
多智能体系统
摘要
现代自然语言模型如 GPT-2/GPT-3 以一致可测试的形式包含了关于人类信念的海量信息。若这些模型能被证明准确反映产生训练数据的人类之潜在信念，则其将以区别于访谈、调查等传统方法的方式成为有力的社会学工具。本研究中，我们在历史国际象棋棋局语料上训练了一个 GPT-2 版本，随后将合成智能体“簇”发射进该模型，利用文本字符串建立上下文与朝向。我们比较智能体/模型所生成文本中的轨迹，并将其与已知的棋盘真值、着法合法性与历史对弈模式对照。我们发现，模型按棋子统计的着法百分比与人类模式高度相似。我们进一步发现，模型构建了棋盘的准确潜在表征，且利用该知识可在棋盘上绘制合法着法的轨迹。
引用
@article{arxiv.2008.04162,
title = {Navigating Human Language Models with Synthetic Agents},
author = {Philip Feldman and Antonio Bucchiarone},
journal= {arXiv preprint arXiv:2008.04162},
year = {2020}
}
备注
8 pages, 6 figures, 2 tables, 1 algorithm