通过联合学习评估子群代表模型的泛化能力
机器学习
2024-02-13 v1 人工智能
计算与语言
计算机与社会
摘要
本研究评估了基于大型语言模型（LLM）的子群代表模型（SRMs）从经验数据中进行的泛化能力，利用联合学习来自2016年和2020年美国全国选举研究（ANES）的数据。我们探讨了关于响应变量和人口统计亚群的泛化。虽然使用经验数据进行条件处理会提高整体性能，但联合学习的益处在不同人口统计学人群之间差异很大，甚至会在某些亚群中损害性能。SRMs的联合学习不公平的益处为实施SRMs的实践者以及可能依赖它们的决策者带来了挑战。我们的工作突显了需要细粒度基准测试的需求，这些基准测试来自多样化亚群，不仅要测试忠实度，还要测试泛化能力。
引用
@article{arxiv.2402.07368,
title = {Assessing Generalization for Subpopulation Representative Modeling via In-Context Learning},
author = {Gabriel Simmons and Vladislav Savinov},
journal= {arXiv preprint arXiv:2402.07368},
year = {2024}
}
备注
Accepted to PERSONALIZE workshop at EACL 2024