用于理解、模拟与优化内容与行为的大内容与行为模型
计算与语言
2024-03-19 v4 计算机视觉与模式识别
摘要
Shannon 与 Weaver 的开创性信息论将通信分为三个层次：技术层、语义层与效用层。技术层处理传输符号的准确重构，语义层与效用层则处理推断含义及其对接收者的影响。大语言模型（LLMs）凭借广泛泛化性，在第二层次上取得一定进展。然而，LLM 及其他通信模型通常并非为预测和优化面向期望接收者行为与意图的通信而设计。因此，效用层在很大程度上未被现代通信系统触及。本文在 LLM 的训练语料中引入接收者的“行为标记”，如分享、点赞、点击、购买与转发，以优化面向接收者的内容并预测其行为。除在内容理解任务上展现与 LLM 相似性能外，我们所训练模型在行为维度上表现出行为模拟、内容模拟、行为理解与行为域适应的泛化能力。我们在三个语料上的广泛任务中展示了所有这些能力的结果。我们称这些模型为大内容与行为模型（LCBMs）。此外，为推动 LCBM 的更多研究，我们发布了新的内容行为语料库（CBC），一个包含传播者、消息及对应接收者行为的仓库（https://behavior-in-the-wild.github.io/LCBM）。
引用
@article{arxiv.2309.00359,
title = {Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior},
author = {Ashmit Khandelwal and Aditya Agrawal and Aanisha Bhattacharyya and Yaman K Singla and Somesh Singh and Uttaran Bhattacharya and Ishita Dasgupta and Stefano Petrangeli and Rajiv Ratn Shah and Changyou Chen and Balaji Krishnamurthy},
journal= {arXiv preprint arXiv:2309.00359},
year = {2024}
}