推荐系统对齐问题的建模

推荐系统(RS)在线中介着人类的体验。大多数 RS 的行为是为了优化那些与用户最佳利益不完全一致但易于衡量的指标,例如广告点击和用户参与度。这导致了一系列难以衡量的副作用:政治极化、成瘾、假新闻。RS 设计面临着一个推荐系统对齐问题:即令推荐与用户、系统设计者以及整个社会的目标相对齐。但我们如何测试和比较潜在的对齐 RS 的方案?其庞大的规模使得在部署中进行测试成本高昂且充满风险。我们综合了一个简单的抽象建模框架以指导未来的工作。为说明该框架,我们构建了一个玩具实验,其中我们提问:"我们如何评估将用户留存作为奖励函数的后果?"为回答该问题,我们通过在玩具环境中控制图动力学来学习优化奖励函数的推荐策略。基于训练后的推荐者对其环境所产生的影响,我们得出结论:参与度最大化者通常比对齐的推荐者导致更糟的结果,但并非总是如此。在学习之后,我们考察了 RS 之间的竞争,将其作为 RS 对齐的一种潜在解决方案。我们发现,相较于没有推荐或仅有参与度最大化者的情形,它通常使我们的玩具社会处境更好。在这项工作中,我们旨在涵盖广阔的范围,浅涉许多不同要点,以阐明如何对推荐系统的奖励函数进行端到端的研究。推荐系统对齐是一个紧迫且重要的问题。尝试的解决方案必将产生深远的影响。在此,我们为开发评估和比较各解决方案对社会影响的方法迈出了第一步。