利用预训练与语义损失进行符号预测的神经特征适配
人工智能
2022-11-30 v1 机器学习
计算机科学中的逻辑
摘要
我们关注由高层符号层（用于基于人类可理解概念的可解释预测）和低层神经层（用于提取生成符号解释所需的符号）构成的神经符号系统。真实数据往往不完美，这意味着即使符号理论保持不变，每次数据采集环境或设备发生变化时，我们可能仍需解决将原始数据映射到高层符号的问题。每次发生这种情况时手动（重新）标注原始数据既费力又昂贵；而自动标注方法通常不完善，尤其对于复杂问题。NEUROLOG 提出使用语义损失函数，允许现有的基于特征的符号模型通过“溯因”从原始数据引导提取特征值。然而，展示通过溯因使用语义损失的实验似乎严重依赖于特定领域的预处理步骤，该步骤能够对原始数据中的特征位置进行先验划分。我们研究了在无法进行此类预处理或不明显的领域中使用语义损失。我们表明，在没有任何关于特征的先验信息的情况下，NEUROLOG 方法即使特征预测存在实质性错误仍能准确预测。我们还表明，以不完美预训练形式提供的关于特征的先验信息有助于纠正这种情况。这些发现在 NEUROLOG 考虑的原始问题上复现，且未使用特征划分。这表明，在一个领域中为数据构建的符号解释可通过使用受溯因反馈约束的语义损失函数对预训练神经提取器进行“特征适配”而重用于相关领域。
引用
@article{arxiv.2211.16047,
title = {Neural Feature-Adaptation for Symbolic Predictions Using Pre-Training and Semantic Loss},
author = {Vedant Shah and Aditya Agrawal and Lovekesh Vig and Ashwin Srinivasan and Gautam Shroff and Tanmay Verlekar},
journal= {arXiv preprint arXiv:2211.16047},
year = {2022}
}