基于弱监督神经符号学习的自然语言推理

活动介绍

上海白玉兰开源开放研究院发起的“青年学者论坛”，意在为国内外大数据及人工智能领域的优秀青年学者，搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者，以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题，促进观点碰撞及交流合作。

此次是“青年学者论坛”第十九期活动，青年学者论坛讲师及志愿者持续招募中。如有意愿，请与我们联系，欢迎广大同学们积极参与。
Email：chengh@baiyulan.org.cn （邮件主题：青年学者论坛）
微信：chhao01 （验证消息：青年学者论坛）

• 摘要

在自然语言处理中，自然语言推理包含两个基本过程——感知和推理。感知包含从原始文本中挖掘基本信息（如实体、关系等）的一系列过程，而推理是在所挖掘的信息基础上，基于已有的规则或者知识推断符合逻辑的结论。目前，主流的预训练语言模型在感知阶段已经取得了突破性的进展，但其推理能力仍然备受质疑。导致模型缺乏推理能力的主要原因在于数据中的统计偏差导致模型绕过了复杂但正确的推理路径，而选择简单的虚假相关性做出看似正确的决策。其结果就是模型并不具有鲁棒性和泛化能力。针对这个问题，我们引入外部约束规则并采用了“先优化后修正”的神经符号框架。具体而言，神经网络负责预测推理路径和决策，而符号系统通过引入的外部约束规则修正神经网络的优化方向，从而修正决策结果。在执行的过程中，我们进一步提出了一种弱监督神经符号学习的方法，通过所构造的马尔可夫链蒙特卡洛采样方法避免了遍历规则集所带了的计算复杂度。实验结果表明，我们设计的方法能够有效提升模型的推理能力，从而保证模型的鲁棒性和泛化能力。

活动安排

讲师介绍

田济东, 上海交通大学人工智能研究院博士生，指导老师是金耀辉教授。主要研究兴趣是自然语言处理中的逻辑推理，神经符号学习等，目前已在EMNLP，AAAI等会议上发表一作论文2篇。.

评议人

许岩岩，上海交通大学人工智能研究院长聘教轨副教授、博士生导师。重点以交叉学科视角，研究城市复杂系统中的人类移动行为、人类与建成环境的交互关系，并以数据驱动的方式对城市系统进行建模与优化。针对城市尺度上的交通拥堵、电力网络、设施规划等重大问题提出了一系列创新解决方案。研究成果以第一作者发表于Nature Energy、Science Advances等国际顶尖期刊，被Nature Asia、彭博社等多家国际媒体报道。

合作媒体

• CSDN
• 思否
• 掘金
• 数据与智能
• 示说

独家报名平台