申请试用
HOT
登录
注册
 
白玉兰开源PPT
白玉兰开源PPT

白玉兰开源PPT

白玉兰开源
/
发布于
/
277
人观看

内容介绍

在自然语言处理中,自然语言推理包含两个基本过程——感知和推理。感知包含从原始文本中挖掘基本信息(如实体、关系等)的一系列过程,而推理是在所挖掘的信息基础上,基于已有的规则或者知识推断符合逻辑的结论。目前,主流的预训练语言模型在感知阶段已经取得了突破性的进展,但其推理能力仍然备受质疑。导致模型缺乏推理能力的主要原因在于数据中的统计偏差导致模型绕过了复杂但正确的推理路径,而选择简单的虚假相关性做出看似正确的决策。其结果就是模型并不具有鲁棒性和泛化能力。针对这个问题,我们引入外部约束规则并采用了“先优化后修正”的神经符号框架。具体而言,神经网络负责预测推理路径和决策,而符号系统通过引入的外部约束规则修正神经网络的优化方向,从而修正决策结果。在执行的过程中,我们进一步提出了一种弱监督神经符号学习的方法,通过所构造的马尔可夫链蒙特卡洛采样方法避免了遍历规则集所带了的计算复杂度。实验结果表明,我们设计的方法能够有效提升模型的推理能力,从而保证模型的鲁棒性和泛化能力。

关于讲师

田济东, 上海交通大学人工智能研究院博士生,指导老师是金耀辉教授。主要研究兴趣是自然语言处理中的逻辑推理,神经符号学习等,目前已在EMNLP,AAAI等会议上发表一作论文2篇。.

评议人

许岩岩,上海交通大学人工智能研究院长聘教轨副教授、博士生导师。重点以交叉学科视角,研究城市复杂系统中的人类移动行为、人类与建成环境的交互关系,并以数据驱动的方式对城市系统进行建模与优化。针对城市尺度上的交通拥堵、电力网络、设施规划等重大问题提出了一系列创新解决方案。研究成果以第一作者发表于Nature Energy、Science Advances等国际顶尖期刊,被Nature Asia、彭博社等多家国际媒体报道。

0点赞
0收藏
4下载
确认
3秒后跳转登录页面
去登陆