什么是语意分析,常见的语义角色标注方法,语义依存分析,抽象语义图,CFG Parser,神经网络消歧模型,语义解析和Beam Search

注脚

1.基于深度学习的语义分析

2.什么是语义分析 语义分析是一个非常宽泛的概念,任何对语言的理解都可以归纳为语义分析的范畴 不同任务中的语义分析具有不同含义 词语级的语义分析:词语消歧、词表示、同义词和上下位词的挖掘 句子级别的语义分析:语义角色标注、语义依存分析

3.语义角色标注

4.语义角色和句法角色的区别

5.常见的语义角色标注方法 使用双向LSTM+CRF进行端对端的训练 He, L 在2017年使用了8层的Highway-LSTM,以及RNN Dropout,A*搜索等技巧,将SRL的错误率降低了10% He, L., Lee, K., Lewis, M., & Zettlemoyer, L. (2017). Deep Semantic Role Labeling: What Works and What’s Next. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)

6.常见的语义角色标注方法 Highway-LSTM:模仿LSTM的原理,层与层之间加入门控单元,让上一层的向量直接通过,缓解梯度消失的问题,使得LSTM层数更深

7.

8.语义依存分析 将语义表示为依存图的形式:图中的节点是句子里的词,图中的边表示句子中的词的二元关系 和依存分析有相似之处。但依存分析通常是分析的得到句法结构,一般是树状形式;语义依存分析的到的是语义图,没有树的结构限制

9.语义依存分析 分析方法和依存分析类似 基于状态转移的方法: 基本模式: 将建立一个依存图分成许多步,每步基于之前构造好的部分子图,决定剩余的子图应该如何构建。

10.语义依存分析 分析方法和依存分析类似 基于状态转移的方法: 基本模式: 将建立一个依存图分成许多步,每步基于之前构造好的部分子图,决定剩余的子图应该如何构建。

11.Two list transition system:Example Initial: List 1: [] List 2: [] Buffer: [ ROOT 中国 进出口 银行 与 中国 银行 加强 合作]

12.Two list transition system:Example Actions: [ SHIFT ] List 1: [ROOT] List 2: [] Buffer: [ 中国 进出口 银行 与 中国 银行 加强 合作]

13.Two list transition system:Example Actions: [SHIFT SHIFT ] List 1: [ROOT 中国 ] List 2: [] Buffer: [ 进出口 银行 与 中国 银行 加强 合作]

14.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ] List 1: [ROOT 中国 进出口 ] List 2: [] Buffer: [ 银行 与 中国 银行 加强 合作]

15.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ] List 1: [ROOT 中国 ] List 2: [ 进出口 ] Buffer: [ 银行 与 中国 银行 加强 合作]

16.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ] List 1: [ROOT 中国 ] List 2: [ 进出口 ] Buffer: [银行 与 中国 银行 加强 合作]

17.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ARC-LEFT NMOD ] List 1: [ROOT] List 2: [ 中国 进出口 ] Buffer: [ 银行 与 中国 银行 加强 合作]

18.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ARC-LEFT NMOD SHIFT ] List 1: [ROOT 中国 进出口 银行 ] List 2: [] Buffer: [与 中国 银行 加强 合作]

19.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ARC-LEFT NMOD SHIFT NO-ARC ] List 1: [ROOT 中国 进出口 ] List 2: [ 银行 ] Buffer: [与 中国 银行 加强 合作]

20.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ARC-LEFT NMOD SHIFT NO-ARC POP ] List 1: [ROOT 中国 ] List 2: [ 银行 ] Buffer: [与 中国 银行 加强 合作]

21.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ARC-LEFT NMOD SHIFT NO-ARC POP POP ] List 1: [ROOT] List 2: [ 银行 ] Buffer: [与 中国 银行 加强 合作]

22.Two list transition system:Example Actions: [SHIFT SHIFT SHIFT ARC-LEFT NMOD ARC-LEFT NMOD SHIFT NO-ARC POP POP SHIFT ] List 1: [ROOT 银行 与 ] List 2: [] Buffer: [中国 银行 加强 合作] .................

23.1. 基于 手工特征提取 的消歧模型 通常 使用简单的线性模型 作为分类器。 以基于 状态转移 的依存分析为例。 当List1顶部为"中国",List2顶部为"进出口","Buffer"顶部为"银行"时,应该倾向于做"ARC LEFT"动作 从List和Buffer中 抽取多种特征 ,例如 List1顶部为"中国" List1顶部的POSTag为"NN" List2顶部为"进出口" List1顶部的POSTag为"NN"且List2顶部的POSTag为"NN" ( 组合特征 ) 较依赖于先验知识 。特征数量很多,速度慢。

24.Two list transition system: action claassifier 1. Kiperwasser E, Goldberg Y. Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations. Acl. 2016;4:313-327. http://arxiv.org/abs/1603.04351.

25.Wang Y. 等人发表在AAAI 2017上的文章,使用了树状LSTM、LSTM Minus来表示栈和队列中的状态。更加接近深度学习中表征学习的方法 Wang, Y., Che, W., Guo, J., & Liu, T. (2016). A Neural Transition-Based Approach for Semantic Dependency Graph Parsing, 2.

26.Graph-based method 基本模式: 假设依存树中,每条边的存在与否相互独立 (一阶近似) 。 将句子中的n个词视为图的n个节点,建立一个有n*(n-1)条边的完全图。给每条边分别赋予一个权重。 通过最大 子图 算法,从完全图中抽取分数最大的 子图 ,作为 语义图 。 最简单的最大子图算法:若分数大于0则这条边存在,分数小于0则这条边存在

27.Graph-based method 例: ROOT 他 已经 吃饭 了 。

28.Graph-based method 首先将词向量、POSTag向量连接到一起,并通过双向LSTM,得到和上下文有关的向量; 计算边i->j的分数,只需将LSTM输出向量连接到一起,再输入全连接神经网络

29.三、抽象语义图 和语义依存图一样,用有向图来表示语义。但是图中的节点不再是句子里的词,而是某种抽象概念。 希望得到抽象的语义表示,不受表面句法形式的影响。 常见的抽象语义图形式: Abstract Meaning Representation(AMR) 缺点:过于抽象,标注一致度不高

30.抽象语义图 Elementary Dependency Structures (EDS;右) 基于Head-driven phrase structure grammar (HPSG) 体系,具有较强的理论基础,标注一致度很高 Many people speak English. English is spoken by many people.

31.字符串文法 CFG 非终结符和终结符构成一个序列 非终结符可以被替换成: 终结符和非终结符组成的串

32.基于同步超边替换文法的 超边替换语法( HRG ) : 一种用于生成图的上下文无关重写系统( Drewes et al, , 1997 ) 超边是对普通边的扩展,可以连接两个以上的节点或仅连接一个节点。 重写对象是边:边被替换成子图 如何替换: 将其中每个 外点 附着到超边的对应端点上 Chen, Y., Sun, W., & Wan, X. (2018). Accurate SHRG-Based Semantic Parsing, ACL2018 .

33."Some boys want to go."

34.约定将点的 label 变成一条只连接一个点的超边

35.SHRG 同步 HRG 文法,每个 HRG 规则和 CFG 规则相对应 是

36.SHRG 的抽取 我们将语义图中的边分成两类: 1 ) 概念边 是携带语义信息、只和一个节点相连的边; 2 ) 结构边 是连接两个节点、并建立语义关系的边。 SHRG 抽取过程 : 反复从原语义图中找出一个子图,并将这个子图替换成一条超边 需要:句法树、句法树节点和语义图节点和对应关系

37.CFG Parser 基于神经网络的Span-Based Constituency Parser 将LSTM-Minus作为span的特征,预测每段Span的分类标签 Cross, J., & Huang, L. (2016). Span-Based Constituency Parsing with a Structure-Label System and Dynamic Oracles. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP-16), (Section 2), 1–11.

38.神经网络消歧模型 句法树确定的情况下,找出最佳 HRG 规则组合 贪心算法:假设 HRG 规则之间相互独立 最简单的 消歧模型: Count-based 。 每次都选在训练数据中出现最多的HRG 规则 SCORE( r|T ) = count(r)

39.消歧模型 基本思路:使用Graph Embedding将HRG规则子图输入MLP评分器 最简单的Graph Embedding: 类似于 词袋模型 ,不考虑图的拓扑结构,只考虑某条边在图中是否出现 利用 Span Embedding 和 Graph Embedding 计算规则匹配分数

40.S emantic Parsing

41.Beam Search 考虑规则之间的互相影响 以每个子树对应的的子图为评判标准(给每个步骤生成的子图打分,只保留前 k 个) Factorization :

42.Beam Search Factorization : 概念边的分数: 结构边的分数:

user picture
  • 献良
  • 非著名互联网公司工程师

相关Slides