Multi-glance Reading Model for Text Understanding

1 .Multi-glance Reading Model for Text Understanding 朱鹏程 阿里巴巴智能服务事业部 2019.05.14 

2 .智能服务事业部 朱鹏程 • 阿里巴巴智能服务事业部算法工程师 • 负责店小蜜对话中营销型话术生成工作 • 毕业于清华大学自动化系 • 在ACL等会议发表论文 

3 .智能服务事业部 1 Introduction 2 Related Work 3 Method 4 Experiment 5 Conclusion & Future Work 6 Reference 

4 .智能服务事业部 1 Introduction 2 Related Work 3 Method 4 Experiment 5 Conclusion & Future Work 6 Reference 

5 .智能服务事业部 l 侦探小说 加深 凶手 → 动机 l 英语考试 阅读 理解 反复阅读 → 正确答案 辅助 l 书读百遍，其义自见 更好的理解全文！ 

6 .智能服务事业部 阅读过程： 阅读和理解是一对相辅相成的过程 阅读习惯： l 忽略不重要的信息 l 引入全局的信息 现状分析&存在问题： l 缺少对阅读过程的建模 l 缺少对阅读习惯的建模 

7 .智能服务事业部 在本论文中: l Multi-glance Mechanism 建模阅读的过程 缺少对阅读过程的建模 l Multi-glance Cell Model 建模阅读习惯：引入全局的信息 缺少对阅读习惯的建模 l Multi-glance Gate Model 建模阅读习惯：忽略不重要的信息 

8 .智能服务事业部 1 Introduction 2 Related Work 3 Method 4 Experiment 5 Conclusion & Future Work 6 Reference 

9 .智能服务事业部 Related Work 全局特征 图像 局部特征 Duvedi C, Shah P. Multi-Glance Attention Models For Image Classification[J]. 忽略了特征的交互！ 

10 .智能服务事业部 Related Work 文本 控制输入的信息 Ke N R, Zolna K, Sordoni A, et al. Focused hierarchical rnns for conditional sequence processing[J]. arXiv preprint arXiv:1806.04342, 2018 忽略了全区信息！ 

11 .智能服务事业部 1 Introduction 2 Related Work 3 Method 4 Experiment 5 Conclusion & Future Work 6 Reference 

12 .智能服务事业部 The Architecture of Multi-glance Mechanism (MGM) Model 第一次阅读 

13 .智能服务事业部 Glance Cell Model 建模阅读习惯：引入全局的信息 

14 .智能服务事业部 Glance Cell Model Glance Cell 状态 当前Glance Cell的状 第一次阅读过程 态 的全局信息 当前的输入词 

15 .智能服务事业部 Glance Cell Model 控制门 Cell 状态 Block 状态 

16 .智能服务事业部 Glance Gate Model 建模阅读习惯：忽略不重要的信息 

17 .智能服务事业部 Glance Gate Model 建模阅读习惯：忽略不重要的信息 

18 .智能服务事业部 Glance Gate Model Glance Gate 状态 当前Glance Gate的状态 第一次阅读过程 的全局信息 当前的输入词 

19 .智能服务事业部 Glance Gate Model 控制门 Cell 状态 Block 状态 

20 .智能服务事业部 Glance Gate Model Gate Close 状态: Gate Open 状态: 

21 .智能服务事业部 Model Training Softmax Function: Loss: 

22 .智能服务事业部 1 Introduction 2 Related Work 3 Method 4 Experiment 5 Conclusion & Future Work 6 Reference 

23 .智能服务事业部 Dataset 

24 .智能服务事业部 Model Comparisons 

25 .智能服务事业部 Model Visualization 

26 .智能服务事业部 Model Analysis for Glance Cell Model 

27 .智能服务事业部 Model Analysis for Glance Cell Model 

28 .智能服务事业部 Model Analysis for Glance Gate Model 

29 .智能服务事业部 Model Analysis for Glance Gate Model