申请试用
HOT
登录
注册
 

神经网络机器翻译的训练和预训练

讲者简介:黄书剑,博士,南京大学计算机科学与技术系副教授,博士生导师。分别于2006年和2012年于南京大学获得工学学士和博士学位。主要研究方向包括机器翻译、计算机辅助翻译、文本分析与理解、知识发掘等。曾担任ACL,AAAI,IJCAI,NAACL,EMNLP等会议的PC、SPC等,担任CCMT2019程序委员会主席,NLPCC2016机器翻译领域主席,CWMT2017、2018评测委员会主席等。曾任中文信息学会青年工作委员会执行委员,中文信息学会机器翻译专委会副主任。2017年受江苏省自然科学基金优秀青年基金和江苏省青年科技人才托举工程资助,2019年联合指导的博士生获得中国人工智能学会优秀博士生奖,2019年获CIPSC杰出服务奖,2020年获CCF-NLPCC青年新锐奖。

报告摘要:基于深度学习的神经网络机器翻译系统往往具有大量的参数,需要大规模的数据进行密集计算来进行训练。一方面,这样大规模的参数训练过程往往容易发生过拟合等现象,使得训练不够稳定,本次报告介绍一种利用动态检查点进行知识蒸馏的方法,可以提升参数训练的稳定性。另一方面,在大规模无标记数据上的预训练模型,可能能为机器翻译模型提供一定的知识储备,但直接进行预训练模型的参数微调往往还存在灾难性遗忘等问题,本次报告也将介绍在知识库问答和机器翻译上利用预训练模型的工作。相关工作论文发表于NAACL2019、ACL2019和AAAI2020上。

1点赞
0收藏
7下载
确认
3秒后跳转登录页面
去登陆