申请试用
HOT
登录
注册
 
Deep contextualized word representations

Deep contextualized word representations

Jane
/
发布于
/
4363
人观看
我们引入了一种新的深层语境化词表示,它模拟了(1)词使用的复杂特征(例如,语法和语义),以及(2)这些用途如何在语言上下文中变化(即,模型多义词)。我们的单词向量是深度双向语言模型(biLM)的内部状态的学习函数,它是在大型文本语料库上预先训练的。我们表明,这些表示可以很容易地添加到现有模型中,并显著改善六个具有挑战性的NLP问题的技术发展水平,包括问答、文本蕴涵和情感分析。我们还提供了一个分析,表明暴露预训练网络的深层内部是至关重要的,允许下游模型混合不同类型的半监督信号。
0 点赞
1 收藏
0下载
相关文档
确认
3秒后跳转登录页面
去登陆