申请试用
HOT
登录
注册
 
Universal Language Model Fine-tuning for Text Classification

Universal Language Model Fine-tuning for Text Classification

Jane
/
发布于
/
4293
人观看
归纳式迁移学习极大地影响了计算机视觉,但NLP中的现有方法仍需要从头开始进行,并针对NLP任务进行特定的修改和训练。我们提出了通用语言模型微调(ULMFiT),这是一种有效的迁移学习方法,可应用于NLP中的任何任务,并介绍了微调语言模型的关键技术。我们的方法明显优于六个文本分类任务的最新技术,将大多数数据集的误差降低了18-24%。此外,仅使用100个标记示例,它可以从头开始匹配100x以上数据的训练性能。我们开源了预训练模型和代码。 为了解决缺乏标记数据,并使NLP分类更容易且耗时更少,研究人员建议将迁移学习应用于NLP问题。因此,您可以使用另一个经过训练的模型来解决类似问题作为基础,然后微调原始模型以解决您的特定问题,而不是从头开始训练模型。 但是,为了取得成功,这种微调应考虑到以下几个重要因素: 不同的层应该在不同的范围内进行微调,因为它们捕获不同类型的信息。 如果学习速率首先线性增加然后线性衰减,则将模型的参数调整为任务特定的特征将更有效。 一次微调所有层可能会导致灾难性的遗忘;因此,从最后一层开始逐渐解冻模型会更好。 ULMFiT可以更有效地解决各种NLP问题,包括: 识别垃圾邮件、机器人、攻击性评论; 按特定功能对文章进行分组; 对正面和负面评论进行分类; 查找相关文件等
12 点赞
4 收藏
0下载
相关文档
确认
3秒后跳转登录页面
去登陆