论文解读:长尾问题分类

阿里巴巴智能服务事业部-高级算法工程师宛言 分享论文解读:Large-ScaleLong-Tailed Recognition in an Open World。

展开查看详情

1.智能服务事业部 区 术 cn 社 长尾问题以及开放领域问题分类 技 g. 能 cu 智 ai 工 . 阿里巴巴智能服务事业部 ww 高级算法工程师 宛言 G人 w 2019年8月15日 CU AI

2.智能服务事业部 区 术 cn 宛言 社 技 g. 达摩院-智能服务事业部-高级算法工程师 能 cu 智 ai 主要负责 助理小蜜,对话摘要,结构化应用的工作 工 . ww G人 w CU AI

3. 智能服务事业部 AI CU G人 w ww 工 . 智 ai 能 cu 3 2 1 技 g. 术 cn 社 总结 区 相关论文分享 长尾类别开放类别描述

4.智能服务事业部 什么是长尾分类问题: 区 术 cn 在分类任务中,每个类别的分布极不均匀。 社 技 g. 什么是开放领域分类问题: 能 cu 智 ai 需要预测的类别在训练样本中没有出现过。 工 . ww G人 w CU AI

5.智能服务事业部 长尾问题分析: 区 术 cn 社 技 g. 1. 如果样本分布不均匀,模型很容易偏向于学习样本量充足的类别。 能 cu 2. 上下采样在一定程度上改变了样本的真实分布 智 ai 3. 对于在训练集中未出现的类别,是否能拒识?阈值? 工 . ww 4. 是否能够将大量样本的类别的信息迁移到小样本类别? G人 w 5. 是否能够自动生成一些 unseen 数据? CU AI

6.智能服务事业部 一般处理长尾问题的技巧: 区 术 cn 社 1. Over-Sampling / Down-Sampling 技 g. 2. Balanced CrossEntropy (CE) 能 cu 智 ai 工 . ww Focal Loss - 2018 3. Few-Shot Learning: FSLwF (2018) G人 w 4. Learning to Model: Meta-ModelNet (2018) CU 从大样本中学习信息迁移到小样本 5. OpenMax AI

7.智能服务事业部 今天介绍的第一篇论文:CVPR2019 区 术 cn 社 Large-Scale Long-Tailed Recognition in an Open World 技 g. 能 cu 智 ai 工 . ww G人 w CU AI

8.智能服务事业部 算法核心: 区 术 cn 社 技 g. 1. Dynamic Meta-Embedding 能 cu 2. Modulated Attention 智 ai 3. Loss 工 . ww G人 w CU AI

9.智能服务事业部 方案 Meta-embedding 核心模块: 区 术 cn 社 • Memory:每个行向量分别对应一个类别 技 g. • Hallucinator: 生成一个概率分布,用来计 能 cu 算Memory行向量的加权和,作为输入的样 本的一个表达 智 ai • 核心:类别间meta信息共享 工 . ww • 直观理解a: 输入样本属于头部类别,会同时 训练更新Memory中的所有向量 G人 w • 直观理解b: 输入样本属于长尾类别,生成的 表达中共享了头部类别对应的信息 CU AI

10. 智能服务事业部 AI CU G人 w ww 工 . 智 ai 方案 Meta-embedding 核心模块: 能 cu 技 g. 术 cn 社 区

11.智能服务事业部 Modulated Attention: 区 术 cn 对 second-to-last 层之前多加了一个特征选择器 社 技 g. 能 cu MA(f): Conditional Spatial Attention 智 ai SA(f): Self Attention,Non-Local NN, 18CVPR 工 . ww Loss : G人 w CU AI

12. 智能服务事业部 AI CU G人 w ww 工 . 智 ai 方案 Meta-embedding 可视化: 能 cu 技 g. 术 cn 社 区

13. 智能服务事业部 模型效果对比: AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区

14.智能服务事业部 模型效果对比: 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w 在 ImageNet 数据集上做的消融实验的对比 Meta-Embedding 这一层的提升非常显著 CU AI

15.智能服务事业部 今天介绍的第二篇论文:IJCAI2017 区 术 cn 社 Open-Category Classification by Adversarial Sample Generation 技 g. 能 cu 智 ai 工 . ww G人 w CU AI

16.智能服务事业部 定义: 区 术 cn 社 技 g. 能 cu 智 ai 工 . 对于novel类,我们没有任何信息输入; ww 如果能够无监督地产生一些novel类,就可以将这个开放领域问题转化为封闭领域问题 G人 w CU AI

17.智能服务事业部 产生负样本的原则: 区 术 cn 1. 针对每个seen类产生对应的负样本 社 2. 每个负样本要能够与其对应的正样本区分(分类器可分) 技 g. 3. 每个负样本要与对应的正样本距离近可能地近 能 cu 4. 每个负样本要与对应的其他负样本距离近可能地远 智 ai 工 . ww G人 w CU AI

18. 智能服务事业部 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区

19. 智能服务事业部 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区

20.智能服务事业部 总结: 区 术 cn 社 1. 长尾分类是个很难的问题 技 g. 2. 开放领域分类是个更难的问题 能 cu 智 ai 针对长尾问题分类的技巧: 工 . 1. 对损失函数设置权重 ww G人 w 2. 将大样本的信息迁移到小样本上 针对开放领域问题分类的技巧: CU 1. 设置拒识模块(阈值,others类) AI 2. 自动生成负样本

21. 智能服务事业部 AI CU G人 w ww 工 . 智 ai Q&A 能 cu 技 g. 谢谢大家! 术 cn 社 区