论文解读：长尾问题分类

1 .智能服务事业部 区 术 cn 社 长尾问题以及开放领域问题分类 技 g. 能 cu 智 ai 工 . 阿里巴巴智能服务事业部 ww 高级算法工程师 宛言 G人 w 2019年8月15日 CU AI 

2 .智能服务事业部 区 术 cn 宛言 社 技 g. 达摩院-智能服务事业部-高级算法工程师 能 cu 智 ai 主要负责 助理小蜜，对话摘要，结构化应用的工作 工 . ww G人 w CU AI 

3 . 智能服务事业部 AI CU G人 w ww 工 . 智 ai 能 cu 3 2 1 技 g. 术 cn 社 总结 区 相关论文分享 长尾类别开放类别描述 

4 .智能服务事业部 什么是长尾分类问题： 区 术 cn 在分类任务中，每个类别的分布极不均匀。 社 技 g. 什么是开放领域分类问题： 能 cu 智 ai 需要预测的类别在训练样本中没有出现过。 工 . ww G人 w CU AI 

5 .智能服务事业部 长尾问题分析： 区 术 cn 社 技 g. 1. 如果样本分布不均匀，模型很容易偏向于学习样本量充足的类别。 能 cu 2. 上下采样在一定程度上改变了样本的真实分布 智 ai 3. 对于在训练集中未出现的类别，是否能拒识？阈值？ 工 . ww 4. 是否能够将大量样本的类别的信息迁移到小样本类别？ G人 w 5. 是否能够自动生成一些 unseen 数据？ CU AI 

6 .智能服务事业部 一般处理长尾问题的技巧： 区 术 cn 社 1. Over-Sampling / Down-Sampling 技 g. 2. Balanced CrossEntropy (CE) 能 cu 智 ai 工 . ww Focal Loss - 2018 3. Few-Shot Learning: FSLwF (2018) G人 w 4. Learning to Model: Meta-ModelNet (2018) CU 从大样本中学习信息迁移到小样本 5. OpenMax AI 

7 .智能服务事业部 今天介绍的第一篇论文：CVPR2019 区 术 cn 社 Large-Scale Long-Tailed Recognition in an Open World 技 g. 能 cu 智 ai 工 . ww G人 w CU AI 

8 .智能服务事业部 算法核心： 区 术 cn 社 技 g. 1. Dynamic Meta-Embedding 能 cu 2. Modulated Attention 智 ai 3. Loss 工 . ww G人 w CU AI 

9 .智能服务事业部 方案 Meta-embedding 核心模块： 区 术 cn 社 • Memory：每个行向量分别对应一个类别 技 g. • Hallucinator: 生成一个概率分布，用来计 能 cu 算Memory行向量的加权和，作为输入的样 本的一个表达 智 ai • 核心：类别间meta信息共享 工 . ww • 直观理解a: 输入样本属于头部类别，会同时 训练更新Memory中的所有向量 G人 w • 直观理解b: 输入样本属于长尾类别，生成的 表达中共享了头部类别对应的信息 CU AI 

10 . 智能服务事业部 AI CU G人 w ww 工 . 智 ai 方案 Meta-embedding 核心模块： 能 cu 技 g. 术 cn 社 区 

11 .智能服务事业部 Modulated Attention： 区 术 cn 对 second-to-last 层之前多加了一个特征选择器 社 技 g. 能 cu MA(f): Conditional Spatial Attention 智 ai SA(f): Self Attention，Non-Local NN, 18CVPR 工 . ww Loss : G人 w CU AI 

12 . 智能服务事业部 AI CU G人 w ww 工 . 智 ai 方案 Meta-embedding 可视化： 能 cu 技 g. 术 cn 社 区 

13 . 智能服务事业部 模型效果对比： AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

14 .智能服务事业部 模型效果对比： 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w 在 ImageNet 数据集上做的消融实验的对比 Meta-Embedding 这一层的提升非常显著 CU AI 

15 .智能服务事业部 今天介绍的第二篇论文：IJCAI2017 区 术 cn 社 Open-Category Classification by Adversarial Sample Generation 技 g. 能 cu 智 ai 工 . ww G人 w CU AI 

16 .智能服务事业部 定义： 区 术 cn 社 技 g. 能 cu 智 ai 工 . 对于novel类，我们没有任何信息输入； ww 如果能够无监督地产生一些novel类，就可以将这个开放领域问题转化为封闭领域问题 G人 w CU AI 

17 .智能服务事业部 产生负样本的原则： 区 术 cn 1. 针对每个seen类产生对应的负样本 社 2. 每个负样本要能够与其对应的正样本区分（分类器可分） 技 g. 3. 每个负样本要与对应的正样本距离近可能地近 能 cu 4. 每个负样本要与对应的其他负样本距离近可能地远 智 ai 工 . ww G人 w CU AI 

18 . 智能服务事业部 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

19 . 智能服务事业部 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

20 .智能服务事业部 总结： 区 术 cn 社 1. 长尾分类是个很难的问题 技 g. 2. 开放领域分类是个更难的问题 能 cu 智 ai 针对长尾问题分类的技巧： 工 . 1. 对损失函数设置权重 ww G人 w 2. 将大样本的信息迁移到小样本上 针对开放领域问题分类的技巧： CU 1. 设置拒识模块（阈值，others类） AI 2. 自动生成负样本 

21 . 智能服务事业部 AI CU G人 w ww 工 . 智 ai Q&A 能 cu 技 g. 谢谢大家！ 术 cn 社 区