七牛云 姚唐仁 - 基于深度学习的视频结构化实践_部分1

1 .《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁! 

2 . 关于七牛云 智能多媒体服务 数据洞察 机器学习 •  国内领先的云计算厂商 •  围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 •  创立6年，每年超过300%的业绩增长 •  已完成5轮融资，累计超过20亿 内容采集 内容分发 •  长期服务70多万企业用户和开发者 （上传加速） 海量存储 •  文件数超过2000亿，每日新增文件20亿 •  覆盖全球300个节点 •  覆盖金融、公安、广电媒体、互联网等行业 内容生产者 内容消费者 

3 .海量富媒体数据的业务布局 + ! 视觉智能 数据智能 Vision Intelligence Data Intelligence ! API ! ! ! ! 弹性计算 海量存储 智能网络 ! ! CDN API 

4 .视觉-最重要的信息感知 83% 视觉 11% 听觉 3.5% 嗅觉 1% 味觉 1.5% 触觉 2007 

5 .2017中国网络视频用户情况 2017 

6 .传统视频摘要 vs AI视频结构化 内容不完整 识别范围广 传统手工摘要 依赖经验 效率高 AI视频结构化 实时性差 可迭代 时效性差 创新基础 

7 .视频结构化场景 

8 .视频分解 

9 .基础模型要素 

10 .视频描述-标签 1 01:02:03-01:10:05! ! 1 ! ! ! ! ( )! XX ! 

11 .视频处理 Frames Flows Audio Others …….! 

12 .七牛云深度学习平台 节省了80%的人力成本，缩短了50%的实现周期 1 2 3 4 5 6 7 8 P IF N 1 P 2 3 4 5 6 PA L PA L L 

13 .大规模视频训练框架 

14 .结构化策略 

15 .主题分类-特征提取 ResNeXt SENet DPN NASNet 

16 .主题分类-模型训练 

17 .模型融合 a) Early fusion b) Late fusion