视频行为识别算法及其应用

下载 9

AICUG人工智能社区

发布于

4021

人观看

#信息技术

视频行为识别算法及其应用

展开查看详情

3 . 区 1.1 视频AI技术的价值术 cn 社技 g. ◼ 随着技术（视频、AI等）、网络（带宽、资费等）、设备（移动等）的持续发展，世界正进入“全民参与的视频时代”。基于视频业务的下述特性，视频AI需求日趋增多。能 cu 内容丰富数据量大时效性强智 ai 视频种类场景日趋丰富编辑成本低、流量作用凸显内容形态、热点迅速变化工 w. 视频内容日趋多样 “全民参与”的视频时代对视频“新鲜度”要求升高人 ww 网易系产品的增量级视频业务视频去重精彩瞬间拆条带货视频分析人脸封面分析视频内容审核 UG 视频质量筛选智能封面商品信息比对智能识别配乐人脸检测识别视频版权审核 IC Copyright © 2019 by NetEase Artificial Intelligence Business Unit

4 . 区 1.2 视频AI技术的应用范围术 cn 社技 g. 生命周期视频生产视频管理视频分发视频互动能 cu 智 ai • 智能创作 • 媒资管理 • 视频推荐 • 情景广告场景应用 • 智能剪辑 • 视频审查 • 视频搜索 • 智能播放工 w. • 人脸关键点 • 标签分类 • 关键帧检测基础技术人 ww • 特效滤镜 • 人像分割 • 文本识别 • 明星识别 • 视频拆条 • 视频摘要 • 情感识别 • 语音语言 • 姿态估计 • 物体识别 • 手势识别 • 场景识别 • 视频指纹 • 视频超分辨 • 视频风格化 • 动作识别 • 质量评价 UG • 视频描述 IC Copyright © 2019 by NetEase Artificial Intelligence Business Unit

5 . 区 1.3 目标与挑战术 cn 社技 g. 要素目标维度挑战能 cu 海量音视频数据标题视频形态多样化智 ai 镜头工 w. GPU+CPU算力多模态算法融合运动机器学习算法人 ww 视频内容理解图像跨越语义鸿沟音频结果抽样与标注画面文字海量标注数据获取 UG 抠图效果展示 IC Copyright © 2019 by NetEase Artificial Intelligence Business Unit

8 . 区 2.1 一个典型的视频分类系统术 cn 社技 g. 数据流处理能 cu 智 ai 视频解码+抽帧去重去黑帧颜色空间转换裁剪缩放归一化工 w. 人 ww 预测模型 UG 模型预测多帧输出结果融合后处理逻辑 IC • A Real-time multi-label classification system for short videos ICIP2019 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

9 . 区 2.2 解码？不解码？术 cn 社技 g. ◼ DMC-Net 能 cu 智 ai 工 w. 人 ww UG IC • DMC-Net Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition CVPR2019 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

11 . 区 2.3 抽帧——Early-selection 术 cn 社技 g. ◼ AdaFrame：能 cu 智 ai 工 w. 人 ww UG IC • AdaFrame Adaptive Frame Selection for Fast Video Recognition 2018 Nov Copyright © 2019 by NetEase Artificial Intelligence Business Unit

13 . 区 2.3 抽帧——Late-selection 术 cn 社技 g. ◼ Temporal Relational Reasoning (TRN)：能 cu 智 ai 工 w. 人 ww UG IC • Temporal Relational Reasoning in Videos ECCV 2018 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

16 . 区 2.4 特征建模——双流法术 cn 社技 g. ◼ Two-Stream 开宗立派能 cu 智 ai 工 w. 人 ww UG IC • Two-stream convolutional networks for action recognition in videos (2014) Copyright © 2019 by NetEase Artificial Intelligence Business Unit

17 . 区 2.4 特征建模——双流法术 cn 社技 g. ◼ Temporal Segment Networks (TSN) 能 cu 智 ai 工 w. 人 ww UG IC • Two-stream convolutional networks for action recognition in videos (2014) Copyright © 2019 by NetEase Artificial Intelligence Business Unit

18 . 区 2.4 特征建模——双流法术 cn 社技 g. ◼ Two-Stream Inflated 3D ConvNets (I3D) 能 cu 智 ai 工 w. 人 ww UG IC • Quo Vadis, Action Recognition? Copyright A New © Model and the Kinetics Dataset (May 2017) 2019 by NetEase Artificial Intelligence Business Unit

19 . 区 2.4 特征建模——双流法术 cn 社技 g. ◼ StrNet 能 cu 智 ai 工 w. 人 ww UG IC • 《strNet: Local and global spatial-temporal modeling for action recogniton》201812 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

20 . 区 2.4 特征建模——双流法术 cn 社技 g. ◼ 模拟光流的方法（MotionNet） ◼ Hidden Two-Stream 能 cu ◼ Optical Flow guided Feature (OFF） ◼ ARTNet 智 ai ◼ TVNet ◼ MARS 工 w. ◼ Flow Layers 人 ww UG • Appearance-and-Relation Networks for Video Classification Nov 2017 • Hidden Two-Stream Convolutional Networks for Action Recognition real-time approach Oct. 2017 • Optical Flow Guided Feature A Fast and Robust Motion Representation for Video Action Recognition Nov.2017 CVPR2018 IC • End-to-End Learning of Motion Representation for Video Understanding Apr. 2018 cvpr2018 • MARS Motion-Augmented RGB Stream for Action Recognition CVPR2019 Copyright © 2019 by NetEase Artificial Intelligence Business Unit • Representation Flow for Action Recognition CVPR2019

22 . 区 2.4 特征建模——卷积网络术 cn 社 ◼ C3D 技 g. 能 cu 智 ai 工 w. 人 ww UG IC • Learning Spatiotemporal Features with 3D Convolutional Networks 2015 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

23 . 区 2.4 特征建模——卷积网络术 cn 社技 g. ◼ P3D (Pseudo-3D) 能 cu 智 ai 工 w. 人 ww UG IC • Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks Nov.2017 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

24 . 区 2.4 特征建模——卷积网络术 cn 社技 g. ◼ R(2+1)D 能 cu 智 ai 工 w. 人 ww UG IC • A Closer Look at Spatiotemporal Convolutions for Action Recognition CVPR2018 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

25 . 区 2.4 特征建模——卷积网络术 cn 社技 g. ◼ CoST 能 cu 智 ai 工 w. 人 ww UG IC • Collaborative Spatiotemporal Feature Learning for Video Action Recognition CVPR2019 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

26 . 区 2.4 特征建模——卷积网络术 cn 社技 g. ◼ ResNet3D 能 cu 智 ai 工 w. 人 ww UG IC • Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet? CVPR2018 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

27 . 区 2.4 特征建模——卷积网络术 cn 社技 g. ◼ ECO 能 cu 智 ai 工 w. 人 ww UG IC • ECO: Efficient Convolutional Network for Online Video Understanding ECCV2018 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

29 . 区 2.4 特征建模——卷积网络术 cn 社技 g. ◼ MiCT 能 cu 智 ai 工 w. 人 ww UG IC • MiCT Mixed 3D2D Convolutional Tube for Human Action Recognition CVPR2018 Copyright © 2019 by NetEase Artificial Intelligence Business Unit

0点赞

0收藏

9下载