申请试用
HOT
登录
注册
 
滴滴机器学习 AI 推理优化实践
0 点赞
2 收藏
1下载
GDG
/
发布于
/
563
人观看

蔡金平 滴滴机器学习平台框架组负责人,现负责异构计算、AI系统优化等工作,为公司提供云边端 AI 部署方案。曾就职于阿里,参与异构计算集群、阿里云 HPC 产品等研发工作。

展开查看详情

1.滴滴机器学习 AI 推理 优化实践 分享者:蔡金平

2. 01 场景与需求 CONTENTS 02 IFX 技术架构 03 业务实践

3.IFX 引擎是什么? 目标:让 AI 部署更简单 IFX 致力于提供一套完整的 AI 加速和部署解决方案,适合于云 /端/IoT/边缘计算等场景。 提供汇编级优化,图优化,int8 量化,模型瘦身,模型性能分 析报告,SDK 接入,模型加密等功能。

4.业务场景介绍 算法部署要求高 路况 人脸 ETA • 吞吐 大 更新 检测 • 并发 高 • 时延 低 导航 语音 自动 定位 识别 驾驶

5. 业务场景介绍 DL 框架多样性 Tensorflow Pytorch Onnx • 优化策略 共享 • 框架选择 自由 • 部署方案 统一 MxNet DarkNet Caffe

6.业务场景介绍 异构设备丰富 NVIDIA NVIDIA ARM • 体系结构 多样 GPU Jetson • 后端优化 复杂 • 部署方案 统一 NPU AI Box X86

7.IFX 技术架构:支撑千万设备,千亿日活调用 接入层 • SDK • http/thrift/grpc api • inference 软件层 • • • • 引擎层 • kernel • • auto tuning kernel • I/O / 算力层 • NVIDIA GPU X86 • Jetson GPU GPU AI-Box •

8.IFX 技术架构:解析器 • IFX Graph IR • Op

9.IFX 技术架构:transform • graph2graph • • / • TensorRT

10.IFX 技术架构:auto-tuning • Assembler Code • tuning • graph

11.IFX 技术架构: Slimming • • • •

12.IFX 技术架构: Profiling • • • • & • Computer or Memory Bound

13.IFX 技术架构:system • CUDA Stream • • I/O

14.业务实践:TensorFlow 模型优化 tensorflow tf-trt / trt pb VS tensorflow IFX pb

15.业务实践:人、车、证准入 人脸识别 覆盖全球各肤色人种 持续 100% 430万 870万 2019年全球FRVT两项第一 核验 准入资质二次审核出 日均手机 日均桔视 车人脸、车脸验证 人脸核验 人脸识别 车脸识别 业内首创车脸识别,车牌、 车型、颜色、车纹精准识别 智能证件采集 人车证 覆盖国内、国际常见证件, 长中文识别准确率 > 99% 准入 资质核验 资料真实性、准确性核验 联合警方开展综合背景审查 智能审核 40+ AI模型、100+审核策略 年度审核成本节省千万元

16.业务实践:养车门店数字化运营 大盘分析 异常预警 云/终端结合 视频监控门店实时运营情况 超时、未开单等实时查看车辆 云端/终端数据应用层互补

17.业务实践:桔视 ADAS 60% 机动车&追尾 17% 道路设施 15% 机动车&非追尾 司 7% 两轮or行人 机 事故 分 大盘 心 司 机 1.5s 90% 疲 事前提醒 避免事故 劳 识别隐患场景,事前提醒,干预驾驶行为,培养驾驶习惯,降低追尾事故发生率

18.业务实践:融合定位 下 车 点 POI 点 导 航 定 位 点

19.有任何 AI 需求,请联系我们 THANKS

0 点赞
2 收藏
1下载