滴滴机器学习 AI 推理优化实践

1 .滴滴机器学习 AI 推理 优化实践 分享者：蔡金平 

2 . 01 场景与需求 CONTENTS 02 IFX 技术架构 03 业务实践 

3 .IFX 引擎是什么？ 目标：让 AI 部署更简单 IFX 致力于提供一套完整的 AI 加速和部署解决方案，适合于云 /端/IoT/边缘计算等场景。 提供汇编级优化，图优化，int8 量化，模型瘦身，模型性能分 析报告，SDK 接入，模型加密等功能。 

4 .业务场景介绍 算法部署要求高 路况 人脸 ETA • 吞吐 大 更新 检测 • 并发 高 • 时延 低 导航 语音 自动 定位 识别 驾驶 

5 . 业务场景介绍 DL 框架多样性 Tensorflow Pytorch Onnx • 优化策略 共享 • 框架选择 自由 • 部署方案 统一 MxNet DarkNet Caffe 

6 .业务场景介绍 异构设备丰富 NVIDIA NVIDIA ARM • 体系结构 多样 GPU Jetson • 后端优化 复杂 • 部署方案 统一 NPU AI Box X86 

7 .IFX 技术架构：支撑千万设备，千亿日活调用 接入层 • SDK • http/thrift/grpc api • inference 软件层 • • • • 引擎层 • kernel • • auto tuning kernel • I/O / 算力层 • NVIDIA GPU X86 • Jetson GPU GPU AI-Box • 

8 .IFX 技术架构：解析器 • IFX Graph IR • Op 

9 .IFX 技术架构：transform • graph2graph • • / • TensorRT 

10 .IFX 技术架构：auto-tuning • Assembler Code • tuning • graph 

11 .IFX 技术架构： Slimming • • • • 

12 .IFX 技术架构： Profiling • • • • & • Computer or Memory Bound 

13 .IFX 技术架构：system • CUDA Stream • • I/O 

14 .业务实践：TensorFlow 模型优化 tensorflow tf-trt / trt pb VS tensorflow IFX pb 

15 .业务实践：人、车、证准入 人脸识别 覆盖全球各肤色人种 持续 100% 430万 870万 2019年全球FRVT两项第一 核验 准入资质二次审核出 日均手机 日均桔视 车人脸、车脸验证 人脸核验 人脸识别 车脸识别 业内首创车脸识别，车牌、 车型、颜色、车纹精准识别 智能证件采集 人车证 覆盖国内、国际常见证件， 长中文识别准确率 > 99% 准入 资质核验 资料真实性、准确性核验 联合警方开展综合背景审查 智能审核 40+ AI模型、100+审核策略 年度审核成本节省千万元 

16 .业务实践：养车门店数字化运营 大盘分析 异常预警 云/终端结合 视频监控门店实时运营情况 超时、未开单等实时查看车辆 云端/终端数据应用层互补 

17 .业务实践：桔视 ADAS 60% 机动车&追尾 17% 道路设施 15% 机动车&非追尾 司 7% 两轮or行人 机 事故 分 大盘 心 司 机 1.5s 90% 疲 事前提醒 避免事故 劳 识别隐患场景，事前提醒，干预驾驶行为，培养驾驶习惯，降低追尾事故发生率 

18 .业务实践：融合定位 下 车 点 POI 点 导 航 定 位 点 

19 .有任何 AI 需求，请联系我们 THANKS