申请试用
HOT
登录
注册
 
2.百度飞桨基于 Intel DL Boost 技术的推理加速方案
2.百度飞桨基于 Intel DL Boost 技术的推理加速方案

2.百度飞桨基于 Intel DL Boost 技术的推理加速方案

英特尔AI实践日
/
发布于
/
205
人观看

英特尔与百度飞桨深度学习平台合作,通过使能 Intel Deep Learning Boost 技术(AVX512/VNNI/BF16) ,在百度飞桨平台上集成了支持FP32/INT8/BF16多种数据类型的预测优化加速方案,加速了深度学习模型在英特尔至强处理器上的落地与应用。
本次分享首先介绍Intel DL Boost技术,然后讲解 INT8 量化模型的产出、优化和部署全流程解决方案,接着介绍Bfloat16低精度预测的优化方案,最后展示百度BML平台上实际业务模型在英特尔至强处理器上的收益。

李丹青-英特尔深度学习研发工程师)

0 点赞
1 收藏
2下载
确认
3秒后跳转登录页面
去登陆