申请试用
HOT
登录
注册
 

BigDL 2.0: 加速在基于Spark的大数据平台上构建大规模的人工智能应用 - 邓珺玮&黄凯

Analytics Zoo 社区
/
发布于
/
1506
人观看

Pytorch和Tensorflow是数据科学家和AI工程师们最常用的机器学习框架,但对于他们来说如何把AI从科研或者实验平台无缝迁移到生产环境中部署是个巨大的挑战。通常的做法会搭建两个集群分别用于大数据处理和深度学习应用,但这样不仅有很大的数据传输成本,同时也需要额外的人力去维护不同的系统和工作流。利用BigDL,用户能直接把端到端的数据分析和AI流水线无缝扩展到基于Spark的 大数据集群上。本次分享主要介绍BigDL最新2.0版本的功能以及BigDL包含的各个模块。其中,bigdl-nano能帮助用户以很少或者无代码改动的情况下,加速Pytorch和Tensorflow的训练,推理以及部署准备等工作;bigdl-orca能帮助用户把TensorFlow或者PyTorch的应用直接扩展到大数据上。利用bigdl-nano和bigdl-orca,用户能快速构建AI应用原型并且很容易地实现生产环境中的落地。

1点赞
0收藏
3下载
确认
3秒后跳转登录页面
去登陆