申请试用
HOT
登录
注册
 
Intel傲腾数据中心持久化内存技术加速Spark应用程序

Intel傲腾数据中心持久化内存技术加速Spark应用程序

幸运号
/
发布于
/
6906
人观看
Apache Spark作为分布式内存计算引擎,内存使用的优化对于性能提升至关重要,Intel的Optane(傲腾)技术,让内存和SSD之间架设了个新的数据缓存/存储层,并通过PMDK等特殊的API绕过文件系统,系统调用,内存拷贝等一系列额外操作,让性能有极大的提升。Intel开源的OAP(Optimized Analytics Package)for Apache Spark项目,也是基于这个前体,构建即席查询引擎,以及在机器学习算法诸如KMeans算法上也获得了不错的性能回报。
64 点赞
6 收藏
23下载
确认
3秒后跳转登录页面
去登陆