申请试用
HOT
登录
注册
 
Best Practice of Compression Codecs in Spark

Best Practice of Compression Codecs in Spark

Sophia_Sun
/
发布于
/
2361
人观看
数据大爆炸的当代,人类正以前所未有的速度产生数据,如何对数据进行有效压缩,对于数据存储、I/O和网络数据传输意义重大。然而,对于大数据分析而言,解压数据所带来的额外CPU开销不可忽视,如何在数据压缩率和编解码效率之间找到平衡,在工程方面是一个值得探讨的话题。目前最流行的大数据分析框架Apache Spark所支持的数据压缩编解码算法很多,如:GZip, Snappy, LZ4,ZStandard等等,Intel大数据团队也为Spark实现 ISA-L(iGZIP), LZ4-IPP, ZLIB-IPP 和 ZSTD等针对Intel硬件平台优化的算法支持,让听众对于如何选择合适的编解码有更深入了解,并在生产环境使用我们的编解码软件库.
5 点赞
2 收藏
9下载
相关文档
确认
3秒后跳转登录页面
去登陆