申请试用
HOT
登录
注册
 
Apache Spark on k8s and HDFS Security
yucai
/
发布于
/
6344
人观看
在共享云计算平台多租户的应用场景下,每个用户都希望有独立的,隔离的应用环境,减少彼此调用都干扰,比如做Python调用时,不同用户对于Python的版本可能都会有不同要求,Kubernetes正是利用了容器技术,在分布式环境中为不同应用提供安全,可靠的隔离环境。作为最为流行的大数据计算框架Apache Spark,与Kubernetes的集成是成为当前比较热门的话题,除了计算需求以外,大数据还会有大量的数据存储在HDFS之上,当Kubernetes可以轻易调度Apache Spark,为它提供一个安全可靠的运行隔离环境时,数据在多用户之间的安全性又变得非常棘手,本文正是探讨了两个话题:如何利用Kerboros这样的认证体系,打通HDFS和Spark的作业执行的权限控制;出于性能的考虑,在Spark的Executor Pod如何仍然保持数据本地性调度优化。
展开查看详情

1 .

2 .

3 .

4 .

5 .

6 .

7 .

8 .

9 .

10 .

11 .

12 .

13 .

14 .

15 .

16 .

17 .

18 .

19 .

20 .

21 .

22 .

23 .

24 .

25 .

26 .

27 .

28 .

29 .

21 点赞
3 收藏
27下载
相关文档