阿里云EMR入门课第四讲-EMR开通与演示

第四课:EMR 开通与演示
本节主要介绍开通EMR的环境准备、账号准备、付费情况、实操演示

产品链接:https://www.aliyun.com/product/emapreduce

更多产品相关信息请加入钉钉群讨论

展开查看详情

1.EMR开通与演示 魏巍 · 阿⾥巴巴/ 产品经理

2. 01 概念介绍 CONTENT 02 准备⼯作 ⽬录 >> 03 创建流程演示

3.01 概念介绍 Apache Flink 中⽂学习⽹站: ververica.cn © Apache Flink Community China 严禁商业⽤途

4.⽹络 VPC 交换机 专有⽹络(Virtual Private Cloud,简称VPC) VPC内ECS实例通过交换机进⾏通讯。根据 是您基于阿⾥云构建的⼀个隔离的⽹络环境, 实例所属的专有⽹络VPC和虚拟交换机⽹段, 专有⽹络之间逻辑上彻底隔离。 专有⽹络VPC类型ECS实例⼀经创建即被分 配⼀个私有IP地址。 安全组 安全组提供类似虚拟防⽕墙功能,⽤于设置 集群内ECS实例的⽹络访问控制,是重要的 安全隔离⼿段。 EMR团队与阿里云安全团队紧密合作及时发现各种高危漏洞,提前预防

5. 集群类型 大数据平台 消息系统 ML/AI平台 实时OLAP 分布式协调系统 实时计算 • Data warehouse: Hive • Message Engine: Kafka • Data warehouse: Hive • Compute Engine: Druid • Kafka, Druid, HDFS, YARN, 基于 Apache Flink 官方 • Batch processing: MR, • Cluster Management: • Batch processing: MR, Spark • Data visualization: HBase independent 产品 Ververica 和 E- Spark • Streaming processing: Flink, MapReduce Hadoop 构 Kafka Manager Superset distributed coordinator • Streaming processing: Flink, 建的企业级大数据计 • Authentication Spark Streaming • File System: HDFS Spark Streaming 算平台,完全兼容开 Permission : Ranger. MIT • Deep Learning: TensorFlow, 源 Flink API,并提供额 • Ad hoc: Impala, Presto Kerberos Analytic Zoo 外商业增值能力。 • NoSQL: HBase • Interactive tool: HUE, • Interactive tool: HUE, Zeppelin, Jupyter Zeppelin, Jupyter • Authentication Permission: • Authentication Permission: Apache Ranger, MIT Apache Ranger, MIT Kerberos Kerberos

6. EMR集群节点类型 Master • 部署Master服务, HDFS NameNode, YARN ResourceManager等. • HDFS, YARN, Hive, HBase 组件均已实现HA机制 Gateway Gateway Core • 部署YARN NodeManager和DataNode Master Master • 不⽀持弹性伸缩 Task Core Core Task • 部署YARN NodeManager但不会部署DataNode • ⽀持竞价实例和弹性伸缩 Core Core Task Gateway Core Core Task • 部署Hadoop,Spark,Flink等组件的客户端 • ⽀持部署不同部⻔采⽤不同的参数和配置

7. 权限策略 ⻆⾊ ⽤户系统策略 RAM⻆⾊是⼀种虚拟⽤户,没有确定的身份认证密钥,需要 权限指在某种条件下允许或拒绝对某些资源执⾏某些操作,权限 被⼀个受信的实体⽤户扮演才能正常使⽤。⾸次使⽤E- 策略是⼀组访问权限的集合。权限策略分为系统策略和⾃定义策 略,需要主账号在RAM控制台上进⾏操作 MapReduce服务时,必须⽤主账号完成默认⻆⾊授权,否则 ⼦账号和主账号不能使⽤E-MapReduce。 系统策略 策略描述 管理E-MapReduce的权限,主要 系统⻆⾊ ⻆⾊描述 包括对E-MapReduce的所有资源 AliyunEMRFullAccess 的所有操作权限。 E-MapReduce才能正常 地调⽤相关服务(ECS和 AliyunEMRDefaultRole E-MapReduce开发者权限,与 OSS等),创建集群以及 AliyunEMRFullAccess策略相⽐, 保存⽇志。 AliyunEMRDevelopAccess 不授予集群的创建和释放等操作 权限。 您创建的E-MapReduce E-MapReduce数据开发的管理员 集群可以以免AK的⽅式 AliyunEmrEcsDefaultRole 权限,⽀持创建项⽬、开发和管 访问阿⾥云资源,例如 AliyunEMRFlowAdmin 理作业,但不⽀持添加项⽬成员 OSS 和管理集群。

8.EMR费⽤组成 ECS实例费⽤ 购买E-MapReduce集群时,系统根据您选择的实例配置⾃动购买并创建阿⾥云ECS实例,您 ⽆需提前准备集群所需的ECS实例。同时,如果您的账号拥有云服务器ECS的优惠折扣,创建 集群时将⾃动享受该折扣。 EMR实例费⽤ E-MapReduce会提供集群的多维度管理服务,包括⻚⾯的展示与控制、OpenAPI与SDK的⽀ 持、监控报警、运维⼯具和服务端后台的⾃动化运维等服务。关于E-MapReduce产品的详细 定价有两种类型:包年包⽉和按量付费。⽬前使⽤包年包⽉,EMR实例部分价格享受0折优惠。 外⽹流量费(开启公⽹) Master节点的外⽹流量费⽤未包含在集群的费⽤中,需要单独计算。该部分费⽤采⽤按量付 费的⽅式,按⼩时计算出⽅向的外⽹流量费⽤(⼊⽅向流量免费)。

9.02 准备⼯作 Apache Flink 中⽂学习⽹站: ververica.cn © Apache Flink Community China 严禁商业⽤途

10.准备⼯作 ⼦账户授权 注册阿⾥云账号 如果您需要使⽤RAM⼦ 如果您还没有阿⾥云的 账号登录EMR控制台, 云账号,请注册阿⾥云 并使⽤控制台上的功能, 确保账户余额充⾜ E-MapReduce 账号,并完成实名认证。 则需要您使⽤主账号登 服务账号授权 根据阿⾥云ECS的规则, 录访问控制RAM控制台, 您在购买按量付费实例时, 您需要给EMR系统默认 授予RAM⼦账号相应的 需要保证阿⾥云账户中可 ⻆⾊授权 权限, ⽤余额不少于100元的⼈⺠ 币(代⾦券⽆效)。

11.03 创建流程演示 Apache Flink 中⽂学习⽹站: ververica.cn © Apache Flink Community China 严禁商业⽤途

12.THANKS !

13.

阿里巴巴开源大数据EMR技术团队成立Apache Spark中国技术社区,定期打造国内Spark线上线下交流活动。请持续关注。 团队群号:HPRX8117 微信公众号:Apache Spark技术交流社区