申请试用
HOT
登录
注册
 
Apache Spark 3.0对Prometheus的原生支持
Apache Spark 3.0对Prometheus的原生支持

Apache Spark 3.0对Prometheus的原生支持

Apache Spark中国技术交流社区
/
发布于
/
1502
人观看

整场直播间链接 https://developer.aliyun.com/live/43188

Apache Spark 3.0对Prometheus监控的原生支持

周康
花名榆舟,阿里云EMR技术专家。开源爱好者,是 Apache Spark/Hadoop/Parquet 等项目的贡献者。关注大规模分布式计算、调度、存储等系统,先后从事过 Spark、OLAP、Hadoop Yarn 等相关工作的落地。目前主要专注在 EMR 大数据上云的相关工作。

Apache Spark实现了一个支持可配置的metrics system,用户在生产环境中可以将Spark提供的metrics数据(包括driver、executor等)推送到多种Sink。Prometheus是一个开源的分布式监控系统,尤其在云原生时代被广泛使用。
Apache Spark也支持以Prometheus作为Sink,将metrics数据推送到Prometheus中来进行监控和报警。目前常见的实现方式有下面几种:

1.使用jmx exporter和Spark的JMXSink结合的方式;
2.使用第三方库;
3.实现Sink插件来支持更复杂的metrics;
本次分享会为大家介绍在Apache Spark 3.0中对Prometheus监控的原生支持,包括如何使用Prometheus特性、目前已经实现的metrics、以及如何对structured streaming 作业进行监控等。

1点赞
1收藏
确认
3秒后跳转登录页面
去登陆