申请试用
HOT
登录
注册
 
在Spark错误上使用Spark ML - 集群告诉我们什么? 与霍尔顿卡劳

在Spark错误上使用Spark ML - 集群告诉我们什么? 与霍尔顿卡劳

Spark开源社区
/
发布于
/
3390
人观看
如果您订阅了user@spark.apache.org,或者在大公司工作,您可能会看到一些常见的Spark错误消息。 在过去的几年里,即使参加Spark Summit,你也会看到像Spark中的“Top K Mistakes”这样的会谈。虽然很酷的非基于机器学习的工具确实存在以检查Spark的日志 - 但它们不使用机器学习,因此不是很酷但也受到人类为他们编写规则所付出的努力的限制。 本PPT将介绍当我们在堆栈跟踪上训练“常规”聚类模型时会发生什么,并探索用于将用户消息分类到Spark列表的DL模型。 来确保机器人无法自我修复,并留下来学习如何在我们的机器人朋友的帮助下更好地工作。 这次是Spark ML on Spark输出,加上一点Tensorflow对整个集群来说很有趣,但可能没有自动响应用户列表的提示。
3 点赞
1 收藏
1下载
确认
3秒后跳转登录页面
去登陆