申请试用
HOT
登录
注册
 
验证大数据工作 - 使用Holden Karau在Apache Spark上生产之前停止故障

验证大数据工作 - 使用Holden Karau在Apache Spark上生产之前停止故障

Spark开源社区
/
发布于
/
1845
人观看
随着大数据工作从概念验证阶段转向为实际生产服务提供动力,我们必须开始考虑当一切最终出错时会发生什么(例如推荐不合适的产品或对坏数据做出的其他决策)。我们最终将全部登上故障船(特别是约40%的受访者自动将其Spark作业结果部署到生产中),重要的是自动识别出现问题的时间,以便我们可以停止部署在我们更新简历之前。 弄清楚什么时候出现了非常糟糕的事情比第一次看起来更棘手,因为我们希望在用户注意到它们之前捕获错误(或者在CNN注意到它们之前失败)。我们将探索用于验证的一般技术,查看在生产环境中验证大数据作业的人员的响应,以及可以帮助我们根据历史数据编写相关验证规则的库。 对于从事流媒体工作的人们,我们将讨论尝试在实时系统中进行验证的独特挑战,以及我们可以做的事情,除了在出现问题时保留最新的简历。为了保持谈话有趣的现实世界的例子(删除公司名称),以及几个创意共同许可的猫图片和可爱的熊猫GIF。
12点赞
4收藏
2下载
确认
3秒后跳转登录页面
去登陆