- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- <iframe src="https://www.slidestalk.com/u70/bigdata_platform_service?embed" frame border="0" width="640" height="360" scrolling="no" allowfullscreen="true">复制
- 微信扫一扫分享
大数据平台服务构建之务虚心得
展开查看详情
1 .大数据平台服务构建 - 之务虚心得 刘旭晖 @51 信用卡 colorant@ 微信
2 .自我介绍 职业经历 传统夕阳行业 : Delphi – 系统工程师 民营消费电子: LongCheer – 智能手机部 合伙创业失败: woojoy – 全栈打杂 老牌过气外企: Intel – 开源技术中心 顶级二流电商:蘑菇街 – 大数据基础架构 上市腰斩互金: 51 信用卡 – 数据技术 爱好 多变,擅长从入门到放弃 “ 大数据务虚杂谈” “望月的蚂蚁”
3 .今天讲什么?
4 .大数据平台基本架构组成 ? 那么,各 家 公司 的 大 数据平台看起来都没啥 本质 区别 ? 无差别套用一下: H 公司 Hadoop 发行版套件图
5 .现实问题和价值
6 .数据 平台的用户需要什么服务 客服 + 资源 顾问 + 专家 管家 + 保姆
7 .大数据平台的建设目标 ? 赋能 + 伙伴
8 .四个现代化 指导方针
9 .组件工具化
10 .工具平台化
11 .平台服务化
12 .平台产品化 但是上面这些 都没用! 领导最终只关心你的价值产出 :- )
13 .构建数据平台服务 的两条路径
14 .Look inside
15 .数据采集链路 实际实现,可 繁可简 scp , ftp , script , python/java Flume , kafka datax , sqoop ELK 但是,如果你希望构建一个稳定可靠,用户友好的系统? 数据质量问题 传输采集问题 分发传输问题 系统维护代价问题 业务价值问题 易用性问题
16 .用户行为埋点和分析 前端埋点系统 Tracking 方案? 手动,自动? 规划,管理,测试,跟踪? 数据存储,加工和处理 版本?渠道?活动? 安卓 /IOS/H5/ 小程序? 离线,实时? 数据展现 日志?报表?漏斗?链路? 产品形态 Google analytics Growing IO / Talking Data 这些工作 用户关心哪部分?
17 .作业调度系统 大数据平台运转的枢纽组件 看似简单的一个系统 有大量的开源实现,为什么还要自己做? 真正做(用)得好的公司也没有几家, why ?
18 .问题 关键路径执行情况,报警策略? 任务变更操作纪录?异常行为监测? 配额负载分析? 流量 分配,优先级管控? 错误原因分析,任务性能诊断, 数据质量监测? 这么多东西,谁来关注?怎么关注?如何关注得过来?
19 .大数据集成开发环境 大 数据 集成 开发 环境 所 提供的主要服务,在用户看来, 当然就是让他能够在写代码 ,然后运 行 所以不就是一个 web IDE 开发界面么,这有何难? 但是还是有很多公司连这个都没有(做不到) 开源: HUE ,公有云:数加, DataWorks ; TDF , TBDS 所 提供的服务,需要贯穿大数据处理链 路的全过程 包括数据 的采集,计算,管理,查询, 展示等环节 代码编辑器仅仅 是支持其中部分环节所 需要的服务之一 串联各个系统, 为用户提供一站式服务 水平的 高低, 体现在各种组 件融合的顺畅 程度 理想状态: 用户对底层系统 的完全无感知
20 .开发平台建设 / 管理维度
21 .背锅心得 说好不打脸!
22 .君子喻于义 : “真心”服务用户 别让用户 思考,别让用户 有挫败感! 不要对用户做任何知识假定 把饭喂到用户嘴里 提供差异化 , 阶梯式产品服务 面对现实,没有万能的产品 构建反馈式服务 比起响应迟钝的系统,更让人崩溃的,是压根没有响应的系统 确保你 的产品,可持续改进 光有决心和能力,往往是不够 的 ,你需要反馈和数据
23 .小人喻于利:不怕谈论利益(价值) 主动思考,勇于放弃 我们 经常 讨论的是,“是什么,怎么做,能不能做” 很少考虑 “为什么要做?做 点 别是 不是收益更高? ” 没有经验,找 不到 价值点,不知道如何评估收益怎么办 ? 问题驱动 ( 不是 bug 驱动 ) 必要的约定 权益和责任的对等 服务好不等同于单方面承诺,需要共同保障 开放的心态
24 .取舍平衡 求逼格还是求实效 不怕 low ,就 怕不知道 Low 甚至可以是一种主动选择 方向比逼格更重要 求发展还是求稳定 问题导向 面子怎么办? 技术驱动还是业务驱动? 劳逸结合 因人施教 换位思考
25 .Never Stop
26 .大数据相关建设 - 经验对比 & 观察 工作过的公司 Intel 蘑菇街 v.s . 美丽说 51 信用卡 PK 过(中)的平台 / 产品 腾讯云 Growing IO Tableau/ 永洪 交流过 / 了解过的公司 / 平台 关于体系,产品, 路径等观察 个人观点,不便成文 口述,不留证据
27 .王婆卖瓜 《 大数据平台基础架构指南 》 https:// item.jd.com/12385129.html
28 .多卖两句 编辑说, 销量感人呀。。。能 不能推一 把好快点再版呢 ? 出书前就 有心理准备,这不是一本入门扫盲的书,销量一定 不行 纯务虚,没有代码解读,没有 hdfs / hive / hbase / spark / flink 组件 介绍 ,没有算法, 没有机器学习, 甚至连系统架构 图都没有几 张。可以说是完全没有大众喜闻乐见的干货的 不能入门,没有干货,那有什么? 大数据平台整体产品规划和真实的实践经验, 相信是你在其它途径基本都找不到的内容,官网有的,别人写过的,时效性强的,容易过时的,坚决不写。 着急的编辑比我会说
29 .Question ? 刘旭晖 @51 信用卡 colorant@ 微 信 : 彩色蚂蚁