基于ES + Flink构建无服务器分析链路-李佳林

1 .基于 ES + Flink 构建无服务器分析链路 李佳林 – 字节跳动基础架构 云原生 

2 .云原生大数据产品架构 流式计算 Flink 版 云原生消息引擎 云搜索服务 Serverless BMQ ESCloud Flink 大数据文件存储 云原生多云混部 CloudFS Serverless YARN 

3 .Flink 和 ES 在字节跳动大规模应用落地 10 0000 + 4 0000 + 4000 + 50000 + 十万台 Flink 集群 超 4 万 Flink 任务 总集群超 4000 总节点超过 50000 台 600 0000 + 100 0000 0000 + 700 + 2 PB+ 超 600 万核 CPU 消息处理峰值 QPS 超百亿 单集群 最大节点数 单集群存储空间 Flink 借助 Serverless YARN 转换到 K8s ByteES 与 Apache OpenSearch 深度融合 

4 .Flink Serverless Flink Code 真正按需购买，步长 1 CU 控制面 和 数据面 分离，聚焦业务开发 Flink Serverless VPC 控制面 不担心资源碎片，无冗余资源 VPC VPC 

5 .Flink 典型场景 实时 ETL & 索引构建 实时数仓/湖 数据源 数据接入 数据处理 数据分析 Flie BMQ OLAP 结构化数据 （RDS) Serverless Flink Serverless Flink 日志 / 消息 CloudFS 实时机器学习（ML） 复杂事件处理（CEP） Feature数据 推荐 订单事件流 黑名单库 登录事件流 风控引擎 AdLog数据 Serverless Flink 排序 Serverless Flink 流式样本拼接-> 点击事件流 线上业务系统 数据预处理-> 数据模型训练 批式样本拼接-> 

6 .ElasticSearch 与 OpenSearch 业务使用:日志存储和分析、全文检索、OLAP 分析、可视化 ··· ES 7.10 之后更换 SSPL+Elastic License 6.7 7.10 OpenSearch License 采用 Apache 2.0 2.9 即将发布 OpenSearch Security、Alerting、Reports 

7 .基于 KNN 构建以文搜图、以图搜图 

8 .Flink + Paimon 构建流式数仓 APP ODS DWD DWS APP 报表 SaaS 搜索引擎 Flink Batch & AD-HOC Streaming Warehouse 

9 .Flink 替换 logstash 日志采集与分析 ECS日志 容器日志 数据库日志 ······ 其他云服务 数据采集 数据缓存 数据处理 数据引擎 可视化日志分析 

10 .Flink CDC + OpenSearch 分析链路 订单数据 全文检索 交易信息 地址查询 用户画像 全要素查询 商家数据 信息溯源 ······ 交易分析 JDK 11 数据采集 数据缓存 数据处理 数据存储 信息检索 

11 .