1 Apache SeaTunnel 在唯品会的实践 - 王玉

1 .SeaTunnel 在唯品 会的实践 唯品会 资深大数据工程师 王玉 https://seatunnel.apache.org/ 

2 .CONTENTS  ClickHouse数据导入的需求和痛点  ClickHouse出仓入仓工具选型  Hive to ClickHouse  ClickHouse to Hive  SeaTunnel与唯品会数据平台的集成 https://seatunnel.apache.org/ 

3 .ClickHouse数据导入的需求和痛点 https://seatunnel.apache.org/ 

4 .ClickHouse数据导入的需求和痛点 唯品会数据OLAP架构 https://seatunnel.apache.org/ 

5 .ClickHouse数据导入的需求和痛点 需求 Hive Presto ClickHouse Spark Kudu 我不要做数据孤岛 Alluxio https://seatunnel.apache.org/ 

6 .ClickHouse数据导入的需求和痛点 需求 这个场景Presto跑的有点慢 https://seatunnel.apache.org/ 

7 .ClickHouse数据导入的需求和痛点 需求 Hive维表？ 拿来吧你！ https://seatunnel.apache.org/ 

8 .ClickHouse数据导入的需求和痛点 痛点 快不快？ Hyperloglog Btimap Hive 准不准？ 全不全？ ClickHouse https://seatunnel.apache.org/ 

9 .ClickHouse和Hive出仓入仓工具的选型 https://seatunnel.apache.org/ 

10 .ClickHouse和Hive出仓入仓工具的选型 业界的选择 https://seatunnel.apache.org/ 

11 .ClickHouse和Hive出仓入仓工具的选型 几种方式的对比 https://seatunnel.apache.org/ 

12 .ClickHouse和Hive出仓入仓工具的选型 我们的选择 https://seatunnel.apache.org/ 

13 .Hive to ClickHouse https://seatunnel.apache.org/ 

14 .Hive to ClickHouse 举个例子 https://seatunnel.apache.org/ 

15 .Hive to ClickHouse SeaTunnel配置 https://seatunnel.apache.org/ 

16 .Hive to ClickHouse 执行SeaTunnel 语句：sh /waterdrop-1.5.0/bin/start-waterdrop.sh --config /tmp/clickhouse/batch.conf --master yarn -- deploy-mode client --queue root.basic_platform.critical https://seatunnel.apache.org/ 

17 .Hive to ClickHouse 返回日志 https://seatunnel.apache.org/ 

18 .Hive to ClickHouse SeaTunnel改造-支持重跑 做好pre_sql和check_sql， 支持重跑和对数 https://seatunnel.apache.org/ 

19 .Hive to ClickHouse SeaTunnel改造-RowBinary加速 https://seatunnel.apache.org/ 

20 .Hive to ClickHouse SeaTunnel改造-支持多类型 https://seatunnel.apache.org/ 

21 .Hive to ClickHouse 写入分布式表OR本地表 写入分布式表 写入本地表 一般写入分布式表的性能会比较差一点， 写入本地表对Clickhouse的压力会更小， 对Clickhouse集群的压力会更大。但是在实 写入的性能也会更好。我们在Seatunnel里， 现某些分布式表分布特定规则，比如 根据sink的表，去Clickhouse的 murmurHash64的时候，在Clickhouse分布 System.cluster表里获取表的分布信息和机器 式表上配好hash规则，然后在Seatunnel的 分布host。然后根据均分规则写入这些host。 sink里直接配置分布式表，把写入规则交给 把数据分布式写入的事情放到seatunnel里来 Clickhouse会比较方便。 做。 https://seatunnel.apache.org/ 

22 .ClickHouse to Hive https://seatunnel.apache.org/ 

23 .ClickHouse to Hive 我们为什么要这么做 https://seatunnel.apache.org/ 

24 .ClickHouse to Hive SeaTunnel配置 https://seatunnel.apache.org/ 

25 .ClickHouse to Hive 改造点 https://seatunnel.apache.org/ 

26 .SeaTunnel与唯品会数据平台的集成 https://seatunnel.apache.org/ 

27 .SeaTunnel与唯品会数据平台的集成 调度系统-数坊架构图 https://seatunnel.apache.org/ 

28 .SeaTunnel与唯品会数据平台的集成 调度系统-SeaTunnel类型任务展示图 https://seatunnel.apache.org/ 

29 .SeaTunnel与唯品会数据平台的集成 调度系统-集成SeaTunnel https://seatunnel.apache.org/