优酷 万传奇 - 优酷大数据质量平台及线上质量闭环

1 .

2 .

3 .

4 .

5 .

6 .

7 .•  •  •  

8 .•  

9 . •  •  •  Pipeline •  

10 .

11 .

12 .

13 .                     

14 .

15 .

16 .

17 .Queue0 ETL Receiver1 …… …… Parse Filter Convert Queue32 …… Cube Queue63 

18 .PK0: (PK1+PK2).hashcode().toHexString() PK1: ${serviceId}+${date} PK2: ${dim1}+${dim2}+…… PK3: ${time(HH:mm)} 

19 .

20 .

21 .

22 .        

23 .

24 .

25 .

26 .

27 .

28 .交付体系：线下、灰度、线上 大数据架构：实时、离线、检索 技术点：Spark Streaming、Blink(Flink)、ODPS(Hive)、Kylin、OTS(Hbase)、ES 线上质量闭环：发现、排查、定位、修复 

29 .