优酷 万传奇 - 优酷大数据质量平台及线上质量闭环

展开查看详情

1.

2.

3.

4.

5.

6.

7.•  •  • 

8.• 

9. •  •  •  Pipeline • 

10.

11.

12.

13.                    

14.

15.

16.

17.Queue0 ETL Receiver1 …… …… Parse Filter Convert Queue32 …… Cube Queue63

18.PK0: (PK1+PK2).hashcode().toHexString() PK1: ${serviceId}+${date} PK2: ${dim1}+${dim2}+…… PK3: ${time(HH:mm)}

19.

20.

21.

22.       

23.

24.

25.

26.

27.

28.交付体系:线下、灰度、线上 大数据架构:实时、离线、检索 技术点:Spark Streaming、Blink(Flink)、ODPS(Hive)、Kylin、OTS(Hbase)、ES 线上质量闭环:发现、排查、定位、修复

29.