腾讯视频云海外直播系统架构设计与最佳实践

1 .云+社区技术沙龙 

2 .腾讯视频云海外直播系统架构设计与最佳实践 胡仁成 腾讯 高级研发工程师 

3 .SPEAKER 胡仁成 腾讯云 海外直播技术负责人 现任职于腾讯云视频产品中心，专注于海外直播系统的建设与优 化，主要负责腾讯视频云海外直播的相关工作。参与直播系统的 设计和开发工作，包括直播状态系统、混流调度系统以及连麦加 速系统等。 

4 .CONTENTS 01 海外网络与机房建设 02 海外直播系统建设 03 精细化运营 

5 .海外网络分析 全球骨干传输网络 按地域划分三个大区： 北美、亚太、欧洲，彼此间有跨洋专线互连。 按运营商层级划分为3层： Tier 1：又称为IBP，提供全球或地区间互连能 力，全球总共12家。 Tier 2：区域ISP，提供一个或多个国家或区域服 务。需要向同级或上级运营商付费跨网互连。 Tier 3：本地ISP，面向终端用户的ISP，需要向上 级运营商付费进行跨网互连。 

6 .海外网络布局 美国 建设思路：成本 vs 质量 新加坡 1. 选择全球骨干网中心点布局核心网络 德国 2. Tier1运营商付费接入，保证充足的互连带宽 3. 区域强势Tier2运营商先付费再降价或免费 香港 4. Tier3运营商走peer互连或transit结算 印度 韩国 泰国 

7 .合作运营商 

8 .CONTENTS 01 海外网络与机房建设 02 海外直播系统建设 03 精细化运营 

9 .去中心化系统设计 直播 云 Set1 直播 云Setn 直播管理 直播管理 直播接入 转码集群 直播接入 转码集群 负载均衡 截图水印 负载均衡 截图水印 CDN CDN 状态中心 状态中心 状态中心 直播 HK Set 新加坡 美国 … 德国 Set Set Set 

10 .跨区拉流挑战 SET A SET B 内网专线-流媒体回源 ➢要求 ➢秒开 状态同步 ➢回源稳定 ➢低延时 流接口机 cdn边缘 ➢方案 ➢状态同步-大区收敛 ➢内网专线保障回源稳定性 ➢Quic方案加速，降低链路延时 推流 推流 主播 观众 

11 .直播一体化系统设计 直播系统 视频采集 RTMP直播流 全平台推流SDK 直播管理 全平台互动直播SDK 转码集群 全平台播放SDK 直播接入 CDN 截图水印 负载均衡 主播/源站 观众 支持RTMP、 HTTP-FLV、HLS、 DASH 

12 .第三方源站加速系统设计 直播系统 RTMP直播流 第三方源站 HTTP-FLV直播流 直播管理 HLS直播流 转码集群 全平台播放SDK 直播接入 CDN 截图水印 负载均衡 观众 支持RTMP、 HTTP-FLV、HLS 

13 .数字版权管理-DRM 数字版权保护利器 1. 好莱坞认可 2. 支持国际通用的 Widevine、Fairplay DRM 方案 3. 系统级加解密，加密级别高 4. 接入简单、便捷 5. 定制化参数支持证书有效期、播放时长等 

14 .CONTENTS 01 海外网络与机房建设 02 海外直播系统建设 03 精细化运营能力 

15 .精细化运营的挑战 运维响应问题 Dns调度异常 RTT过大 网络劫持 单点故障 跨境传输 突发支撑 延迟 外网丢包 高成本 容灾 卡顿 

16 .全方位监控系统 业务秒级监控 大型突发活动稳定性保障 运营商粒度网络监控 实时监控服务区域的延时和丢包率 服务应用监控 端口拨测，秒级感知异常机器 

17 .调度问题 真实案例： Case： 发现问题： ① Public dns+部分客户端不支持ECS ② Public dns+多出口问题（国际漫游 卡） ③ Local dns异常问题（全球飞的客户） 1、用户真实地点是在台北 2、用户使用的是远传电信提供的国际 漫游卡，支持台湾和大陆的流量使用 

18 .http://119.29.29.29/d?dn=www.dnspod.cn.&ip=1.1.1.1 调度优化 Http dns方案 ① Httpdns接口免费、高吞吐量 ② 基于anycast技术接入，网络接入质量优 调度优化升级 ① 部分国家支持州维度调度 ② 支持按运营商调度 使用指南 ① GetLocalIp()，方法一万种。。。 ② 拼接httpdns请求， http://119.29.29.29/d?dn=www.dnspod.cn.&ip=local_ip,获 取server_ip 美国整体延时64ms到51ms ③ 拼接播放请求： a) http请求:http://server_ip/host/live/test.m3u8 b) https请求：tcp建连的目的ip使用server_ip,填充播放 url,https://host/live/test.m3u8 

19 .弱网传输优化-回源链路优化 真实案例1：边缘回源问题 丢包最高40% 业务无感知 DC源站 边缘加速点 TCP链路丢包抖动问题 用户拉流 优化方案 回源速率不稳定，导致边缘分发异常 DC源站 边缘加速点 TCP TCP 真实案例2：上行加速优化 UDP Quic代理 Quic代理 DC源站 边缘加速点 TCP链路丢包抖动问题 用户推流 回源速率不稳定，导致边缘分发异常 

20 .弱网传输优化-边缘协议栈优化 最后一公里的弱网问题： 卡顿率优化20% 边缘加速点 应用层 TCP 基于协议栈优化的单边方案 播放端 TCP协议栈 ① 自研完整的TCP协议栈优化方案QTCP BBR ② 测试性能高于开源的BBR等算法 Cubic ③ 单边加速，用户无感知 Reno ④ 实际优化效果明显，业务卡顿率优化20%+ 问题：基于丢包的流量控制算法 不适用弱网环境的视频流传输 

21 .THANKS 关注云加社区公众号