移动直播连麦技术实践

连麦服务是直播中十分重要的一项增值业务,如何实现高质量的连麦服务,一直是众多业务开发者关注的话题,腾讯云基于自身十多年的音视频终端技术积累,结合强大的视频云服务,在连麦技术上进行了有效的实践,在此分享给大家。
展开查看详情

1.云+社区技术沙龙

2.移动直播连麦技术实践 jansonjiang 腾讯云高级工程师

3.目录 01 连麦直播概述 连麦直播的基本介绍 02 连麦直播技术原理 如何实现连麦直播 03 腾讯云连麦直播实践 腾讯云的连麦技术方案

4.移动直播形式 普通直播 – 单口相声 连麦直播 –对口/群口相声

5.连麦直播应用场景 娱乐 教育 电商

6.连麦实现原理 大主播数据 小主播数据 腾讯视频云 大主播 小主播 普通观众

7.需要解决的问题 1 2 3 4 延时问题 回声问题 混流问题 房间管理

8.目录 01 连麦直播概述 连麦直播的基本介绍 02 连麦直播技术原理 如何实现连麦直播 03 腾讯云连麦直播实践 腾讯云的连麦技术方案

9.普通直播的延时 RTMP推流 CDN拉流 腾讯视频云 主播 观众 upload 转码 CDN 转码处理引入延时 缓存引入延时

10.加速方案 rtmp-acc节点超低时延加速 rtmp-acc rtmp-acc 推流 推流 upload upload 大主播 小主播 使用 UDP 协议,延时低于 500ms

11. 网络的挑战 无丢包 1 2 3 4 5 或多或少 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 的丢包 不确定 23:27:58.248 零延迟 23:27:58.248 23:27:58.248 的延时 23:27:59.671 A B A B 100Mbps 高带宽 100Mbps 100Mbps 有限的带宽 300kbps 理想的网络环境 现实的网络环境

12. 播放器缓冲引入的延时 不均匀的抖动 8 7 6 5 4 3 2 1 水位越高,延时越大 交给解码器的 数据包 来自网络的数 据包 8 7 6 65 5 4 3 3 2 2 1

13. 优化播放延时 不均匀的抖动 8 7 6 5 4 3 2 1 降低水位,同时修正累积延时 交给解码器的 数据包 来自网络的数 据包 8 7 6 65 5 4 3 3 2 2 1

14.回声成因 原声 通信线路 回授 回声 超过10ms的声音人耳能够分辨,而通信线路延时通常都在50ms以上

15.回声消除 AudioPlayer AEC AudioRecord 回声消除的方法

16.客户端画面混合 摄像头画面 A 本地预览 B 播放器实例 A B 远端画面 C C 播放器实例 本地显示画面

17.云端混流 upload A B 转 混 A CDN 码 流 B C C 混流后画面 支持最多同时16路数据源混流(画布、图片、视频、音频 )

18. 还有…… 降噪 混流 上下 延时 消息 麦 网优 策略 数据 采集 音画 同步 混音 滤镜 耳返 美颜 …… 兼容 性 性能 声效 地址 特效 跨房 管理

19.最重要的 效果 成本

20.目录 01 连麦直播概述 连麦直播的基本介绍 02 连麦直播技术原理 如何实现连麦直播 03 腾讯云连麦直播实践 腾讯云的连麦技术方案

21. MLVBLiveRoom 推流:A 用户A 推流:A 观众 拉流:B 云 (rtmp-acc) 加 速 云 A+B ( 端 CDN 连 混 观众 推流:B 流 麦 推流:B ) 用户B 观众 拉流:A (rtmp-acc) RTMP UDP FLV/HLS

22.MLVBLiveRoom 连麦互动 基于LiteAVSDK+IMSDK,实现完整的连麦互动功能 房间管理 实现基础的房间管理逻辑,减轻业务接入工作量 AI 特效 支持人脸特效、动态效果,功能更简单 接入简单 一个组件,半天完成集成,提供开源的Demo APP

23.MLVBLiveRoom

24.仪表盘数据

25.控制台统计

26.TRTC低延时大房间 TRTC 主播间延时最低 100ms,普通观众延时在1000ms以内,平滑上下麦

27.TRTC低延时大房间

28.LiteAV架构

29.T HANKS 关注云加社区公众号