2 IPTV QoE关键指标选择

传统评价方法. 完全参考评价. 部分参考评价. 无参考评价. QoE指标选取分析. QoE 评价模型. 因子分析法. 主成分分析法. 相关性分析法. 回归分析法. AHP层次分析法).
展开查看详情

1. 一种基于数据挖掘的 IPTV QoE 评价方法 2016 年 10 月 报告人: 李良

2.目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 2

3.1 问题和背景 I. 电信、移动、广电等运营商均基于宽带 IP ( Internet Protocol ,网际网协议)网开展了大规模 IPTV 业务 II.大面积 IPTV 质量投诉,用户对 IPTV 的服务质量满意度下 降,宽带运营商难以先于用户投诉发现 IPTV 质量劣化现象,难 研究 以预警投诉并提前处置 对象 和问 题 III. IPTV 业务在日常运行中,积累了海量的指标数据难以发挥应 有价值。需要获取每个 IPTV 客户在使用业务过程中感受到的质 量(感知质量, Quality of experience, QoE ),以实现投 诉预防、预检预修。 IV.需要有效的 IPTV QoE 计算方法 3 3

4.1 问题和背景 QoE 评价方法 传统评价方法 基于数据挖掘的 评价方法 QoE 指标选取 完 部 QoE 评价模型 无 分析 全 分 参 参 参 考 考 考 评 评 评 价 价 价 主 相 因 回 成 关 AHP 子 归 分 性 层次 分 分 分 分 分析 析 析 析 析 法) 法 法 法 法

5.目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 5

6.2 IPTV QoE 关键指标选择 IPTV 原始指标 指标分类 指标集合 比特率、帧率、视频压缩率、容错能力、复杂度 视频编码 、分辨率 服务平台 最大并发数、平均响应时间 承载网 丢包率、抖动、时延、掉线率、连通率 终端 CPU 利用率、内存利用率 业务 延迟因素 DF 、媒体丢包速率 MLR 6 6

7.2 IPTV QoE 关键指标选择 步骤一:首先采用因子分析法来对指标变量进行分析,也就是对这些指标变量进行 KMO 检验, KMO 检验的目的是判断是否有必要对这些指标变量进行因子分析。    X  E X  Y  EY 2 n r i  j ij r i 1 i i KMO   r   i  j aij 2 2 2 2   X i  E  X    Yi  E  Y  n n i  j ij i 1 i 1   丢包率 抖动 时延 掉线率 0.10 0.01 丢包率 1.000 0.124  IPTV 承载网络 QoE 参数的 KMO 值为 2 4 1.00 0.21 0.83 抖动 0.102 0.301 0 0  IPTV 视频 QoE 参数的 KMO 值为 0.78 0.21 1.00 时延 0.014 0.140 0 0  用户终端性能 QoE 参数的 KMO 为 0.80 0.30 0.14 掉线率 0.124 1.000 1 0 7 7

8.2 IPTV QoE 关键指标选择 步骤二:采用主成分分析法对这些指标集进行降维,使原本存在相关性的指标变成不存在相关性 的指标,从而降低指标数目。 主成分分析( Principal components analysis, PCA )  0.025 50 240 30 70  1.094 1.705 1.502 1.602 -1.602  1.200 0.564 0.554 0.192 -0.192  0.019 74  0.564 1.084 -1.084 40 224 26  -0.365 0.692 0.847 0.748 -0.748    1.200 1.168  0.018 35 210 24 76  -0.608 0.186 0.273 0.320 -0.320 A=   D  R   0.554 1.168 1.200 1.106 -1.106  0.026 28 198 19 81  1.337 -0.523 -0.219 -0.748 0.748    0.021 26 176 16 84  0.122 -0.726 -1.120 -1.388 1.388  0.192 1.084 1.106 1.200 -1.200      -0.192  0.014 20 172 20 80  -1.580 -1.334 -1.284 -0.534 0.534 -1.084 -1.106 -1.200 1.200 Cont=λ/(i 1+ 2  + 6) 主成分 特征值 方差贡献率 累积贡献率 1 3.735 0.5133 0.5133 选取前三个主成分的累积贡献率达到 2 1.174 0.1613 0.6746 84.12% ,而两个主成分的累积贡献率只有 67.46% ,所以选择前三个主成分 3 1.213 0.1667 0.8412

9.2 IPTV QoE 关键指标选择 步骤二:采用主成分分析法对这些指标集进行降维,使原本存在相关性的指标变成不存在相关性 的指标,从而降低指标数目。 第一主成分 第二主成分 第三主成分 指标 第一特征向量 指标 第二特征向量 指标 第三特征向量 丢包率 3.363 抖动 4.012 时延 3.102 抖动 1.012 时延 1.109 掉线率 1.054 时延 1.132 丢包率 -1.018 抖动 -1.065 掉线率 -0.076 掉线率 -0.182 丢包率 -0.168 所以得到影响第一主成分的指标为丢包率,影响第二主成分的指标为抖动,影响第三主成 分的指标为时延,最后得到影响 IPTV 承载网络 QoE 参数的指标为丢包率、抖动和时延。 同理可获得其他类型的主成分指标

10.2 IPTV QoE 关键指标选择 步骤三:通过步骤二得到了三类指标里所有的关键指标,但这些指标还不一定能完全反映用户 体验质量 QoE ,因为还不确定这些指标对 QoE 是否有影响。继续采用 Pearson 相关系数来对这 些指标与 QoE 之间的关系进行分析,以确定这些指标是否为是影响 QoE 的关键指标。 MOS 值为通过大量电话回   MOS 丢包率 抖动 时延 访获得的用户主观评分结 果,取值范围 0-5 ,代表了 IPTV 用户的真实感受,作 MOS 1.000 -0.623 -0.767 -0.698 为对 IPTV 指标的相关性检 验依据。 丢包率 -0.623 1.000 0.228 0.070 根据 pearson 相关系数与相 关性的关系,可以看出 抖动 -0.767 0.228 1.000 0.480 IPTV 承载网络中各指标与 MOS 值之间是显著相关, 而各指标之间是低相关或者 时延 -0.698 0.070 0.480 1.000 中等相关,说明降维后得到 的指标是符合要求的

11.目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 11

12.3 IPTV QoE 评价模型 SMOS  mos  u   MOS  N ,V   SMOS 为希望获得的 IPTV QoE 值,值的范围 是 0 到 5 之间的实数;  mos(u) 为用户终端性能 QoE 参数的体验质量 拟合后的评价值,值的范围是 0 到 1 之间的实 数;  而 MOS( N ,V ) 是对 IPTV 视频 QoE 参数和 IPTV 承载网络 QoE 参数的体验质量进行拟合 后得到的评价值,值的范围是 0 到 5 之间的实 数。 12 12

13.3 IPTV QoE 评价模型 1. 明确回归方程中哪些是自变量与因变量: 通过上述 QoE 评价模型可知:只需要求 出 MOS( N ,V ) 和 mos(u) 的回归方程就可 a1  a2 FR  a3 ln  BR  MOS  N ,V  = 1  b1  PLR b2  b3  Jitter b4  b5  Delay  以得到完整的关于指标与 QoE 之间的回 1b4  归方程,因此本节的回归方程有两个,因 变量分别是 MOS( N ,V ) 和 mos(u) ,而自 变量则分别是他们各自对应的相应指标。 2. 明确回归模型:回归方程的构建涉及多指 c1  r 2  c2  r  c3 标问题,也就是每个因变量对应多个指 mos (u )  标,不能简单的通过画出离散点来实现函 r 2  c4  r  c5 数拟合,本节采用的方法是先通过分析上 面相关性分析法得到指标与因变量之间的 n     关系,然后根据专家经验来建立回归模 型。  yi  y  SSR i 1   2 R =  n 3. 确定参数系数:根据上一步得到的回归方 程、指标数据和 QoE 值,通过在实验条 SST  yi  y i 1   件下进行仿真实验,得到回归方程中各个 参数所对应的系数,从而得到一个明确而 完整的回归方程。

14.目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 14

15.4 实验验证 1. 利用某市运营商用户针对直播和点播的真实 IPTV 指标数据,采用本文方法进行拟合评 分,利用这部分用户的电话回访数据(用户主观评分)计算本文拟合算法的拟合优度 值。 视频 a1 a2 a3 b1 b2 拟合优度 直播 4.4520 -0.0065 0.078 7.033 1.912 93.04% 点播 3.352 -0.0073 0.112 9.982 0.957 90.82%  不同的 IPTV 业务的指标参数不一样,造成这个结果的原因是选择的两个视频在时间与 空间信息上所包含的数据量本身就不一样,也就意味着它们各自对 IPTV 质量的影响不 同,所以也就导致它们对丢包率、比特率、帧率等参数的相关性不一样;  所设计的拟合回归函数可以很好的反映指标与 QoE 之间的关系,通过上面的拟合优度值 与残差平方和可以看出,不同的视频采用本论文设计的评价模型得到的拟合回归函数的 拟合优度值均大于 90% ,且残差平方和均小于 0.04 ,说明此拟合回归函数能较好反映 用户真实体验。 15 15

16.4 实验验证 2. 利用某省运营商全部用户 3 天内真实 IPTV 指标数据,采用本文方法对每个用户进行拟合 评分,并计算每个用户 3 日平均分,采用不同的阈值进行质量预警,然后利用 3 日内全 省 IPTV 投诉记录进行实际预警命中率验证。 ① 利用全省所有 IPTV 用户连续 3 预警评分阈 天的 IPTV 运行数据,对所有用 命中人数 命中率 值 户进行 QoE 评分,并计算 3 日 80 1599 66.35% 内平均分。指标样本记录共计 75 1301 53.98% 超过 4 千万条。 70 1168 48.46% 65 1040 43.15% ② 分别按照不同的评分阈值,对 60 936 38.84% 用户进行质量预警,提取多个 55 830 34.44% 50 783 32.49% 阈值的 QoE 预警清单。 45 661 27.43% 40 629 26.10% ③ 提取 3 日内所有 IPTV 质量类投 诉记录,作为投诉清单,共计 2410 人。 采用本文设计的评价模型,在设定触发预 警评分阈值为 80 分时, QoE 预警清单对 ④ 对比 QoE 预警清单针对投诉清 投诉清单的命中率为 66.35% ,即:本文方 单的命中率,验证本文 QoE 评 法可有效预警 60% 以上的投诉用户。 价模型的有效性。 16 16

17.谢谢