跨失真场景的盲图像质量评价探索

1 .跨失真场景下的盲图 像质量评价模型探索 汇报人：张维夏 MoE Key Lab of Artificial Intelligence, AIInstitute, Shanghai Jiao Tong University 

2 .从图像处理说起 任务 输入 输出 Image Classification Image Category Metric Accuracy, Recall, Object Detection Image/Video Bounding box, Category MAP, IOU, etc. Semantic Segmentation Image Mask Object Tracking, Pose Estimation, Depth Estimation, Saliency Detection, etc. 角色1-裁判 主观质量评价: qualitative results 客观质量评价: PSNR，SSIM等 角色2-教练 目标函数 

3 . 老生常谈的FR/RR/NR IQA 参考图像 失真图像 全参考：输入参考图像及失真图像，输出质量分数。 半参考：输入失真图像及参考图像的特征，输出质量分数。 无参考：只输入失真图像，输出质量分数，也称盲图像质量评价，blind image quality assessment (BIQA) 。 

4 .常见IQA数据集 Synthetic Distortions: LIVE, CSIQ, TID2008, TID2013，KADID-10k, Waterloo Exploration Multiply Distortions: LIVE MD, MDID2013, MDID2016 Authentic/Realistic Distortions: BID, LIVE Challenge, KonIQ-10k, SPAQ, FLIVE Screen Content: SIQAD, SCIQ, CCT Tone-Mapping & MEF: ESPL-LIVE HDR, MEF, TMID 3D: IVD 3D, LIVE 3D, MCL-3D, Waterloo 3D Dehazing: DHQ, SHRQ, IVC Dehazed Image Derain: DQA Texture: SynTEX, TQD Deblurring: Lai16, Liu13 Super-resolution: Ma17, QADS Rendering: Tian19 Denoising: FLT …… 

5 .前DL时代的BIQA模型 Natural Scene Statistic (NSS) 自然无失真图像存在跨不同内容的可靠统计规律，而任何失真的引入均会破坏这种规律，通 过这类统计规律进行建模，其模型参数可以作为BIQA的特征。 BLIINDS-II, DIIVINE, BRISQUE, NIQE, ILNIQE, M3, FRIQUEE, etc. Human Visual System（HVS） 通过对HVS感知视觉信号的过程进行建模，进而评估图像的感知质量。 NFERM，NRSL，etc. Learning based Features 通过无监督聚类的方式从大量的小图像块中建立视觉码本，作为学习到的视觉特征。 QAC，LBIQ，CORNIA，HOSA，SOM，etc. 

6 .基于DNN的BIQA模型 DNN的特性：Data hungry IQA数据集的特性: Limited number of human-annotated images Solutions ? 1，Patch-based training: CNN IQA, CNN IQA++, BIECON, deepIQA, DIQA 2, Transfer Learning: DeepBIQ, Image-wise CNN, SFA, PQR, MetaIQA 3, Quality-aware Pre-training 

7 .DB-CNN IEEE Transactions on Circuits and Systems for Video Technology 2020 

8 .S-CNN 大规模的数据集无标注？主观实验费时费力？ 根据失真类型和等级，从分类的角度对样本进行标注。 

9 .双剑合璧 S-CNN对Authentic Distortion仍然束手无策。 S-CNN for synthetic distortions. VGG-16 for authentic distortion. 

10 .单数据集实验结果  SRCC：单调性  PLCC：精度 

11 .Waterloo Exploration实验结果 3 Metrics gMAD Competition 

12 .DB-CNN虽好，仍不可打十个 跨失真场景的性能仍然比较差 

13 .UNIQUE IEEE Transactions on Image Processing 2021 

14 .多数据集联合学习 不同的IQA数据集不能直接合在一块训练。 Linear re-scaling? 

15 .BIQA as Ranking 不同数据集中样本的绝对MOS不可比 利用相对质量排序 基于Ranking的BIQA 

16 .训练集的合并 给定m个IQA数据集，从第j个数据集随机采样nj个图像对，得到 对于每一个图像对（x, y），根据它们的MOS和方差计算x和y的相对质量，具体来说，基于Thurstone Model，假定图像x真实的感知质量q(x)服从一个均值为μ(x)，标准差为σ(x)的Gaussian分布(通过主观实验 得到)，则q(x) – q(y)也服从均值为μ(x) - μ(y)，方差为σ2(x) + σ2(y)的Gaussian分布，可得： 通过合并从m个数据集采集的图像对，可得： 

17 .不确定性可察 BIQA中的Uncertainty 

18 .训练UNIQUE 获得训练集D之后，训练一个Siamese网络。 Loss functions:需要度量 和 的距离->Fidelity Loss，相较Cross- Entropy等概率分布差异度量函数具有更好的优化性质。 Uncertainty Learning: Overall Objective: 

19 .网络结构 Backbone: pre-trained ResNet-34 on ImageNet 与DB-CNN相似，使用Bilinear Pooling对backbone输出的 特征响应进行聚合。 两个FC层输出，分别对应质量预测模块和不确定量化模块。 为确保uncertainty输出为非负，使用一个Softplus函数予以限制。 

20 .实验设置 数据集： Metric: median SRCC，PLCC results across ten sessions. 超参：27,0000 image pairs, Adam优化器，ξ=0.025，learning rate 1e-4 with a decay factor 10 for every three epochs, 总共12个epochs, mini-batch: 32 

21 .Main Results 

22 .实验结果 Cross-database evaluation Uncertainty Quantification Evaluation 

23 .Qualitative Results 

24 .gMAD Competition 

25 .Ablation Study 

26 .BIQA之持续学习 arxiv 2021 (under review) 

27 .问题定义 新需求 Image IQA Processing 促进 Joint Learning的缺点： 1，需要所有的训练数据，storage issue, privacy issue. Continual /Lifelong/Incremental Learning 2，可扩展性差，遇到新数据就要全部从头训练一遍。 

28 .持续学习的难点 持续学习：一个任务一个任务地学，学新任务时不能使用旧任务的数据。 DNN的特性：喜新厌旧，Catastrophic Forgetting 当新旧任务数据存在明显的distribution shifts时尤为明显 Plasticity: 学新知识的能力，Stability: 保存旧知识的能力 持续学习的目标：Good plasticity-stability trade-off 

29 .Five Desiderata 1，Common Perceptual Space：存在单调的映射函数可以将不同的IQA数据集的MOS映射至 一个共有的感知空间。