申请试用
HOT
登录
注册
 
跨失真场景的盲图像质量评价探索
0 点赞
1 收藏
6下载
白玉兰开源
/
发布于
/
151
人观看

摘要:
近年来,深度学习的蓬勃发展极大促进了图像处理及计算机视觉技术在不同的研究领域取得突破性的进展。与此同时,技术的进步也引入了新的图像失真,对图像质量评价也提出了新的挑战。盲图像质量评价不依赖于失真图像的无失真参考图像对图像进行质量评估,在实际场景中具有较为广泛的应用潜力。面对不断更迭变化的失真场景,传统图像质量评价模型的泛化性能受到了较大的挑战。
受此激励,我们在三个不同的层次上探索了跨失真场景下的盲图像质量评价模型:
1)基于深度双线性网络的盲图像质量评价模型;
2)不确定可察的实验环境及自然场景下的盲图像质量评价;
3)持续学习下的盲图像质量评价。
实验表明,我们提出的方法能有效提升盲图像评价模型在跨失真场景下的泛化性能。

讲师介绍

image.png
张维夏,上海交通大学人工智能研究院博士后,2018年博士毕业于武汉大学电子科学系。研究方向包含图像质量评价、计算机视觉等。在TIP, TCSVT, JVCIR, DSP, ICIP, ACCV等会议和期刊上发表论文十余篇。担任TIP,TCSVT,TMM,TNNLS, Neurocomputing,DSP等期刊审稿人。博士后期间获得国家自然科学青年基金项目资助。

评议人

image1.png

闵雄阔,现为上海交通大学博士后,2018年博士毕业于上海交通大学电子工程系。研究方向包含图像质量评价、视觉注意力建模以及感知信号处理。 在TIP, TMM, TITS, TBC, TOMM, IS, SP, ICME, VCIP等期刊会议上发表论文数十篇。获得MMC 2019最佳论文,ICME 2018 Salient360 Grand Challenge大奖, ICME 2017 Salient360 Grand Challenge特殊奖, ICME 2016最佳学生论文,2018上海交大优秀毕业生等奖项。担任QoMEX 2020, VCIP 2018-2020 TPC。担任TIP, TMM,TCYB, TSP,TIE, TII,SPIC, ICME, ICIP等多个国际期刊/会议审稿人。博士后期间获得博士后创新人才计划、上海市超级博士后激励计划、博士后科学基金面上资助及国家自然科学青年基金项目资助。

展开查看详情

1.跨失真场景下的盲图 像质量评价模型探索 汇报人:张维夏 MoE Key Lab of Artificial Intelligence, AIInstitute, Shanghai Jiao Tong University

2.从图像处理说起 任务 输入 输出 Image Classification Image Category Metric Accuracy, Recall, Object Detection Image/Video Bounding box, Category MAP, IOU, etc. Semantic Segmentation Image Mask Object Tracking, Pose Estimation, Depth Estimation, Saliency Detection, etc. 角色1-裁判 主观质量评价: qualitative results 客观质量评价: PSNR,SSIM等 角色2-教练 目标函数

3. 老生常谈的FR/RR/NR IQA 参考图像 失真图像 全参考:输入参考图像及失真图像,输出质量分数。 半参考:输入失真图像及参考图像的特征,输出质量分数。 无参考:只输入失真图像,输出质量分数,也称盲图像质量评价,blind image quality assessment (BIQA) 。

4.常见IQA数据集 Synthetic Distortions: LIVE, CSIQ, TID2008, TID2013,KADID-10k, Waterloo Exploration Multiply Distortions: LIVE MD, MDID2013, MDID2016 Authentic/Realistic Distortions: BID, LIVE Challenge, KonIQ-10k, SPAQ, FLIVE Screen Content: SIQAD, SCIQ, CCT Tone-Mapping & MEF: ESPL-LIVE HDR, MEF, TMID 3D: IVD 3D, LIVE 3D, MCL-3D, Waterloo 3D Dehazing: DHQ, SHRQ, IVC Dehazed Image Derain: DQA Texture: SynTEX, TQD Deblurring: Lai16, Liu13 Super-resolution: Ma17, QADS Rendering: Tian19 Denoising: FLT ……

5.前DL时代的BIQA模型 Natural Scene Statistic (NSS) 自然无失真图像存在跨不同内容的可靠统计规律,而任何失真的引入均会破坏这种规律,通 过这类统计规律进行建模,其模型参数可以作为BIQA的特征。 BLIINDS-II, DIIVINE, BRISQUE, NIQE, ILNIQE, M3, FRIQUEE, etc. Human Visual System(HVS) 通过对HVS感知视觉信号的过程进行建模,进而评估图像的感知质量。 NFERM,NRSL,etc. Learning based Features 通过无监督聚类的方式从大量的小图像块中建立视觉码本,作为学习到的视觉特征。 QAC,LBIQ,CORNIA,HOSA,SOM,etc.

6.基于DNN的BIQA模型 DNN的特性:Data hungry IQA数据集的特性: Limited number of human-annotated images Solutions ? 1,Patch-based training: CNN IQA, CNN IQA++, BIECON, deepIQA, DIQA 2, Transfer Learning: DeepBIQ, Image-wise CNN, SFA, PQR, MetaIQA 3, Quality-aware Pre-training

7.DB-CNN IEEE Transactions on Circuits and Systems for Video Technology 2020

8.S-CNN 大规模的数据集无标注?主观实验费时费力? 根据失真类型和等级,从分类的角度对样本进行标注。

9.双剑合璧 S-CNN对Authentic Distortion仍然束手无策。 S-CNN for synthetic distortions. VGG-16 for authentic distortion.

10.单数据集实验结果  SRCC:单调性  PLCC:精度

11.Waterloo Exploration实验结果 3 Metrics gMAD Competition

12.DB-CNN虽好,仍不可打十个 跨失真场景的性能仍然比较差

13.UNIQUE IEEE Transactions on Image Processing 2021

14.多数据集联合学习 不同的IQA数据集不能直接合在一块训练。 Linear re-scaling?

15.BIQA as Ranking 不同数据集中样本的绝对MOS不可比 利用相对质量排序 基于Ranking的BIQA

16.训练集的合并 给定m个IQA数据集,从第j个数据集随机采样nj个图像对,得到 对于每一个图像对(x, y),根据它们的MOS和方差计算x和y的相对质量,具体来说,基于Thurstone Model,假定图像x真实的感知质量q(x)服从一个均值为μ(x),标准差为σ(x)的Gaussian分布(通过主观实验 得到),则q(x) – q(y)也服从均值为μ(x) - μ(y),方差为σ2(x) + σ2(y)的Gaussian分布,可得: 通过合并从m个数据集采集的图像对,可得:

17.不确定性可察 BIQA中的Uncertainty

18.训练UNIQUE 获得训练集D之后,训练一个Siamese网络。 Loss functions:需要度量 和 的距离->Fidelity Loss,相较Cross- Entropy等概率分布差异度量函数具有更好的优化性质。 Uncertainty Learning: Overall Objective:

19.网络结构 Backbone: pre-trained ResNet-34 on ImageNet 与DB-CNN相似,使用Bilinear Pooling对backbone输出的 特征响应进行聚合。 两个FC层输出,分别对应质量预测模块和不确定量化模块。 为确保uncertainty输出为非负,使用一个Softplus函数予以限制。

20.实验设置 数据集: Metric: median SRCC,PLCC results across ten sessions. 超参:27,0000 image pairs, Adam优化器,ξ=0.025,learning rate 1e-4 with a decay factor 10 for every three epochs, 总共12个epochs, mini-batch: 32

21.Main Results

22.实验结果 Cross-database evaluation Uncertainty Quantification Evaluation

23.Qualitative Results

24.gMAD Competition

25.Ablation Study

26.BIQA之持续学习 arxiv 2021 (under review)

27.问题定义 新需求 Image IQA Processing 促进 Joint Learning的缺点: 1,需要所有的训练数据,storage issue, privacy issue. Continual /Lifelong/Incremental Learning 2,可扩展性差,遇到新数据就要全部从头训练一遍。

28.持续学习的难点 持续学习:一个任务一个任务地学,学新任务时不能使用旧任务的数据。 DNN的特性:喜新厌旧,Catastrophic Forgetting 当新旧任务数据存在明显的distribution shifts时尤为明显 Plasticity: 学新知识的能力,Stability: 保存旧知识的能力 持续学习的目标:Good plasticity-stability trade-off

29.Five Desiderata 1,Common Perceptual Space:存在单调的映射函数可以将不同的IQA数据集的MOS映射至 一个共有的感知空间。

0 点赞
1 收藏
6下载