申请试用
HOT
登录
注册
 
基于可学习语义先验的图像补全
基于可学习语义先验的图像补全

基于可学习语义先验的图像补全

白玉兰开源
/
发布于
/
179
人观看

内容介绍

图像补全作为图像处理中的基础问题之一有着广泛的应用场景。借助于深度神经网络,近期的图像补全工作已经能对简单的自然场景生成很好的补全效果。但是在更复杂的场景下,由于信息缺失导致的上下文歧义使得已有方法难以恢复出清晰合理的视觉内容。针对这一问题,我们从场景理解入手,尝试引入预训练模型中的语义先验信息帮助缓解缺失区域的上下文歧义,从而提升图像补全,特别是结构性信息的补全效果。具体的,我们提出了一个双路生成网络。首先通过引入语义抽取类任务(分类,检测等)预训练模型的特征图作为重构目标,借助于知识蒸馏的方法,使得网络学习到具有隐式语义的上下文信息,这一信息被称为语义先验(semantic prior)。
基于学习到的语义先验,我们提出了一个上下文感知的图像补全模型,我们利用像素级仿射变换模块,将语义先验和图像纹理信息进行融合,实现了利用全局语义信息辅助细粒度纹理恢复的目标。
最后我们在三个常用的图像补全数据集上对比了相关的主流方法,我们的模型取得了最好的结果。相关代码和预训练模型已开源。

关于讲师

张文冬,上海交通大学人工智能研究院在读博士生。主要研究兴趣集中于图像生成,图像场景理解及补全。目前已在ACM MM, IJCAI, CVPR, AAAI 等会议和期刊上发表论文5篇。

0 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆