深度学习在房产图像智能化上的应用

深度神经网络对图像在特定目标域拥有极强的感知与决策能力,58房产平台中拥有海量丰富多样的图片数据,我们可以构建各类图像智能化应用为平台和用户创造价值,如利用图片相似信息实现房源聚合、户型推荐、虚假识别,基于深度学习技术实现图像美感评分系统等。本次议题将介绍如何利用图片分类、图片检测、度量学习等算法对相似房源室内图片、户型图片进行识别和检索,并分享在业务实际应用中遇到的问题和解决方案。

展开查看详情

1.【第12期】图像、NLP、语音技术在58的应用实践 欢迎关注AICUG人工智能技术社区 欢迎关注58技术公众号 (www.aicug.cn)

2.【第1讲】深度学习在房产图像 智能化上的应用 分享嘉宾:王梦蕾-58同城安居客算法资深工程师

3.个人简介 王梦蕾,58同城安居客算法资深工程师 主要负责房产(二手房/新房/商业地产)图像理解、视频分析方向的算法研发工作 mollywang_ajk@58.com

4.引子 什么是深度学习? 深度学习是一种特定类型的机器学习,构建深层次的网络,使 用大量的样本,从中学习出数据的多层抽象表示,提升分类或 预测的准确性。

5.引子 房产核心数据 结构化 半结构化 非结构化 数据字典 用户行为 图像/视频/文本

6.引子 图像数据

7.目录 1. 深度学习在房产图像上的应用简介 2. 相似房源室内图识别 3. 户型图识别

8.深度学习在房产图像上的应用 • 图像分类 • 图像检测 • 其他任务

9. 深度学习在房产图像上的应用 图像分类 小区图/室内图/户型图 分类 房源场景分类 图片美学分类

10.深度学习在房产图像上的应用 图像检测 文字检测 户型检测

11.深度学习在房产图像上的应用 其他任务 视频动作识别 图片相似度量

12.目录 1. 深度学习在房产图像上的应用简介 2. 相似房源室内图识别 3. 户型图识别

13.相似房源室内图识别 相同相似图去重治理 同房源图片进行聚合

14.Deep Metric Learning 简介 目标 学习数据到 embedding 的映射,使相似的数据距离近,不相似的数据距离远。 实现方式

15.Deep Metric Learning 简介 Loss 简介 • Embedding loss • 直接对嵌入向量进行 loss 计算 • 数据成对用 contrastive loss,三元组用 triplet loss • 同类算法改进:N-pair loss, Lifted Struct Loss 等 Softmax constrastive triplet Reference:https://github.com/adambielski/siamese-triplet

16.Deep Metric Learning 简介 目标 学习数据到 embedding 的映射,使相似的数据距离近,不相似的数据距离远。 实现方式

17.Deep Metric Learning 简介 Loss 简介 • Classification loss • 将嵌入向量再进行映射为分类空间的 logits 再进行 loss 计算 • 用角度来度量相似间隔,large margin softmax loss • 同类算法改进:sphereFace loss, arcFace loss, angular softmax

18.Deep Metric Learning 简介 目标 学习数据到 embedding 的映射,使相似的数据距离近,不相似的数据距离远。 实现方式

19.Deep Metric Learning 简介 样本选取 offline 或 online 评价指标 • Recall@K:topK 查询中的召回率 • R precision: topR 查询的准确率 • MAP@R:topR 查询的MAP • 房源维度 precision 和 recall

20.相似房源室内图识别 训练细节 • 样本数据:人工标注 10000+ 房源,筛选 1200+ 组相似图片对,每一组认为是一 个类别,每一类扩充成 50 张图片 • 数据增强:剪切、随机噪声,颜色对比度变化、仿射变换 • 添加随机 mask,隐藏掉部分图像内容 • 使用 N sample 抽样方法,每个 batch 96 张图片,随机挑选 24个类,每个类 4 张图片,使用分布式训练 • Backbone 网络为 Resnet50 • 输出特征维度 256 维 • 使用 circle loss:小样本训练测试,circle loss 效果最好,margin 参数 0.1 • 测试数据生成:随机挑选非训练集中的 140 组房源图片

21.相似房源室内图识别 训练效果 • 图片测试集检索结果 loss MAP@R R Precision margin MAP@R R Precision 0.1 0.714 0.743 triplet loss 0.66 0.7 0.25 0.707 0.736 0.3 0.707 0.736 circle loss 0.714 0.743 arcface 0.4 0.71 0.739 loss 0.672 0.703 0.5 0.687 0.717 不同 loss 比对 Circle Loss • 房源准召率结果 F1 score 最高时,准确率 99%

22.相似房源室内图识别 实际应用和效果(房源SKU聚合) 工程实现 线上效果

23.相似房源室内图识别 不足 视角差别很大造成漏判 房源相近造成误判

24.目录 1. 深度学习在房产图像上的应用简介 2. 相似房源室内图识别 3. 户型图识别

25.户型图识别 特征抽取 图片检测:检测户型功能区 使用 YOLOv3,测试平均准确率 95.6%

26.户型图识别 特征抽取 文字检测和识别:识别户型图中文字 使用 EAST 进行检测 CRNN 做识别 文字识别平均准确率 95.8%

27.户型图识别 特征抽取 户型图分类:带标识户型图/手绘户型图/非户型图 使用 MobileNetV3 进行分类 分类平均准确率 95.8%

28.户型图识别——效果 相似户型推荐 相同户型反哺

29.户型图识别——效果 户型描述生成 功能分区明确 动静分区 客厅带阳台 标签平均准确率约 93%