AI在家装设计和室内认知领域的探索_酷家乐

1 .AI CU G人 w ww 工 . 智 ai 能 cu 唐睿 技 g. 首席科学家 术 cn 社 区 

2 . 区 关于我们 术 cn 社 技 g. 信息时代 能 cu 智 ai 数据驱动下的智能设计 工 . ww G人 w 基于生成对抗网络的渲染引擎 室内场景认知- InteriorNet CU AI 1 

3 . 关于我们 – 酷家乐 区 世界级的团队，世界级的梦想 术 cn 董事长 社 技 g. • 公司现有员工超 1200人，团队成员多来自于国内浙江大学、清华大学等 能 cu 著名高校,部分获得包括麻省理工(MIT)、伊利诺伊大学香槟分校(UIUC)、密 西根大学、巴斯大学等在内的名校的计算机硕士、博士学位。 智 ai 黄晓煌 联合创始人 &董事长 • 研发团队占据总人数的 1/3以上，硕士以上学历人数超过15%， 工 . ww • 本科以上学历超 90%。 CEO CTO • 前沿核心技术研发实验室KooLab G人 w •KooLab团队由精英成员组成，包括多名博士；均来自卡耐基梅隆大 学、浙江大学、香港大学、巴斯大学等海内外知名学府；更有ACM国 陈航 朱皓 际亚洲区域赛金牌获得者。 CU 联合创始人& CEO 联合创始人&CTO • 与多家科研机构保持前沿合作 AI AI Pioneer 2 

4 . 关于我们 – 酷家乐 区 酷家乐是一家面向未来的大家居全案设计平台及生态解决方案提供商，致力于为数字化升级提供一站式解决方案。平台以设计为入口，链接大家 术 cn 居行业生态，为家居企业提供设计、营销、生产、管理、供应链等场景的解决方案和服务，助力全行业实现“所见即所得”的愿景。 社 技 g. 合作企业超 合作设计师超 合作院校超 能 cu 覆盖全国3D户型图 14,000个 6,500,000个 120家 智 ai 90% 工 . ww 总注册用户超 20,000,000个 G人 w 日均渲染图量 产出家居设计方案 CU 3,000,000张 120,000,000个 AI AI Pioneer 3 

5 . 信息时代 区 科技的进步带来了信息力量的迅速壮大，使得世界正从 术 cn 社 原来的二元空间进入新的三元空间。 技 g. 能 cu C 智 ai 信息 空间 P 工 . H 物理空 人类社 ww 间 会空间 P G人 w 物理空 间 H 人类社 会空间 CU AI AI Pioneer 4 

6 . 信息时代 区 术 cn • 核心要素 社 技 g. • 大数据 信息交换 能 cu • 信息交换、信息处理、信息存储 智 ai • 云计算 工 . • 计算能力的“共享”盛宴 ww • 网络传输 •为什么5G那么重要？ G人 w 信息处理 信息存储 CU AI AI Pioneer 5 

7 . 信息时代 区 术 cn • 信息时代下的家居行业 社 技 g. • 大数据 • 智能设计 能 cu • 智能推荐 智 ai • …… 工 . ww G人 w CU AI AI Pioneer 6 

8 . 信息时代 区 术 cn •信息时代下的家居行业 社 技 g. • 大数据 • 智能设计 能 cu • 智能推荐 智 ai • …… • 云平台 + 云计算 工 . ww • 云户型：覆盖全国90%真实户型 • 云素材：超4000万商品模型素材 • 云渲染：10秒出效果图 G人 w CU AI AI Pioneer 7 

9 . 信息时代 区 术 cn •信息时代下的家居行业 社 技 g. • 大数据 • 智能设计 能 cu • 智能推荐 智 ai • …… • 云平台 + 云计算 工 . ww • 云户型：覆盖全国90%真实户型 • 云素材：超4000万商品模型 • 云渲染：10秒出效果图 •BIM G人 w • 智能施工 CU • 智能清单 • 智能制造 AI AI Pioneer 8 

10 . 数据驱动下的智能设计 Data-driven Interior Plan Generation for Residential Buildings 区 术 cn ACM Transactions on Graphics (SIGGRAPH Asia 2019 @ Brisbane) 社 技 g. WENMING WU, University of Science and Technology of China, China XIAO-MING FU, University of Science and Technology of China, China 能 cu RUI TANG, KooLab@Kujiale, China YUHAN WANG, KooLab@Kujiale, China 智 ai YU-HAO QI, University of Science and Technology of China, China LIGANG LIU, University of Science and Technology of China, China 工 . ww G人 w CU AI AI Pioneer 9 

11 . 数据驱动下的智能设计 • 数据驱动 区 术 cn 社 技 g. • 智能布局 能 cu 智 ai • 灵活可配置 工 . ww • 抽象&模拟人类设计过程 G人 w CU AI AI Pioneer 10 

12 . 数据驱动下的智能设计 • System Overview 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 11 

13 . 数据驱动下的智能设计 • Locating Elements (Room) 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 12 

14 . 数据驱动下的智能设计 • Predicting Boundary & Regularization 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w Predicting Boundary Regularization CU AI AI Pioneer 13 

15 . 数据驱动下的智能设计 • Results 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 14 

16 . 基于生成对抗网络的渲染引擎 区 Adversarial Monte Carlo Denoising with Conditioned Auxiliary Feature Modulation 术 cn ACM Transactions on Graphics (SIGGRAPH Asia 2019 @ Brisbane) 社 技 g. BING XU, KooLab, Kujiale, China JUNFEI ZHANG, KooLab, Kujiale, China RUI WANG, State Key Laboratory of CAD & CG, Zhejiang University, China 能 cu KUN XU, BNRist, Department of Computer Science and Technology, Tsinghua University, China YONG-LIANG YANG, University of Bath, UK 智 ai CHUAN LI, Lambda Labs Inc, USA RUI TANG, KooLab, Kujiale, China 工 . ww G人 w CU AI AI Pioneer 15 

17 . 基于生成对抗网络的渲染引擎 Problem Domain & Contribution 区 术 cn 社 • 什么是渲染？ https://zhuanlan.zhihu.com/p/41269520 技 g. • 为什么渲染要降噪 能 cu 智 ai 工 . ww G人 w CU 蒙特卡洛积分 KPCN 2017 (Image copyright @ Disney) - 抛针计算圆周率 AI AI Pioneer 16 

18 . 基于生成对抗网络的渲染引擎 Problem Domain & Contribution 区 术 cn 社 • 什么是渲染？ https://zhuanlan.zhihu.com/p/41269520 技 g. 能 cu • 酷家乐极速渲染 智 ai •设计方案超过1.2亿个 工 . •模型超过4000万 ww •每日渲染300万张的设计图 •自有3000台渲染服务器 G人 w •以上为全国首位 CU 酷家乐FF Render Engine Vray Render Engine 10s 60s AI AI Pioneer 17 

19 . 基于生成对抗网络的渲染引擎 Problem Domain & Contribution 区 术 cn 社 • 什么是渲染？ https://zhuanlan.zhihu.com/p/41269520 技 g. 能 cu • 酷家乐极速渲染 智 ai • Adversarial MC Denoiser • L1 ? L2 ? Or ??? 工 . ww • Conditioned feature Modulation G人 w • How to use cheap auxiliary features • Normal • Depth • Albedo CU AI AI Pioneer 18 

20 . 基于生成对抗网络的渲染引擎 Overview of our adversarial framework (First GAN MC Denoiser) 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 19 

21 . 基于生成对抗网络的渲染引擎 Result 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer Scan me to explore more showcase 20 

22 . 室内场景认知- InteriorNet 区 术 cn 社 InteriorNet: Mega-scale Multi-sensor 技 g. Photo-realistic Indoor Scenes Dataset 能 cu 智 ai 工 . Wenbin Li, Sajad Saeedi, John McCormac, Ronald Clark, Dimos Tzoumanikas, ww Qing Ye, Yuzhong Huang, Rui Tang and Stefan Leutenegger Imperial College London Kujiale.com G人 w CU AI AI Pioneer 21 

23 . 室内场景认知- InteriorNet 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww Real-world dataset G人 w • Needed by various learning based system • Images data with good photorealistic effects • A small amount of ground truth CU • Manual labelling data • Low quality ground truth AI AI Pioneer 22 

24 . 室内场景认知- InteriorNet 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w SUNCG Dataset + Ground Truth Synthesised dataset •Easy to create large amount of data CU •Easy to generate perfect ground truth AI •Lack of photorealistic effects - images look fake AI Pioneer 23 

25 . 室内场景认知- InteriorNet 区 术 cn 社 技 g. 能 cu 智 ai 工 . Synthesised Data Real-world Data ww G人 w Realistic gap between synthesised and real-world data • An ideal dataset may • Be big enough for represent the diversity of real world • Need photorealistic effects as good as real-world data CU • Content ground truth as perfect as synthesised data AI • Contain flexible configurations for different requirements AI Pioneer 24 

26 . 室内场景认知- InteriorNet 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww Real Decorations G人 w Our Rendering InteriorNet is to bridge this reality gap • Huge dataset with photorealisitic images and perfect ground truth CU • The production level furniture CADs • The same digital layouts of the real-world decorations AI • A good realistic renderer AI Pioneer 25 

27 . 室内场景认知- InteriorNet Simulating Tool + Mega Data 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 26 

28 . 室内场景认知- InteriorNet 区 术 cn 社 技 g. 能 cu 智 ai 工 . Random realistic trajectory generation ww • Create random trajectory as a base Our Synthesised Trajectory G人 w • Use a variation of WaveNet • Learn realistic momentums from training data • Apply the realistic motion onto base random trajectory CU • Good simulation to a handheld camera motion AI • Support various translation and rotation speed AI Pioneer 27 

29 . 写在最后…… 区 术 cn 信息时代下的AI 社 技 g. • 数据 = 基石 能 cu 大数据时代已经到来，要用大数据思维去发掘大数据的潜在价值。 智 ai • 处理模块 = 大脑 工 . “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的 ww 海量、高增长率和多样化的信息资产。 —— Gartner G人 w • 大数据 + 新模块 = 高效工具 （例如IoT） “数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对 于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” CU —— 麦肯锡 AI AI Pioneer 28