阿里巴巴 古鉴 - 《在教育领域AR技术如何落地》

虚拟现实(VR)和增强现实(AR)被描述为继web浏览器和移动电话后的第三波媒介浪潮(3rd media wave),一些人也把它称为信息时代和深入体验时代的转换点。 无论如何定义,它是一个新兴的年轻空间,激发了很多人关于“虚拟现实+”行业的发展想象与前景构想。
展开查看详情

1.AR开发者平台体系及教育领域的探索 阿⾥巴巴⾼级技术专家 古鉴(坎特)

2. 1 AR 市场及阿⾥AR开放平台介绍 2 AR教育产品 ⽬录 3 研发中技术难点 4 未来的研发⽅向

3.个⼈人介绍 11年AR技术的研究和创业的经验 5年AR的学术研究经验 •  新⻄兰HIT Lab NZ 实验室 •  新加坡国⽴⼤学 6年年AR⼯工业领域经验 •  梦想⼈软件科技有限公司,CTO,联合创始⼈ •  暴⻛魔镜, AR及交互技术负责⼈-主要负责交互产品 •  阿⾥巴巴⼈⼯智能实验室, AR开放平台负责⼈

4.AR市场的分析 •  2019年以后,市场进入到快速发展阶段,越来 •  1999年年开始到2012 属于探索期,2009年年的时 越多的Killer APP涌现出来 候iPhone3G出来后, 带动了了市场,⼀一批AR应 ⽤用上线⼿手机市场。 •  从第三阶段开始进入成熟的市场。AR的市场格 •  AR公司没有找到⾜足够在市场上赚到钱的点 局已经形成。 1999-2012 2019-2022 After 2022 2013-2018 Exploring Rapidly Market Starting Period period Growing Period maturity Period •  2016 Pokemango的出现,使得整个中国 投资AR市场变得⾮非常热,达到巅峰。后⾯面 逐渐冷却。 •  2018年年处在技术在不不断成熟和积累阶段, 硬件和软件都在⾛走向成熟 信息来⾃自易易观智库

5.AR 硬件演进⽅方案 •  ⼿手机AR 是现在AR的主流平台 •  可以看到定制AR硬件会是未来⼀一段时间的主流 •  AR 眼镜会是今后的最终形态. Mobile AR AR Customized Equipment Smart Glasses

6.AR的价值 AR的价值 •  视觉产⽣的震撼 •  ⾃然交互⽅式产⽣便捷 •  虚拟和现实实时融合产⽣⾼附加价值 AR的问题 •  震撼的效果要求3D的制作成本⽐较⾼ •  AR算法有⼀定的技术⻔槛 •  定制化多,产⽣的价值⽆法被⼤量复制。 •  AR只是附加值,很难成为主要的价值提供者 AR平台能产⽣生的价值 •  降低AR的技术⻔槛:提供AR SDK •  降低AR的制作成本: 标准化3D制作流程 •  更便捷的⽣成AR内容:内容编辑器

7.Ali Genie AR 开发者平台 •  2017年年10⽉月,我们发布了了Ali Genie AR 开发者平台

8.Ali Genie AR 开发者平台 2D识别追踪 3D识别追踪 内容制作平台 标记物训练工具 Aviex渲染引擎 稳定的云服务 高品质3D素材库 GPU加速

9.内容合作模式

10.开放平台案例例-阿⾥里里健康

11.开放平台案例例 星巴克 阿⾥里里汽⻋车

12.AR对各个领域的影响 零售,教育都是AR能产⽣生巨⼤大变⾰革的领域。 Changes Retail Education Industrial Travel training Social Medical Games Marketing & News Live streaming Finance Real Video Estate Time 12

13.思考AR开放平台如何产⽣生更更多的价值 选择AR适合的领域:⼤大规模使⽤用,能够快速制作, 同时能够快速复制⾏行行业 深⼊入了了解某⼀一领域的需求。 要以硬件/实体物品为AR载体,同时让算法+软件+内容对⽤用户产⽣生⾼高附加价值。 零售和教育是我们看到的AR能产⽣生⾼高附加价值的领域 + + +

14.选择⼉儿童教育作为AR产品切⼊入点 ⼉儿童教育市场中:早教市场前景⼴广阔,估算⽬目前规模1000亿元左右。⽬目 前购买天猫精灵的顾客中,⼤大约 60% 左右已育⼈人群,⼉儿童⽤用户是天猫 精灵重要⽤用户。 AR的强烈烈的和现实的结合性,⽐比如说和实物的结合(书,积⽊木等),导 致它天⽣生会和教育场景结合密切。

15.AR在教育领域的应⽤用 Project name AR 放大镜 AR 地球仪 AR 学习课件 AR 涂色 识花 天猫书城

16.对教育的投⼊入 教育对于⼉儿童成⻓长和未来终身发展有着重要的意义,教育⽀支出主要集中于 有孩⼦子的家庭,有孩⼦子的家庭教育⽀支出显著⾼高于没有孩⼦子的家庭。 视频来⾃自 i投资 https://xueqiu.com/8107212038/29604918

17.设计⽅方向(AR+AI) 目标受众 存在问题 解决问题 设计亮点 产生价值 3-12岁小朋友 学习兴趣浓厚 AI + AR 扫一扫/AR 读书 更结合现实 需要专门的人引导 幼儿和学龄期 每页都可读 AI 分析 更激发兴趣 才能学习 数据统计分析 现有工具使用难度 主动探索时学习 较大,不易上手 可语音交互 内容统计 海量内容资源 可语音交互 物体识别 即时反馈 语音交互 阅读效率提升

18.教育产品的探索 国图字帖 天猫图书 和国家图书馆合作的字帖,教⼩朋友学习写字。 和天猫图书合作,通过动态恐⻰的⽅式展现图书

19.教育产品的探索 图像识别 物体检测 拟态引擎 多模态交互 情景感知 + =

20.天猫精灵⽕火眼+XHolder

21.⽤用户反馈 很有魔性,⼩孩很喜欢玩 ⼩孩跟着天猫精灵⽕眼读书超过⼀个⼩时 睡前喜欢听故事,不⽤我在读了 奶奶爷爷发⾳不标准,这个可以更好教他们英⽂ ⽗⺟不在的时候也可以玩识字卡⽚

22.⽤用户反馈

23.技术上的探讨 天猫精灵⽕火眼产品的架构 声⾳音和视觉结果的同步 识别追踪算法逻辑图 识别中遇到的⼀一些难点 算法上⼀一些新的探索 内容编辑器器 3D制作标准

24.整体设计架构图 通过相机、渲染、算法的分离,并⾏行行处理理,多重缓冲区,实现实时 接口层 UIView Controller 中间层 相机管理 表情状态机 Session 全双工通信 底层 渲染引擎 算法服务

25.识别的问题

26.基于深度学习的OCR技术⽤用于⽂文本图⽚片检索 同时利利⽤用visual feature + textual feature 提⾼高图⽚片识别的准确率 基于深度学习的OCR技术进⾏行行图⽚片的⽂文本特 征提取,主要分为四步: •  第⼀步:⽂本检测。 •  第⼆步:⽂本字符识别。 •  第三步:⽂本特征提取。 •  第四步:⽂字统计

27.后台编辑器器

28.AR开发者平台3D模型输出规范 Model of the standard 模型参数 贴图规范 动画规范 l  面数:2.5W-3W三角面 (Triangle) l  纹理贴图 1024*1024 PNG l  世界中心点创建Dummy l  要求:模型结构清晰,模型精致 l  法线贴图 1024*1024 PNG l  命名Dummy为:RootBone l  模型尺寸缩放到30cm的立方体之内 l  材质贴图 1024*1024 PNG l  以RootBone为根节点的骨骼树 u R:金属 l  骨骼树下面不能LINK任何模型 u G:皮革 l  动画必须要通过SKIN绑定实现 u B:棉布等亚光材质 l  骨骼总数不能超过68根 l  每个顶点最多受4根骨骼权重影响

29.未来的展望 视频来⾃自 HIT Lab NZ