申请试用
HOT
登录
注册
 

JuiceFS 在商用服务机器人、金融风控场景的应用

时间
2023/12/02 14:00 - 15:00
人数
50
地点
研讨会直播
637人浏览
会议详情


Talk 1-JuiceFS 在商用服务机器人数据闭环场景下的实践

在半开放/封闭场景下,每台机器人每分钟可产生以百兆计的数据,因此剧平台需要具备存储海量、可弹性伸缩的能力;大量的传感器数据需要被重复计算,高效的数据获取方式也必不可少。

在选择存储解决方案时,最初考虑了对象存储,但对象存储面临 POSIX 兼容性、性能以及热点分区请求限制以及缺乏缓存功能等挑战。在比较了 Alluxio 和 JuiceFS 后,最终选择使用 JuiceFS 来解决上述问题。

此次分享中,将与大家分享:

• 对象存储的性能限制有哪些?目前,有哪些方案可弥补对象存储的性能不足?

• JuiceFS 在机器人行业被应用在哪些场景?

• 如何使用 JuiceFS 的克隆功能来实现数据版本化?


Talk 2-大数据平台上云:从自建 HDFS→对象存储→ JuiceFS 的实践与演进

自 2018 年起,同盾的业务拓展至海外市场。为了更好地为不同区域的客户提供服务,截止 23 年同盾在全球建立了 4 个数据服务中心。首个站点于 2018 年建立,采用了与本地 IDC 完全一致的方法,在云主机上构建了 Hadoop、Hive、Spark 以及自建IDE等技术栈。初始阶段,业务体量有限且稳定,成本和维护在可接受范围内。

然而,随着业务的快速增长和站点的不断上线,当前架构面临一系列挑战:块存储成本高、Hadoop 组件复杂、弹性能力受限、EMR 版本多样、自建 IDE 适配工作繁琐等。同时,在业务方面同盾还需要支持不同的公有云,以实现分钟级的计算资源扩展。

在这一背景下,同盾着手对存储系统进行了改造。从最初的对象存储+ EMR 方案迁移到了采用 JuiceFS + Kubernetes 的新架构。

这一转变不仅在性能方面与 HDFS 接近,还实现了更大快速的资源弹性和数据容量增长,计算与存储的分离,同时也降低了85%存储成本以及90%的维护工作。目前支持 4个 站点近 PB 级数据规模、近千个调度作业。


此次分享中,将与大家分享:

• 什么是块、对象存储? 大数据场景下两者的优劣势是什么?

• 大数据平台上云的挑战有哪些?有哪些可行方案,他们的优劣势是什么?

• 使用 JuiceFS 及 Spark on Kubernetes 过程中遇到的问题和解决方法 ?


时间

2023 年12月2日(本周六)下午 14:00-15:15


议程

14:00-14:05 11月社区动态

14:05-14:35

Talk1-JuiceFS 在机器人数据闭环场景下的实践

宋巨超,刻行研发工程师

14:35-15:05

Talk2-大数据平台上云:从自建 HDFS→对象存储→ JuiceFS 的实践与演进

王兴武,同盾科技数据平台的研发工程师

15:05-15:15 现场问答 & 抽奖


用户交流群:

活动
文档
专题
博客
确认
3秒后跳转登录页面
去登陆