申请试用
HOT
登录
注册
 
持久化内存技术在实时决策系统中的应用
持久化内存技术在实时决策系统中的应用

持久化内存技术在实时决策系统中的应用

博客园
/
发布于
/
525
人观看

实时决策系统: 如实时推荐,实时反欺诈,要求系统在极短的时间内对用户产生的数据进行处理,并拉取已训练好的超高维模型进行打分预测。这一过程中将涉及实时特征提取,超高纬模型参数查询等多步操作。为了满足强实时性的要求,决策系统需要把用于提取特征的数据以及超高纬模型的参数存储在DRAM内存中。在实际部署过程中,我们发现这部分内存数据量可以多达10TB级甚至更高。借助Intel Optane DC memory(PMEM)持久化内存高容量,持久化等特性,可以很好的降低实时决策系统内存数据的存储成本,并大大加快传统DRAM-based内存系统因节点失效所需的恢复时间。我们将介绍我们利用PMDK对第四范式自研的两项核心科技:实时特征提取数据库RTIDB和高纬参数服务器集群进行优化的成果。

1 点赞
1 收藏
9下载
相关文档
确认
3秒后跳转登录页面
去登陆