申请试用
HOT
登录
注册
 
The Data Civilizer System

The Data Civilizer System

陈重丶
/
发布于
/
2063
人观看
在许多组织中,由于数据通常分散在整个企业,而且往往不一致,因此用户通常很难找到特定任务的发布数据。事实上,数据科学家通常报告说,他们的大部分工作都是在寻找、清理、输入和获取与手头任务相关的数据。为了减少“野外”数据分析所需的“粗劣工作”,我们提出了数据文明人,一个端到端的海量数据管理系统。数据文明器有一个链接图形计算模块来为数据构建一个链接图,以及一个利用链接图来帮助识别与用户任务相关的数据的数据计算模块。它还使用链接图形来发现可能的连接路径,然后在查询中使用。对于实际的查询执行,我们使用一个多存储dbms,它在不同的系统中联合查询处理。此外,数据文明器将数据清理操作集成到查询处理中。因为不同的用户需要调用上述的任务无关顺序,数据教化者嵌入了一个工作流引擎,它可以任意组合不同的模块,以及处理数据更新。我们已经在两个机构,麻省理工学院和默克,部署了我们的初步数据文明系统,并描述了初步的积极经验,表明该系统缩短了寻找、准备和分析数据所需的时间和努力。
0 点赞
0 收藏
0下载
相关文档
确认
3秒后跳转登录页面
去登陆