国际数据管理最新趋势

为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,2019年6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办、大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。

会上,来自工业和信息化部的领导,我国众多优秀大数据领域服务商、行业应用客户、研究机构、地方大数据主管机构的领导和专家,将对大数据政策、产业、技术的现状与趋势等内容进行交流探讨。

6月5日,在数据资产管理分论坛上,Datablau创始人&CEO王琤为我们带来了主题为《EDW2019-国际数据管理最新趋势》的演讲。

vbox10161_3K6A5515_160902_small

谢谢大家,今天我的演讲是跟大家分享EDW2019-国际数据管理最新的趋势。之前信通院会议负责人和我就这次演讲内容有一个深度讨论。我说看看能不能把国际上的最新趋势、行业里面最新的方向,在会上讲一讲,在这里大家互相学习。

一、EDW简介

我以前是CA ERwin全球研发负责人,做了十几年的全球研发。EDW大会全称Enterprise Data World企业数据世界,是DAMA International国际数据管理协会的全球年会,DAMA协会于1988年就成立了。EDW大会是商业世界中最全面的关于数据和信息管理的供应商中立教育与交流活动,至今已举办23届。这个会我参加了蛮多年,每年都有一千多名与会者,就很多主题进行讨论。那边也给我留了一个作业,看看未来能不能把大会搞成一个中国的或者说东方的大会。这是每年会议的议程,如数据建模、新型数据库怎样做管理。去年在EDW上我也做了围绕“微众银行的数据治理创新的场景”的演讲分享,2019年EDW将在波士顿举行。

二、元数据和数据目录

今天的内容分了三块,第一块是元数据和数据目录,这是比较新的趋势;第二块是数据架构;第三块是数据建模。

第一块元数据与数据目录来自于这张片子,这块其实是IBM全球CDO办公室在EDW上做的分享。这是IBM Global Chief Data办公室发表的论文,第一是说他要做成全球数字化转型的领导者。IBM的分支机构很多,业态也非常多。他的信仰是说有一个企业级的数据是可信的,希望这个数据变成一个AI的骨架、AI的基座,开发整个企业级的数据战略,企业级的治理系统,中心化的数据源,为未来AI做一个基座,包括深度的数据分析。相当于CDO办公室跟其他业务部门是合作伙伴的关系。当前面临的挑战是业务跟技术花费太多的时间维护元数据,其实架构有了,内容也很丰富,运维变成了非常困难的事情。然后是碎片化,变化很频繁,怎样把这些碎片化的环境变成一些自动化的场景。最后是怎样把运维化的方式变得更自动化。

我在国内接触了方方面面各种类型的企业,金融行业、制作业、能源行业等。当前比较头部的企业,建行以及股份制银行等做数据资产已经有近十年了。他们当前的面临的场景跟IBM很像,需要应对几方面的挑战:数据资产管理运维如何自动化?新数据源接入频繁,如何自动盘点?数据需求强烈又变化频繁如何满足?新增系统数据如何管控?这些都是企业做了一段时间数据治理后,面临的变化和挑战。

IBM的解决方案是把元数据这层加强,包括虚拟化元数据。咱们今天在座的有一些是刚开始做数据治理,有一些可能做蛮长时间了。我觉得要以一个开放思路看看西方比较先进的数据治理理念,他们现在已经做了“分久必合、合久必分”,很多元数据系统把数据管理变成分片式,变成一个烟囱。自然语言的查询,相关的东西是不是能自动盘点,应该是一个open source,元数据要开放,不是人看这个东西,是机器看这个东西,所以要做成open sourc+微服务的系统。系统应该是多级部署,是一整套系统,不是不同的分支机构、不同的区域自己搞自己的一套系统。

在国内比较少业务术语,什么事都是从业务术语切进来的。业务术语跟一些标准会比较像,国内跟西方的叫法不太一样,不同的角色其实都是从业务术语切进来,看到的东西是不同的。不只是业务术语,刚才其实也谈到了行业模型,把行业模型跟业务术语相结合,行业模型本身就是业务术语组装成的。业务人员来看这些的时候不只是看一条条的分类,要看在这个行业模型里所处的位置。因为它其实都是业务对象,这些业务对象跟别的业务对象的关联关系,这样帮他理解业务数据。为什么搞行业模型?行业模型就是给一个核心的语境。

上一篇:FXstreet:主要货币对7月11日最新技术分析
下一篇:科技资讯专业发布平台

网友回应

欢迎扫描关注我们的微信公众平台!

欢迎扫描关注我们的微信公众平台!