小善心互联网医院获专家一致认可,致敬每位评审的医疗专家
您现在的位置:   首页 >> 新闻中心

阿里数据中台建设方法论与实践

在整个数据中台模式中,PasS层产品如引擎般存在,下到规划数仓,上至输出主题式服务。

有了之后,种种数据问题弹指间即可迎刃而解,它既可以保证数据标准规范定义、数据模型设计即自动化开发、主题式数据服务即时生成。

同时还能提供数据资产化管理的门户,有效降低数仓建设门槛,也提高生产效率、降低生产成本,轻松实现让数据从成本中心真正变成价值中心,且可量化呈现。

05

Quick BI助力云上企业数据分析

qq点消息中链接没反应_在qq中如何群发消息_消息中台

大数据构建与管理完毕之后,我们需要利用Quick BI这一智能数据与可视化组件将数据背后的价值展现在人们面前。

Quick BI扭转了当初重度依赖专业数据分析人才的局面,能够赋予一线业务人员智能化的分析工具,真正的做到了“数据化运营”让数据产生价值。

现在,越来越多的企业开始数据上云消息中台,也有的行业如政府、金融因为严苛的安全需求而自建本地数据库,导致企业出现数据分散式存储的状况。而Quick BI却可以链接各种数据源,满足云上和本地的不同需求,整合为可被统一调度的数据集。

06

阿里大数据能力框架

消息中台_qq点消息中链接没反应_在qq中如何群发消息

阿里巴巴提出的数据中台模式,正是为解决问题而生,并通过实践形成了统一全域数据体系,实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。

全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。

标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一。

qq点消息中链接没反应_消息中台_在qq中如何群发消息

连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。

统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。

qq点消息中链接没反应_在qq中如何群发消息_消息中台

极大的丰富和完善了阿里巴巴大数据中心,、OneID、渐趋成熟并成为上至CEO、下至一线员工共识的方法论体系。

07

阿里数据中台演进的四个阶段

消息中台_在qq中如何群发消息_qq点消息中链接没反应

阿里巴巴的数据处理经历了四个阶段,分别是:

一. 数据库阶段,主要是OLTP(联机事务处理)的需求;

二. 数据仓库阶段,OLAP(联机分析处理)成为主要需求;

三. 数据平台阶段,主要解决BI和报表需求的技术问题;

四. 数据中台阶段,通过系统来对接OLTP(事务处理)和OLAP(报表分析)的需求,强调数据业务化的能力。

08

数据中台的建设步骤

qq点消息中链接没反应_在qq中如何群发消息_消息中台

消息中台_qq点消息中链接没反应_在qq中如何群发消息

第一,组织架构升级。比如以前负责数据的部门或团队往往缺乏话语权,面对业务需求往往是被动的接受的角色,这让一切数据中台的想法化为泡影,需要为数据中台团队授权。

第二,工作方式的改变。现在很多企业的数据团队的主要工作内容就是项目管理、需求管理等等,当一个项目完成后又投入到下一个项目,做好一个需求后又开始负责下一个需求,这样的工作确实非常锻炼人的组织、协调能力,但这样能力的提升与工作时间的长短并不是呈线性增长的,虽然增加了项目和需求管理经验,但并不能在某一个专业领域得到知识和经验的沉淀,随着时间的流逝,越来越多的人会失去最初的工作积极性和创造性,事实上,数据人员只有深入的研究业务、数据和模型,端到端的去实践,打造出数据中台,才是最大的价值创造,才能使得持续创新成为可能

第三,角色的转换。数据中台的团队要从传统的支撑角色逐步向运营转变,不仅在数据上,在业务上也要努力赶超业务人员,中台人员要逐步建立起对于业务的话语权,不仅仅是接受需求的角色,更要能提出合理的建议,能为业务带来新的增长点,比如数据驱动营销。

第四,适合企业特点。好的中台是当你深入了解业务、产品、系统、组织,而且不仅了解今天在哪里,还要了解过去是怎么演变而来,未来又会怎么演化。只有当了解所有的东西之后,才能做出较好的中台架构设计。

09

阿里中台建设方法论

qq点消息中链接没反应_消息中台_在qq中如何群发消息

中台建设的基础协议

就是要根据我们对商业的理解,把一些基础协议梳理出来。例如什么是业务?什么是业务身份?各个业务领域的边界是什么?每个领域提供的基础服务是什么?再在这些思想的指导下去建立业务平台化的实施标准和业务管控标准。

中台的基础设施:中心化控制单元

就是运营平台,它主要由协议标准、能力地图、业务需求结构分解、全局业务身份、业务全景图、业务度量等构成。能让我们有一个地方纵观全局,把控细节。

10

阿里的组织中台:数据中台的组织保证

qq点消息中链接没反应_消息中台_在qq中如何群发消息

亚当斯密出版了《国富论》,与此同时,瓦特改良了蒸汽机,社会大分工理论与工业革命相生相伴,在人类文明史上写下了浓墨重彩的一笔。

金字塔式的科层制,伴随着工业文明成为组织的核心底层逻辑,在强调秩序和大规模高效率生产的工业时代,甚至是强调如臂使指的军队组织,科层制(官僚制)是保证自上而下的命令得到有力执行的高效组织架构。

随着互联网时代的到来,消费者的需求被极大释放,工业时代的大规模生产方式受到了挑战,转而向“大规模定制”的生产方式转型,传统的科层制是建立在大规模生产基础上的,因此也面临组织模式转换,向扁平化、自组织的方式转变。

而中台建设真正困难的是组织上的重构,这往往是大家有意无意避而不谈的。

中台战略的成功、能否实现技术架构与组织架构的匹配,是一道绕不过去、但必须要迈过的门槛。从阿里成立共享事业部,海尔的人单合一、职能并联,到近期大家关注的腾讯的组织架构重构都是这些企业在这方面做出的努力。

附数据中台基础知识

数据实际上是一个非常传统的行业。

有软件开始的那一天起,数据这个行业就存在了。比如说原来最早的时候,有非常多的数据报表数据可视化,然后到后来,有了商业智能,有了Data (就是数据仓库),然后数据挖掘。

数据这个行业不仅仅是软件,它还有管理的部分,也就是说数据治理,即如何让企业的数据治理的质量更好。所以数据这个行业本身是一个非常传统的行业。每个大型一点的企业都有自己的数据分析部门,数据仓库部门。

那么为什么数据湖也好,数据平台也好,在过去都没有像今年数据中台这么热门。而且关注数据中台的还不仅仅是技术部门,很多都是业务部门,业务部门以前不是特别关注这些技术的数据平台和这些技术的概念,为什么呢?

消息中台_qq点消息中链接没反应_在qq中如何群发消息

1.平台化的概念

讲到数据中台,我们就要提到平台化。我们现在所讲的SaaS也好,所讲的PaaS也好,所讲的数据中台也好,所讲的业务中台也好,它实际上根本的思想来源是来自于平台化,就是。

qq点消息中链接没反应_在qq中如何群发消息_消息中台

举个例子,我们拿一个饮料厂的产品线来讲,那么他可以生产果汁,可以生产饮料,还可以生产其他的产品,它可能是三四条不同的生产线。从原材料加工成饮料,它有很多环节,虽然品种不一样,但是它很多环节是类似的,比如装瓶、搅拌。

在qq中如何群发消息_qq点消息中链接没反应_消息中台

那么这几个不同的生产流程、生产线,我们可以把那些公共的部分合并起来,更加专业化,然后并且让他们独立去维护,之后把那些不同的产品面向客户,使客户体验不同的产品,使它独立出来,这就是平台化的思路。

消息中台_qq点消息中链接没反应_在qq中如何群发消息

中台里面很重要的两个中台,一个是业务中台,一个是数据中台。业务中台是提供可复用的业务,API数据中台是提供数据洞察和智能的。

不管什么中台,它实际上都是平台思想的一个体现,一种具象。

2.数据中台为什么受欢迎

这里举个例子,原来的数据平台也好,数据湖也好,数据仓库也好,它们的出发点很多时候有局限性,应该说更是一个支撑性的技术系统,即一定要去考虑我先有什么数据,然后我能干什么,这是传统的数据平台,数据湖,依赖于现有数据的质量,现有数据的状况来做的这样的一个支撑性的技术平台。

但是数据中台在我们现在所讲的概念里面,它更多的是从业务出发,比如说我们现在所设计的一套精益数据的方法,它就是从业务出发,一开始都不用看你系统里面有什么数据,重点的是去解决你的业务需要什么样的数据服务?

只要这个服务有价值,那我们就去想办法去拿到数据,如果没有能力,我们去建技术能力,去完成数据服务的提供。

所以数据中台最重要区别于传统数据平台,技术类平台的区别在于数据中台的思维是业务思维,他从业务问题出发,这也就是为什么业务部门对数据中台会这么欢迎。

qq点消息中链接没反应_消息中台_在qq中如何群发消息

我们的目标是哪怕我的数据只有50%的准确性,那么在我提高数据质量同时,我也希望这50%准确的数据也能为我产生业务价值。

过去那么多年,建设的系统是把业务数据化,现在我们很多的企业在后台系统建设好以后,在做的业务系统实际上是把数据业务化,而且有一点也是我们现在行业里面重点强调的,原来我们讲先有业务,后有数据,先有应用系统,后有数据系统,这个观点从今年开始要发生改变了,在业务系统还没有建立起来的时候,我们就要有数据思维,就要把数据集成到业务系统的架构里面去。

原来我们所讲的业务系统叫OLTP,即在线交易系统,然后数据类的系统叫OLAP,即在线分析性系统。

现在可以看到一个趋势,这个趋势就是OLTP和OLAP在融合,也就是很多企业所讲的P流一体,即为批处理和实时流数据处理一体化。原来我们的OLTP、OLAP是平行的关系,先要通过OLTP系统产生数据,然后ETL,然后抽取到OLAP里面,再把多个OLTP的系统抽在一起,之后在OLTP、OLAP的系统里面产生洞见,变成数据可视化报表给业务部门去看,再去改变你的OLTP的做法,这里的OLTP和OLAP是平行的关系。

这样的话,原来的数据百分之七八十在企业里的应用都是数据可视化,都是BI,都是data house报表,让人看,这叫人机接口,这个是人看完数据以后,然后再去提取,之后去做你的决策,改变你的行为,去看数据。

qq点消息中链接没反应_消息中台_在qq中如何群发消息

qq点消息中链接没反应_在qq中如何群发消息_消息中台

从今年开始,数据中台更多强调的是机器与机器的接口,就是我的数据分析出来的结果,不仅仅以报表可视化的形式让人看,而更多的是把这些API这样的一些数据服务直接地嵌入到交易系统里面产生影响,变成你的价格策略,变成你的推荐引擎,变成你的风险管控。

那么我们所讲数据中台,它不仅仅是一个技术平台,它还是一个体系。

数据中台会对应到一个企业里的一个部门一个组织,也要有数据战略的支撑,要有数据治理,数据中台上面生长一个数据服务,数据服务提供给我们业务系统,提供给我们业务中台,然后我们所接收到的数据消费者,就都生长在数据中台之上,数据中台是一个生态,是一个平台,是一个数据服务,是生产、加工、交易、度量、运营的平台,所以我们把数据中台实际上叫做一个体系。

3.数据中台对企业的价值

qq点消息中链接没反应_在qq中如何群发消息_消息中台

数据中台解决的核心问题:

1.应用开发要快于数据开发的速度

原来我们在做一张报表,或者是在业务系统里面需要查询一个数据结果的时候消息中台,它的过程是比较麻烦的,而且它的测试往往也是比较复杂的,因为业务系统是有业务属性的,但是数据是跨业务的,是融合的。

在OLAP领域中,很多这种情况,比如说我的企业,Java开发工程师很好找,做应用的人很好找,懂data,知道如何做数据建模,如何做算法的人相对来讲是比较少的。但是在我们应用开发过程当中,我们会发现有太多的数据需求,这种情况下应用开发的速度是快于数据开发的速度。

2.加速从数据到价值的服务产生过程

在很多时候我们会发现不同的应用开发项目组,他们都会调用同样的数据模型,同样的数据服务,但是由于不了解数据,并且他们也不知道底层的数据结构,所以他们不同的项目组可能对同样的数据处理会用不同的方法,自己做自己的,然后出来的结果不一样。有的是错误的,所以开发速度慢,并且数据结果不准确,质量低.

但是现在数据中台就要解决这个问题,数据中台要把那些复用的数据模型,要把那些数据模型data派对中一些数据复用的能力,变成一个数据的能力平台,让那些做数据的人专注在做数据,把数据变成一个乐高积木,数据服务提供给应用开发,然后不同的应用开发项目组可以共同的去调用唯一的SARS数据服务,去保证它的数据质量和一致性,加速从数据到价值的服务产生过程,打造高响应力且更加智慧的业务。

qq点消息中链接没反应_在qq中如何群发消息_消息中台

如何加快从你的业务到数据到你的数据产品之间的反馈的速度响应力,也是数据中台要解决的问题。它要把应用的价值,应用的速度,和你数据产生的速度中间的差异,时间的差异和有时候业务理解上的差异,通过数据中台去把它弥补起来。