当前位置:100EC>B2C研究>【产品研究】网易严?。菏葜刑ǖ慕ㄉ柚?
【产品研究】网易严?。菏葜刑ǖ慕ㄉ柚?
发布时间:2020年01月13日 09:54:22

中云技术股份有限公司 www.aou023.com (网经社讯)数据中台最早是阿里提出的,但真正火起来是 2018 年,我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台的文章很多,但是一千人眼里有一千个数据中台,到底什么是数据中台?数据中台包含什么?

2017 年开始,当网易严选有了一定量的数据,我们就开始规划建设我们的数据中台,目前我们已经完成了数据中台体系的搭建,我将根据我们建设数据中台的经验和方法论试图解答上面这些问题。

为什么大家开始建设数据中台?

2018 年开始,朋友圈里讲数据中台的文章开始逐渐变多,当然拿着手机看世界并不一定看到真实的世界。我也跟各个行业的一些大公司的 CIO 交流,发现很多行业的大公司都开始组建大数据团队,建设数据中台。结合文章和交流获取的信息,我切身感受到宏观经济对技术的影响。2018 年开始经济下行,生意不好做了,粗放的经营已经不行了,越来越多的企业想通过数据驱动来进行精细化的运营和数据化转型。

图片.png

如上图所示,企业需要数字化转型,需要更多的触点去跟自己的用户 / 客户建立联系,很多企业就需要做自己的公众号、小程序 (各家的小程序) 甚至 app。我们希望用户更容易找到我们的商品 / 服务,我们就需要搜索。我们希望用户更多的浏览 / 使用我们的商品 / 服务就需要推荐。我们维护用户 / 客户的生命周期,根据生命周期采取不同的营销动作,就需要 CRM。

我们需要拉来更多的新用户,就需要投放广告,为了更好的投放效果,我们需要建设我们的 DMP。当我们生意做大,我们需要对抗黑产 (羊毛党),让我们的优惠能让真正的用户享受,我们需要风控。这一切都需要底层大数据的支持。企业需要精细化运营,就需要不断的提升运营的频次 (如下图所示) 和粒度。我们需要把运营的节奏提升到周级、天级甚至实时。我们随时随地了解我们企业经营状况,需要不断的更精细 (细粒度) 的分析我们的业务,快速做出业务决策。我们就需要能够快速地构建大量的 BI 报表,在一些重要的节点 (大促) 时,甚至需要盯着数据大屏。如果我们有能力,还可以建设场景化的数据产品来支持业务的决策。这一切都需要底层大数据的支持。

图片.png

如何快速地利用底层大数据的支持,让我们的数据化转型、精细化运营能够高频的迭代,这就需要我们的数据中台提供强有力的支持。

这里也提醒一点,当我们需要大规模的数据应用时 (搜索 / 推荐 /BI 报表...),我们才需要构建数据中台。因为建设数据中台的投入大。打个比方,当我一家人要吃饭,我自己买菜,在自己的厨房用普通的厨具自己做就好了,如果是富士康,几万几十万人吃饭,就需要建食材的加工配送中心 (类比数据中台)。本质上是“需求规模量级的变化,导致解决方案的质变”。所以我们看到的,基本是大公司在建设数据中台。尽管你们可能现在不适合建设数据中台,但数据中台的思想大家都可以借鉴。

小结一下,当企业需要数据化转型、精细化运营,进而产生大规模数据应用需求的时候,就需要建设数据中台。

什么是数据中台?

这是一个千人千面的问题。我们的定义是“数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合”。因为规范最终是在系统和服务中落地的,所以定义中就没有包含规范部分。数据中台的核心职责是高效地赋能数据前台为业务提供价值。要想理解数据中台先要理解数据前台,上文说到的搜索、推荐、BI 报表、数据大屏等都属于数据前台。我们来看下面网易严选数据体系的图就更清楚数据中台的定位了。
图片.png
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。

数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示,基于数仓里已经半加工好的数据,分析师使用严选有数敏捷 BI 平台可以快速的根据业务需求进行数据可视化和数据分析。严选有数现在每周的 UV 超过 800,每天报表浏览次数超过 12w,目前的图表数超过 7W。对于一个事业部级的 BI 平台,应该算是一个非常好的成绩。这里特别感谢下我们的分析师团队,她们的辛勤工作才会有这样的成绩。

图片.png
数据中台还会赋能业务系统开发通过统一查询服务 (主要是统一查询服务和标签服务) 来辅助业务过程中的决策?;谑掷锩婕庸ず玫氖菽P?,业务系统开发人员使用统一查询服务获取到的模型数据在业务系统中增加辅助决策功能。比如供应商系统需要对供应商进行评级,供应商评级需要供应商的商品销售数据、评论数据、退货数据、质量数据,供应商采购的交期数据等等。数仓会根据这些数据加工模型,供应商系统可以通过统一查询获取模型在供应商系统中使用。在严选,统一查询服务已经接入了 67 个应用、670 个模型、每天有 300w 的调用。
图片.png
我们自己做的数据产品(如下图所示),基本会用到我们数据中台所有的能力支持,包括统一查询服务、标签服务、指标监控服务、数据产出服务等数据服务,也会使用严选有数创建 BI 报表挂载到数据产品中。
图片.png

数据中台包含什么?

从上文的图中,我们已经初步了解了数据中台包含了哪些系统和服务。概括来说,数据中台包含数仓体系、数据服务集和 BI 平台。

数仓体系

数仓体系是数据中台的核心,数据是新能源,是生产资料。数仓体系包含数仓和一系列的管理系统,用来管理数据,保证数据的完整、一致和准确。数仓体系的构成和关系,如下图所示。数仓是数仓体系的核心,也是整个中台的核心。数仓的开发和存储,主要依赖网易猛犸数据平台 (希望详细了解的,可以搜索网易猛犸)。
图片.png
夸父 - 埋点管理系统和精卫 - 数据填报系统从供应侧保障数据的完整性和质量。埋点数据由于来源广 (web 端、ios、android、小程序等)、链路长、格式 (日志的 scheme 约束) 等问题,一直是数据质量的重灾区??涓?- 埋点管理系统提供了埋点的管理、埋点流程协同和埋点测试,提供了埋点日志的 scheme,保障了埋点数据质量。精卫 - 数据填报系统提供数据导入数仓及导入时的验证功能,提升数据的完整性。整个电商的业务过程非常多,所有业务过程都线上化的过程非常漫长。当我们下游的数据应用需要某个业务过程的数据,而这个业务过程还没有线上化时,就可以通过精卫 - 数据填报系统导入数据到数仓,下游就可以使用这份数据。
仓颉 - 指标管理系统和燧人 - 指标地图是从需求侧提升数据 (指标) 的一致性。仓颉 - 指标管理系统顾名思义是管理指标定义,在提供指标统一管理的同时,提供了指标定义规范的约束。数据开发可以根据指标定义里的指标口径来进行指标开发。燧人 - 指标地图是提供给业务方查看当前的指标分类与指标定义。
数仓开发本身要解决的核心问题是质量和效率 (所有开发也都需要解决),无论是质量和效率都需要好的架构设计。北斗 - 数仓设计管理系统就是来完成数仓设计。数仓的开发原本总是非常的经验化,很多知识都是存在数据开发的脑子里。我们通过北斗 - 数仓设计管理系统来推行数仓先设计再开发,通过北斗 - 数仓设计管理系统将数仓开发的经验知识化、标准化、工具化。数据质量中心 (如下图所示) 提供全链路的数据保障体系,提供任务监控、数据监控、应用监控、影响范围评估和恢复的支撑。
图片.png

数据服务集

数据服务主要是数据场景下的解决方案的沉淀。数据服务集极大的加速了数据应用开发效率。核心的数据服务是统一查询服务和标签服务,提供指标模型和标签模型对数据应用系统 (业务系统和数据产品) 的统一配送。统一查询服务核心提供表转接口和数据网关的功能。数仓管理的是数据模型表,通过统一查询,数据应用系统就可以通过接口的形式来访问数据模型表。统一查询服务是数据体系和数据应用系统之间的总网关,需要提供模型级限流、熔断等网关功能。
图片.png

BI 平台

BI 平台我们用的是严选有数,也就是在网易有数在严选的版本。网易有数是一款敏捷 BI 平台,在设计上通过以终为始的设计理念和类 PPT 操作模式,在保障灵活性的基础上,提供了极大的操作便利。想进一步了解的,可以搜索网易有数。
图片.png
在性能方面,我们结合数据产出服务做的基于数据产出的缓存策略极大地提升了报表的性能。图表首访缓存命中率基本稳定在 100%,整体缓存命中率超过 80%。

数据中台的内容非常长,本文非常概括的从严选实践介绍了数据中台。总结一下:当企业需要数据化转型、精细化运营,进而产生大规模数据应用需求的时候,就需要建设数据中台。数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合。数据中台包含数仓体系、数据服务集和 BI 平台。(来源:壹佰案例 文/魏文庆 编?。和?/span>

网经社致力于打造“中国领先的电商产业链综合服务商”,基于旗下电子商务研究中心、电融宝、电数宝、商学院、电诉宝五大平台,我们推出三大服务体系:(1)平台服务:包括会员、数据、融资、售后顾问、法律等;(2)智库服务:战略顾问、政府智库、报告赞助及定制、图书赞助、专家培训等。(3)媒体服务:包括商业报道、自媒体和社群、电商快评、品牌顾问、IPO服务等 。为各大电商上市公司、独角兽、创业者以及国家和各地政府部门等提供专业服务。

【版权声明】秉承互联网开放、包容的精神,网经社欢迎各方(自)媒体、机构转载、引用我们原创内容,但要严格注明来源网经社;同时,我们倡导尊重与?;ぶ恫?,如发现本站文章存在版权问题,烦请将版权疑问、授权证明、版权证明、联系方式等,发邮件至law@netsun.com,我们将第一时间核实、处理。

长沙新型肺炎情况 | 全国冠状疫情实时报告 | 因疫情境外机票取消 | 阿里口罩供应 | 南昌市今天疫情 | 疫情期间取消机票 | 湖北肺炎治好 | 昆明新冠状肺炎现状 | 石家庄发现冠状肺炎病例 | 无锡冠状疫情 | 武汉病毒海鲜 | 武汉肺炎病人隔离 | 冠状肺炎形势 | 玉溪确诊新型冠状肺炎 | 南昌市肺炎疫情 | 南昌市麻丘镇疫情 | 新型冠状病毒肺炎医疗救治 | 疫情发生如何取消国外机票 | 人感染了冠状病毒的检测方法 | 肺炎新疫情舟山 | 新型冠状病毒马来西亚 | 有疫情得时候客运能否停运 | 上海新型肺炎第一例时间 | 新型肺炎疫情地图腾讯 | 菏泽疑似患者 | 南昌市麻丘疫情 | 河南南阳疫情出行 | 上海确诊新型肺炎具体位置 | 南昌市疫情消息 | 肺炎口罩只能一次使用 | 预防病毒n95 | 肺炎人民日报 | 上海确诊2例新型肺炎哪里 | 青岛感染者坐地铁 | 河南肺炎疫情几个人 | 新型肺炎感染多就出现症状 | 四川26日疫情公布 | 武汉肺炎病人情况 | 新型冠状治疗方法 | 辽宁疫情地图 | 南昌确诊一例新型肺炎 | 点赞禁燃禁放烟花爆竹工作 | 武汉15名医护冠状病毒 | 烟花爆竹禁燃禁放工作安排 | 江西南昌武汉肺炎 | 中国疫情防控指挥部总指挥 | 武汉肺炎中国损失 | 新型肺炎损失情况 | 新型流感肺炎情况 | 那个冠状病毒肺炎 | 烟花爆竹禁放区违法吗 | 温州新型肺炎分别在哪里 | 临沂新型肺炎第一例 | 上海确认肺炎 | 新型肺炎实时动态儿童 | 新型冠状病毒小孩 | 局防肺炎工作通知 | 温州18个新型肺炎 | 腾讯疫情地图怎么找 | 腾讯新型冠状疫情地图 | 新型肺炎捐款口 | 鹤壁淇县感染肺炎 | 新型肺炎广东98例 | 长沙新型冠状肺炎在情况 | 新型肺炎有新药治吗 | 长沙肺炎感染情况 | 新冠状空气传播 | 全国确诊肺炎人数 | 学校通知防肺炎 | 冠状肺炎广东98例 | 上海冠状病毒肺炎患者 | 山东单县新型肺炎 | 宁夏新型冠状感染汇总 | 宁夏冠状感染人数 | 江苏无锡对疫情的防控工作 | 防新型肺炎通知 | 公司防肺炎通知 | 大兴新型冠状病毒 | 新型病例症状 | 景洪封城消息 | 广安冠状病毒肺炎 | 河南开封市确诊肺炎 | 肺炎疫情实时动态25日 | 湖北省各地方肺炎情况 | 上海新型冠状病毒隔离 | 抗击疫情工作组 | 新型冠状病毒肺炎新增 | 美国研发肺炎药物 | 武汉肺炎广东中医 | 云南大理新型冠状 | 河南省首例输入型 | 上海隔离肺炎 | 河南省疫情首例 | 山东菏泽疑似 | 河北沧州冠状病毒 | 上海确诊新型冠状病毒 | 广东98例肺炎 | 武汉应急肺炎 | 上海有新型冠状病毒患者吗 | 沧州市冠状病毒肺炎 | 全国得肺炎的人数 | 广东肺炎官方通报 | 沧州有肺炎吗 | 感染武汉肺炎会怎么样 | 新型肺炎各地医院 | 河北沧州新型冠状感染肺炎 | 武汉肺炎是怎么传染的 | 肺炎公布中医处方 | 投诉爱彼迎电话多少 | 爱彼迎取消预订投诉 | 湖北中医院肺炎药方 | 云南有没有肺炎传染 | 国家卫健委发布26日 | 新型肺炎湖北中药药方 | 河南省确诊断肺炎多少例 | 江西省南昌市疫情 | 31问新型冠状病毒肺炎疫情 | 卫健委26日公布 | 广安新型病毒 | 天门有感染武汉肺炎病例不 | 8人被依法处理 | 广西确诊新型肺炎具体位置 | 大理新型冠状病毒 | 武汉市收治新型肺炎医院 | 冠状病毒肺炎第一个 | 大兴感染病毒 | 新型肺炎感染的第一个人 | 武汉新型肺炎严重 | 新型冠状形病毒感染肺炎 | 新型冠状病毒形势 | 肺炎感染的第一个人 | 新型冠状肺炎四川德阳 | 普通肺炎跟新型肺炎的区别 | 今天疫情播报 | 四川德阳肺炎防控 | 河北石家庄新型肺炎患者 | 上海有没有新型冠状病毒 | 泰国有没有肺炎 | 新型肺炎第一例怎么样了 | 美国感染的肺炎怎么样了 | 湖北肺炎首例治好 | 南昌市新疫情 | 上海确诊新型肺炎上汽通用 | 上海肺炎病人 |