当前位置:100EC>B2C研究>【产品研究】网易严?。菏葜刑ǖ慕ㄉ柚?
【产品研究】网易严?。菏葜刑ǖ慕ㄉ柚?
发布时间:2020年01月13日 09:54:22

中云技术股份有限公司 www.aou023.com (网经社讯)数据中台最早是阿里提出的,但真正火起来是 2018 年,我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台的文章很多,但是一千人眼里有一千个数据中台,到底什么是数据中台?数据中台包含什么?

2017 年开始,当网易严选有了一定量的数据,我们就开始规划建设我们的数据中台,目前我们已经完成了数据中台体系的搭建,我将根据我们建设数据中台的经验和方法论试图解答上面这些问题。

为什么大家开始建设数据中台?

2018 年开始,朋友圈里讲数据中台的文章开始逐渐变多,当然拿着手机看世界并不一定看到真实的世界。我也跟各个行业的一些大公司的 CIO 交流,发现很多行业的大公司都开始组建大数据团队,建设数据中台。结合文章和交流获取的信息,我切身感受到宏观经济对技术的影响。2018 年开始经济下行,生意不好做了,粗放的经营已经不行了,越来越多的企业想通过数据驱动来进行精细化的运营和数据化转型。

图片.png

如上图所示,企业需要数字化转型,需要更多的触点去跟自己的用户 / 客户建立联系,很多企业就需要做自己的公众号、小程序 (各家的小程序) 甚至 app。我们希望用户更容易找到我们的商品 / 服务,我们就需要搜索。我们希望用户更多的浏览 / 使用我们的商品 / 服务就需要推荐。我们维护用户 / 客户的生命周期,根据生命周期采取不同的营销动作,就需要 CRM。

我们需要拉来更多的新用户,就需要投放广告,为了更好的投放效果,我们需要建设我们的 DMP。当我们生意做大,我们需要对抗黑产 (羊毛党),让我们的优惠能让真正的用户享受,我们需要风控。这一切都需要底层大数据的支持。企业需要精细化运营,就需要不断的提升运营的频次 (如下图所示) 和粒度。我们需要把运营的节奏提升到周级、天级甚至实时。我们随时随地了解我们企业经营状况,需要不断的更精细 (细粒度) 的分析我们的业务,快速做出业务决策。我们就需要能够快速地构建大量的 BI 报表,在一些重要的节点 (大促) 时,甚至需要盯着数据大屏。如果我们有能力,还可以建设场景化的数据产品来支持业务的决策。这一切都需要底层大数据的支持。

图片.png

如何快速地利用底层大数据的支持,让我们的数据化转型、精细化运营能够高频的迭代,这就需要我们的数据中台提供强有力的支持。

这里也提醒一点,当我们需要大规模的数据应用时 (搜索 / 推荐 /BI 报表...),我们才需要构建数据中台。因为建设数据中台的投入大。打个比方,当我一家人要吃饭,我自己买菜,在自己的厨房用普通的厨具自己做就好了,如果是富士康,几万几十万人吃饭,就需要建食材的加工配送中心 (类比数据中台)。本质上是“需求规模量级的变化,导致解决方案的质变”。所以我们看到的,基本是大公司在建设数据中台。尽管你们可能现在不适合建设数据中台,但数据中台的思想大家都可以借鉴。

小结一下,当企业需要数据化转型、精细化运营,进而产生大规模数据应用需求的时候,就需要建设数据中台。

什么是数据中台?

这是一个千人千面的问题。我们的定义是“数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合”。因为规范最终是在系统和服务中落地的,所以定义中就没有包含规范部分。数据中台的核心职责是高效地赋能数据前台为业务提供价值。要想理解数据中台先要理解数据前台,上文说到的搜索、推荐、BI 报表、数据大屏等都属于数据前台。我们来看下面网易严选数据体系的图就更清楚数据中台的定位了。
图片.png
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。

数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示,基于数仓里已经半加工好的数据,分析师使用严选有数敏捷 BI 平台可以快速的根据业务需求进行数据可视化和数据分析。严选有数现在每周的 UV 超过 800,每天报表浏览次数超过 12w,目前的图表数超过 7W。对于一个事业部级的 BI 平台,应该算是一个非常好的成绩。这里特别感谢下我们的分析师团队,她们的辛勤工作才会有这样的成绩。

图片.png
数据中台还会赋能业务系统开发通过统一查询服务 (主要是统一查询服务和标签服务) 来辅助业务过程中的决策?;谑掷锩婕庸ず玫氖菽P?,业务系统开发人员使用统一查询服务获取到的模型数据在业务系统中增加辅助决策功能。比如供应商系统需要对供应商进行评级,供应商评级需要供应商的商品销售数据、评论数据、退货数据、质量数据,供应商采购的交期数据等等。数仓会根据这些数据加工模型,供应商系统可以通过统一查询获取模型在供应商系统中使用。在严选,统一查询服务已经接入了 67 个应用、670 个模型、每天有 300w 的调用。
图片.png
我们自己做的数据产品(如下图所示),基本会用到我们数据中台所有的能力支持,包括统一查询服务、标签服务、指标监控服务、数据产出服务等数据服务,也会使用严选有数创建 BI 报表挂载到数据产品中。
图片.png

数据中台包含什么?

从上文的图中,我们已经初步了解了数据中台包含了哪些系统和服务。概括来说,数据中台包含数仓体系、数据服务集和 BI 平台。

数仓体系

数仓体系是数据中台的核心,数据是新能源,是生产资料。数仓体系包含数仓和一系列的管理系统,用来管理数据,保证数据的完整、一致和准确。数仓体系的构成和关系,如下图所示。数仓是数仓体系的核心,也是整个中台的核心。数仓的开发和存储,主要依赖网易猛犸数据平台 (希望详细了解的,可以搜索网易猛犸)。
图片.png
夸父 - 埋点管理系统和精卫 - 数据填报系统从供应侧保障数据的完整性和质量。埋点数据由于来源广 (web 端、ios、android、小程序等)、链路长、格式 (日志的 scheme 约束) 等问题,一直是数据质量的重灾区??涓?- 埋点管理系统提供了埋点的管理、埋点流程协同和埋点测试,提供了埋点日志的 scheme,保障了埋点数据质量。精卫 - 数据填报系统提供数据导入数仓及导入时的验证功能,提升数据的完整性。整个电商的业务过程非常多,所有业务过程都线上化的过程非常漫长。当我们下游的数据应用需要某个业务过程的数据,而这个业务过程还没有线上化时,就可以通过精卫 - 数据填报系统导入数据到数仓,下游就可以使用这份数据。
仓颉 - 指标管理系统和燧人 - 指标地图是从需求侧提升数据 (指标) 的一致性。仓颉 - 指标管理系统顾名思义是管理指标定义,在提供指标统一管理的同时,提供了指标定义规范的约束。数据开发可以根据指标定义里的指标口径来进行指标开发。燧人 - 指标地图是提供给业务方查看当前的指标分类与指标定义。
数仓开发本身要解决的核心问题是质量和效率 (所有开发也都需要解决),无论是质量和效率都需要好的架构设计。北斗 - 数仓设计管理系统就是来完成数仓设计。数仓的开发原本总是非常的经验化,很多知识都是存在数据开发的脑子里。我们通过北斗 - 数仓设计管理系统来推行数仓先设计再开发,通过北斗 - 数仓设计管理系统将数仓开发的经验知识化、标准化、工具化。数据质量中心 (如下图所示) 提供全链路的数据保障体系,提供任务监控、数据监控、应用监控、影响范围评估和恢复的支撑。
图片.png

数据服务集

数据服务主要是数据场景下的解决方案的沉淀。数据服务集极大的加速了数据应用开发效率。核心的数据服务是统一查询服务和标签服务,提供指标模型和标签模型对数据应用系统 (业务系统和数据产品) 的统一配送。统一查询服务核心提供表转接口和数据网关的功能。数仓管理的是数据模型表,通过统一查询,数据应用系统就可以通过接口的形式来访问数据模型表。统一查询服务是数据体系和数据应用系统之间的总网关,需要提供模型级限流、熔断等网关功能。
图片.png

BI 平台

BI 平台我们用的是严选有数,也就是在网易有数在严选的版本。网易有数是一款敏捷 BI 平台,在设计上通过以终为始的设计理念和类 PPT 操作模式,在保障灵活性的基础上,提供了极大的操作便利。想进一步了解的,可以搜索网易有数。
图片.png
在性能方面,我们结合数据产出服务做的基于数据产出的缓存策略极大地提升了报表的性能。图表首访缓存命中率基本稳定在 100%,整体缓存命中率超过 80%。

数据中台的内容非常长,本文非常概括的从严选实践介绍了数据中台。总结一下:当企业需要数据化转型、精细化运营,进而产生大规模数据应用需求的时候,就需要建设数据中台。数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合。数据中台包含数仓体系、数据服务集和 BI 平台。(来源:壹佰案例 文/魏文庆 编?。和?/span>

【小贴士】新型冠状病毒疫情引发举国上下关注,1月21日起疫情升级,各大电商责无旁贷纷纷通过启动应急预案和献爱心等举措先后援助。如:1)OTA:携程、同程艺龙、马蜂窝、去哪儿、飞猪、驴妈妈、美团旅行、途牛等;2)零售电商:京东、拼多多、苏宁易购、唯品会、寺库、贝贝、乐信、蜜芽、途虎养车、达达集团、网易严选、得物APP、返利网、每日一淘、小米有品、什么值得买、微盟、斑马会员、叮咚买菜、阿里巴巴(淘宝、天猫、1688、盒马、支付宝)、美菜、便利蜂、三只松鼠、52TOYS、华米科技、名创优品、每日优鲜等;3)外卖:美团、饿了么、瑞幸咖啡等;4)出行:滴滴出行、哈啰出行、高德打车、e代驾等;5)在线医疗:平安好医生、阿里健康、春雨医生、丁香医生、叮当快药等;6)跨境电商:行云全球汇、亚马逊、eBay、阿里国际站、思亿欧、豌豆公主、55海淘、洋码头、wish、Shopee、敦煌网、卓志、Joom、洋葱、小红书、兰亭集势等;7)在线教育:阿卡索、网易有道、VIPKID等;8)产业电商:美菜、摩贝、卓尔智联、一亩田、锐锢商城、工品汇、盘石、找煤网、能源E购、药师帮等;9)物流快递:京东物流、顺丰、贝海国际、货拉拉等;10)此外,贝壳找房、蛋壳公寓、新氧科技、58同城、途家民宿、58到家、淘票票、猫眼电影等生活服务电商也纷纷响应?!笆姑倩?,责无旁贷”。自1月22日起,网经社启动武汉疫情直击行动,通过滚动报道、对接数百家电商、专题直击、社群直播、电商快评、媒体评论等方式,全面跟踪报道电商平台针对疫情最新动向,实时更新、滚动报道、全面覆盖。(详见专题)

【版权声明】秉承互联网开放、包容的精神,网经社欢迎各方(自)媒体、机构转载、引用我们原创内容,但要严格注明来源网经社;同时,我们倡导尊重与?;ぶ恫?,如发现本站文章存在版权问题,烦请将版权疑问、授权证明、版权证明、联系方式等,发邮件至law@netsun.com,我们将第一时间核实、处理。

铁路隔座售票 | 济南现已开通的地铁线 | 疫情社区老人 | 宿州火车停运 | 特斯拉国产量 | 宿州东火车停运没 | 武汉加油孩子们画的画 | 武汉上市医药股 | 年底基金上涨 | 受疫情影响最大的企业 | 疫情影响最大的企业 | 疫情对哪些企业影响最大 | 新型冠状疫情的科学防护 | 泰国治新冠肺炎 | 中医治新冠状病毒肺炎 | 疫情下的数据营销 | 中医治新冠病毒 | 武汉疫情澳大利亚捐款 | 王者荣耀模拟技能 | 白衣天使抗击疫情的作文 | 抗击疫情的白衣天使 | 抗击疫情主题白衣天使加油 | 英国帮英国修高铁 | 新型冠状疫情防护知识 | 感谢抗击疫情的白衣天使 | 四川高铁出行 | 党员抗击疫情志愿书 | 抗击疫情申请书入党怎么写 | 小区抗击疫情志愿书 | 医护人员抗击疫情志愿书 | 疫情飞机返程深圳 | 疫情北京返程 | 疫情返程飞机 | 疫情湖北籍飞机 | 疫情对养殖生猪的影响 | 加强人员管控严防疫情 | 公司监督的部门 | 支持pd充电的充电头 | 疫情从什么开始到什么结束 | 高通滤波器制作 | 湖北捐赠口罩被卖 | 回应女子卖捐赠口罩 | 广州海王星辰口罩预约 | 海王星辰口罩预约 | 广州海王星辰口罩 | 第一个新冠肺炎患者 | 海王星辰预约买口罩 | 深圳海王星辰口罩预约 | 什么是少儿编程好吗 | 长沙药店口罩 | 国家公务员查询成绩入口 | 长沙如何预约买口罩 | 新型冠状病毒的来源是什么动物 | 武汉隔离图片 | 武汉第一个肺炎患者 | 己开通的济南地铁是几号线 | 守望先锋暗黑守望成员 | 美国新冠状疫情 | 南阳今曰新增疫情 | 2019年小学教面试试题 | 大数据政府企业 | 传播不实疫情 | 湖北新型肺炎疫情发现 | 小红袄怎么死的 | 外媒评论武汉建火神山 | 新世界要烂尾 | 湖北武汉为什么会发生疫情 | 疫情退役军人事务局 | 河北省冠状病毒肺炎多少例 | 疫情期间现在高速还收费吗 | 淄博疫情高铁 | 比蓝牙耳机更小的耳机 | 口罩生产时间 | 把他交给你了 | 凤凰租房凤凰 | 疫情医生感动瞬间 | 抗疫情的医生 | 疫情感动人心的医生 | 疫情最感动的医生 | 河北省冠状病毒肺炎疫情通报 | 泰国对中国疫情 | 疫情影响餐饮工资吗 | 乒乒乓球协会 | 疫情期间女友想见我 | 重庆市政府关于疫情 | 郑州发布紧急通告 | 郑州疫情地铁 | 全球国家向中国捐赠 | 全球哪些国家有肺炎疫情 | 疫情期间地铁还在建设吗 | 政府如何做好疫情防控工作 | 湖北企业复工复产通知 | 北京市冬奥组委关于 | 肺炎疫情对建筑行业影响 | 北京返京需要隔离吗 | 时间上的一个点 | 武汉热干面加油 | 武汉医生对疫情的介绍 | 贵阳站火车停运了吗 | 会计有什么函 | 抗击疫情儿童小故事 | 政务大厅网上办理业务 | 深圳工厂复工 | 中央电视台疫情防控节目 | 银川疫情医院 | 华为最担心的事发生了 | 抽油油烟机没 | 瑞士对中国疫情 | 对中国的入境管制 | 养老保险退休后发放吗 | 中国养老保险养老 | 日本邮轮滞留后果 | 河北省冠状病毒肺炎病例 | 嗨学网投诉中心 | 小米10手机评论 | 安徽淮南疫情 | 安徽淮南疫情公布 | 安徽淮南新型肺炎情况 | 疫情期间日记怎么写 | 影视剧里的总裁 | 医务人员请找书 | 疫情给公司造成的损失 | 安倍晋三访问日本美国 | 新冠状肺炎能治愈 | 男人心中女人是什么样子的 | 361扣篮王 | 疫情灾区志愿者报名 | 企业破产要清算 | 各地支援武汉医疗队 | 各地医务人员支援武汉 | 深圳驰援武汉医护 | 武汉防疫志愿者招募 | 新冠肺炎志愿者报名 | 医护人员驰援武汉怎么报名 | 疫情致家属的一封信 | 无数志愿者驰援武汉 | 医护驰援武汉要求 | 中国志愿者怎么驰援武汉 | 有没有驰援武汉的志愿者 | 马布里cba最 | 特斯拉产业链的零部件公司 | 特斯拉和锂电池的区别 | 昆明铁路12306停运公告 | 特斯拉电池系统股票 | 公务员行测怎么判分 |