数据中台框架与实践

吴信东; 应泽宇; 盛绍静; 蒋婷婷; 卜晨阳; 张赞

doi:10.11959/j.issn.2096-0271.2023034

您当前的位置：

首页 >

文章列表页 >

数据中台框架与实践

应用 | 更新时间：2024-06-03

- 数据中台框架与实践
- Data central-platform: architecture and practice
- 大数据 2023年9卷第6期页码：137-159
- 作者机构：
  
  1. 大数据知识工程教育部重点实验室（合肥工业大学），安徽合肥 230009
  2. 合肥工业大学计算机与信息学院，安徽合肥 230009
- 作者简介：
  
  [ "吴信东（1963- ），男，博士，合肥工业大学计算机与信息学院教授、博士生导师，主要研究方向为数据挖掘、大数据分析、知识工程。" ]
  [ "应泽宇（1999- ），男，合肥工业大学计算机与信息学院硕士生，主要研究方向为数据挖掘、用户画像。" ]
  [ "盛绍静（1994- ），女，合肥工业大学计算机与信息学院博士生，主要研究方向为数据挖掘、知识图谱、家谱划分。" ]
  [ "蒋婷婷（1995- ），女，博士，毕业于合肥工业大学计算机与信息学院，主要研究方向为知识图谱、知识表示学习、实体对齐。" ]
  [ "卜晨阳（1992- ），男，博士，合肥工业大学计算机与信息学院副教授，主要研究方向为知识图谱构建和多模态融合。" ]
  [ "张赞（1987- ），男，博士，合肥工业大学计算机与信息学院副教授，主要研究方向为因果学习和弱监督学习。" ]
- 基金信息：
  
  国家自然科学基金资助项目;The National Natural Science Foundation of China(62120106008);国家自然科学基金资助项目;The National Natural Science Foundation of China(91746209);中央高校基本科研业务费资助项目;The Fundamental Research Funds for the Central Universities(JZ2023HGTB0270);教育部创新团队项目;The Program for Changjiang Scholars and Innovative Research Team in University (PCSIRT) of the Ministry of Education(IRT17R3)
- DOI：10.11959/j.issn.2096-0271.2023034
  中图分类号： TP311.13
- 网络首发：2023-11，
  
  纸质出版：2023-11-15
- 稿件说明：
移动端阅览
吴信东, 应泽宇, 盛绍静, 等. 数据中台框架与实践[J]. 大数据, 2023,9(6):137-159.

Xindong WU, Zeyu YING, Shaojing SHENG, et al. Data central-platform: architecture and practice[J]. Big data research, 2023, 9(6): 137-159.
吴信东, 应泽宇, 盛绍静, 等. 数据中台框架与实践[J]. 大数据, 2023,9(6):137-159. DOI： 10.11959/j.issn.2096-0271.2023034.

Xindong WU, Zeyu YING, Shaojing SHENG, et al. Data central-platform: architecture and practice[J]. Big data research, 2023, 9(6): 137-159. DOI： 10.11959/j.issn.2096-0271.2023034.

摘要

数据中台将一个机构（企业、事业或政府部门）的数据作为战略资产进行管理，是从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化。给出数据中台的定义，提出数据中台参考技术框架，并分别对物理管理、逻辑管理、数据资产管理、数据服务和信息安全管理的组成和技术进行了展开讨论。最后以华谱系统建设为例，介绍面向家谱大数据、结合HAO智能模型的数据中台实现——华谱数据中台。

Abstract

A data central platform positions the data of an entity-be it a corporate entity

institutional body

or governmental department-as a pivotal strategic asset.It's a management mechanism that spans from data collection to processing and application

aiming to improve data quality

achieve extensive data sharing

and ultimately maximize the value of the data.A definition for data central-platforms was provided

and a generic architecture was presented along with the core technologies and functions of physical management

logical management

data asset management

data services and information security management.Finally

taking the construction of Huapu system as an example

a realization of the data central platform

which is geared towards genealogical big data and integrated with the HAO intelligence model

was introduced-Huapu Central-Platform.

关键词

Keywords

references

钟华 . 企业IT架构转型之道:阿里巴巴中台战略思想与架构实战 [M ] . 北京 : 机械工业出版社 , 2017 .

ZHONG H . The way of enterprise IT architecture transformation:Alibaba’s middle office strategic ideas and architecture practice [M ] . Beijing : China Machine Press , 2017 .

艾瑞咨询 . 2021年中国数据中台行业白皮书 [R ] . 2021 .

iResearch . China data center industry white paper 2021 [R ] . 2021 .

刘长杰 . 数据中台建设将把数字中国推向纵深:与国务院发展研究中心研究员李广乾对话 [J ] . 中国发展观察 , 2020 ( 1 ): 86 - 90 .

LIU C J . The construction of data center will push digital China deeperdialogue with Li Guanggan,a researcher at the State Council Development Research Center [J ] . China Development Observation , 2020 ( 1 ): 86 - 90 .

缪翀莺 , 谭华 , 易学明 . 数据中台的定位和架构分析 [J ] . 广东通信技术 , 2019 , 39 ( 12 ): 57 - 62 , 70 .

MIAO C Y , TAN H , YI X M . Positioning and architecture analysis of data center station [J ] . Guangdong Communication Technology , 2019 , 39 ( 12 ): 57 - 62 , 70 .

刘颖慧 , 刘楠 , 蔡一欣 , 等 . 数字化转型中不同企业的中台战略及架构设计 [J ] . 电信科学 , 2020 , 36 ( 7 ): 126 - 135 .

LIU Y H , LIU N , CAI Y X , et al . Design of the strategy and architecture of different enterprises’ middle platform [J ] . Telecommunications Science , 2020 , 36 ( 7 ): 126 - 135 .

邓中华 . 大数据大创新:阿里巴巴云上数据中台之道 [M ] . 北京 : 电子工业出版社 , 2018 .

DENG Z H . Big data,big innovation:the way of Alibaba’s data center on the cloud [M ] . Beijing : Publishing House of Electronics Industry , 2018 .

林鸿 , 方学民 , 袁葆 , 等 . 电力物联网多渠道客户服务中台战略研究与设计 [J ] . 供用电 , 2019 , 36 ( 6 ): 39 - 45 , 66 .

LIN H , FANG X M , YUAN B , et al . Research and design of business platform strategy for multi-channel customer services in Internet of Things in electricity [J ] . Distribution ＆ Utilization , 2019 , 36 ( 6 ): 39 - 45 , 66 .

苏萌 , 贾喜顺 , 杜晓梦 , 等 . 数据中台技术相关进展及发展趋势 [J ] . 数据与计算发展前沿 , 2019 , 1 ( 1 ): 116 - 126 .

SU M , JIA X S , DU X M , et al . Research on the recent development and future trends of data mid-end technology [J ] . Frontiers of Data＆Computing , 2019 , 1 ( 1 ): 116 - 126 .

ATLAS A . Data governance and metadata framework for Hadoop [J ] . Data Governance and Metadata Framework for Hadoop , 2019 .

刘天 . 中台产品经理宝典:从业务建模到中台设计全攻略 [M ] . 北京 : 电子工业出版社 , 2020 .

Liu T . A guide for middle-office product managers:from business modeling to middle-office design [M ] . Beijing : Publishing House of Electronics Industry , 2020 .

邓立君 . 数据中台与大数据中心分析 [J ] . 电子世界 , 2019 ( 22 ): 85 - 86 .

DENG L J . Analysis of data center and big data center [J ] . Electronics World , 2019 ( 22 ): 85 - 86 .

陈新宇 , 罗家鹰 , 江威 . 中台实践:数字化转型方法论与解决方案 [M ] . 北京 : 机械工业出版社 , 2020 .

CHEN X Y , LUO J Y , JIANG W . Middleplatform practice:digital transformation methodology and solutions [M ] . Beijing : China Machine Press , 2020 .

吴信东 , 盛绍静 , 蒋婷婷 , 等 . 从知识图谱到数据中台:华谱系统 [J ] . 自动化学报 , 2020 , 46 ( 10 ): 2045 - 2059 .

WU X D , SHENG S J , JIANG T T , et al . Huapu-CP:from knowledge graphs to a data central-platform [J ] . Acta Automatica Sinica , 2020 , 46 ( 10 ): 2045 - 2059 .

王宇杰 , 武宪杰 , 傅子涛 . 基于云计算的空管系统设计方法研究 [J ] . 电子技术与软件工程 , 2021 ( 17 ): 141 - 144 .

WANG Y J , WU X J , FU Z T . Research on the design method of air traffic control system based on cloud computing [J ] . Electronic Technology ＆ Software Engineering , 2021 ( 17 ): 141 - 144 .

克里斯·理查森 . 微服务架构设计模式 [M ] . 喻勇,译 . 北京 : 机械工业出版社 , 2019 .

RICHARDSON C . Microservices patterns:with examples in Java [M ] . Translated by YU Y . Beijing : China Machine Press , 2019 .

彭锋 , 宋文欣 , 孙浩峰 . 云原生数据中台:架构、方法论与实践 [M ] . 北京 : 机械工业出版社 , 2021 .

PENG F , SONG W X , SUN H F . Cloud native data center:architecture,methodology and practice [M ] . Beijing : China Machine Press , 2021 .

CNCF . Cloud native landscape [Z ] . 2021 .

用友云平台团队 . 数字化中台 [M ] . 北京 : 电子工业出版社 , 2021 .

Yongyou Cloud Platform Team . Digital Middleware [M ] . Beijing : Publishing House of Electronics Industry , 2021 .

中国信通院大数据技术标准推进委员会 . 数据标准管理实践白皮书 [R ] . 2022 .

Big Data Technical Standards Promotion Committee of China ICT Academy . White paper on data standards management practices [R ] . 2022 .

宋俊典 , 戴炳荣 , 蒋丽雯 , 等 . 基于区块链的数据治理协同方法 [J ] . 计算机应用 , 2018 , 38 ( 9 ): 2500 - 2506 .

SONG J D , DAI B R , JIANG L W , et al . Data governance collaborative method based on blockchain [J ] . Journal of Computer Applications , 2018 , 38 ( 9 ): 2500 - 2506 .

毕强 , 朱亚玲 . 元数据标准及其互操作研究 [J ] . 情报理论与实践 , 2007 , 30 ( 5 ): 666 - 670 .

BI Q , ZHU Y L . Research on metadata standard and its interoperability [J ] . Information Studies (Theory ＆Application) , 2007 , 30 ( 5 ): 666 - 670 .

国家质量监督检验检疫总局 , 中国国家标准化管理委员会 . 数据管理能力成熟度评估模型:GB/T 36073—2018 [S ] . 2018 .

General Administration of Quality Supervision,Inspection and Quarantine of the People’s Republic of China , Standardization Administration of the People’s Republic of China . Data management capability maturity assessment model:GB/T 36073-2018 [S ] . 2018 .

吴信东 , 董丙冰 , 堵新政 , 等 . 数据治理技术 [J ] . 软件学报 , 2019 , 30 ( 9 ): 2830 - 2856 .

WU X D , DONG B B , DU X Z , et al . Data governance technology [J ] . Journal of Software , 2019 , 30 ( 9 ): 2830 - 2856 .

刘峰 , 杨杰 , 李志斌 , 等 . 一种面向双中台双链架构的内生性数据安全交互协议研究 [J ] . 华东师范大学学报(自然科学版) , 2020 ( 5 ): 44 - 55 .

LIU F , YANG J , LI Z B , et al . Research on an endogenous data interaction protocol for the dual-middle platform and dual-chain architecture [J ] . Journal of East China Normal University (Natural Science) , 2020 ( 5 ): 44 - 55 .

DOAN A , HALEVY A , IVES Z . Data matching [M ] // Principles of data integration . Amsterdam : Elsevier , 2012 : 173 - 207 .

CHAUDHURI S , DAYAL U . An overview of data warehousing and OLAP technology [J ] . ACM SIGMOD Record , 1997 , 26 ( 1 ): 65 - 74 .

杜小勇 , 陈跃国 , 范举 , 等 . 数据整理:大数据治理的关键技术 [J ] . 大数据 , 2019 , 5 ( 3 ): 13 - 22 .

DU X Y , CHEN Y G , FAN J , et al . Data wrangling:a key technique of data governance [J ] . Big Data Research , 2019 , 5 ( 3 ): 13 - 22 .

ASFAND-E-YAR M , ALI R . Semantic integration of heterogeneous databases of same domain using ontology [J ] . IEEE Access , 2020 , 8 : 77903 - 77919 .

吴强 , 沙宇恒 , 邓春宇 , 等 . 基于本体论的项目全景模型建模及其在电网项目管理中的应用 [J ] . 电力系统及其自动化学报 , 2021 , 33 ( 11 ): 135 - 144 , 150 .

WU Q , SHA Y H , DENG C Y , et al . Panoramic unified information modeling based on ontology and its application to power grid project management [J ] . Proceedings of the CSU-EPSA , 2021 , 33 ( 11 ): 135 - 144 , 150 .

万齐鸣 , 王思宁 , 何鑫 . 数据中台SG-CIM模型应用方法 [J ] . 电信科学 , 2020 , 36 ( 3 ): 136 - 143 .

WAN Q M , WANG S N , HE X . SG-CIM model application method in data middle platform [J ] . Telecommunications Science , 2020 , 36 ( 3 ): 136 - 143 .

中国信通院大数据技术标准推进委员会 . 数据资产管理实践白皮书4.0 [R ] . 2021 .

Big Data Technology Standard Promotion Committee of China ICT Academy . Data asset management practice white paper 4.0 [R ] . 2021 .

詹盈 . 算法与数据中台:基于Google、Facebook与微博实践 [M ] . 北京 : 电子工业出版社 , 2020 .

ZHAN Y . Algorithms and Data Center:based on Google,Facebook and Microblogging practice [M ] . Beijing : Publishing House of Electronics Industry , 2020 .

李信鹏 , 刘威 , 杨智萍 , 等 . 电网企业数据中台方案研究 [J ] . 电力信息与通信技术 , 2020 , 18 ( 2 ): 1 - 8 .

LI X P , LIU W , YANG Z P , et al . Research on data mid-platform scheme of power grid enterprises [J ] . Electric Power Information and Communication Technology , 2020 , 18 ( 2 ): 1 - 8 .

吴信东 , 何进 , 陆汝钤 , 等 . 从大数据到大知识:HACE+BigKE [J ] . 自动化学报 , 2016 , 42 ( 7 ): 965 - 982 .

WU X D , HE J , LU R Q , et al . From big data to big knowledge:HACE + BigKE [J ] . Acta Automatica Sinica , 2016 , 42 ( 7 ): 965 - 982 .

WU M H , WU X D . On big wisdom [J ] . Knowledge and Information Systems , 2019 , 58 ( 1 ): 1 - 8 .

吴信东 , 嵇圣硙 . MapReduce与Spark用于大数据分析之比较 [J ] . 软件学报 , 2018 , 29 ( 6 ): 1770 - 1791 .

WU X D , JI S W . Comparative study on MapReduce and spark for big data analytics [J ] . Journal of Software , 2018 , 29 ( 6 ): 1770 - 1791 .

JI S W , BU C Y , LI L , et al . Local graph edge partitioning with a two-stage heuristic method [C ] // Proceedings of 2019 IEEE 39th International Conference on Distributed Computing Systems (ICDCS) . Piscataway:IEEE Press , 2019 : 228 - 237 .

吴共庆 , 胡骏 , 李莉 , 等 . 基于标签路径特征融合的在线Web新闻内容抽取 [J ] . 软件学报 , 2016 , 27 ( 3 ): 714 - 735 .

WU G Q , HU J , LI L , et al . Online web news extraction via tag path feature fusion [J ] . Journal of Software , 2016 , 27 ( 3 ): 714 - 735 .

SHENG S J , ZHOU P , WU X D . CEPV:a tree structure information extraction and visualization tool for big knowledge graph [C ] // Proceedings of 2019 IEEE International Conference on Big Knowledge (ICBK) . Piscataway:IEEE Press , 2019 : 221 - 228 .

吴信东 , 李娇 , 周鹏 , 等 . 碎片化家谱数据的融合技术 [J ] . 软件学报 , 2021 , 32 ( 9 ): 2816 - 2836 .

WU X D , LI J , ZHOU P , et al . Fusion technique for fragmented genealogy data [J ] . Journal of Software , 2021 , 32 ( 9 ): 2816 - 2836 .

WU X D , JIANG T T , ZHU Y , et al . Knowledge graph for China’s genealogy [J ] . IEEE Transactions on Knowledge and Data Engineering , 2021 :1.

浏览量

866

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

数字化转型服务平台：面向新竞争格局的企业竞争力建设

融合区块链和联邦学习技术的数据资产流通交易方案研究

基于湖仓一体技术的“多湖一中台”工业大数据平台研究与应用实践

政务数据标识技术研究进展及下一代政务数据标识体系

决策驱动型省级政务大数据治理技术架构及实现