从数据质量到数据产品质量

蔡莉; 朱扬勇

doi:10.11959/j.issn.2096-0271.2022040

您当前的位置：

首页 >

文章列表页 >

从数据质量到数据产品质量

专题：数据要素市场建设 | 更新时间：2024-06-03

- 从数据质量到数据产品质量
- From data quality to data products quality
- 大数据 2022年8卷第3期页码：26-39
- 作者机构：
  
  1. 云南大学软件学院，云南昆明 650504
  2. 复旦大学计算机科学技术学院，上海 200438
  3. 上海市数据科学重点实验室，上海 200438
- 作者简介：
  
  [ "蔡莉（1975- ），女，博士，云南大学软件学院副教授，主要研究方向为数据质量、数据挖掘和智能交通。" ]
  [ "朱扬勇（1963- ），男，博士，复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任，复旦大学数据产业研究中心副主任。《大数据》期刊编委会副主任，农业大数据产业技术战略联盟副理事长兼首席科学家，大数据协同安全国家工程实验室副理事长，中国自动化学会国防大数据分会副主任。国际数据科学倡导者，提出数据界、数据学、数据身、数据自治、数据财政等概念和体系。发表学术论文200多篇，出版《数据学》《旖旎数据》《特异群组挖掘》《数据自治》等专著，并任《大数据技术与应用丛书》（22册）主编、《大数据资源》主编。主要研究方向为数据科学和数字经济，近期研究重点为数字化转型、数据财政、数据资产、数据自治与数据跨境等。" ]
- 基金信息：
  
  国家自然科学基金资助项目;The National Natural Science Foundation of China(61663047);云南省软件工程重点实验室项目;Key Laboratory in Software Engineering of Yunnan Province(2020SE314)
- DOI：10.11959/j.issn.2096-0271.2022040
  中图分类号： TP301
- 网络首发：2022-05，
  
  纸质出版：2022-05-15
- 稿件说明：
移动端阅览
蔡莉, 朱扬勇. 从数据质量到数据产品质量[J]. 大数据, 2022,8(3):26-39.

Li CAI, Yangyong ZHU. From data quality to data products quality[J]. Big data research, 2022, 8(3): 26-39.
蔡莉, 朱扬勇. 从数据质量到数据产品质量[J]. 大数据, 2022,8(3):26-39. DOI： 10.11959/j.issn.2096-0271.2022040.

Li CAI, Yangyong ZHU. From data quality to data products quality[J]. Big data research, 2022, 8(3): 26-39. DOI： 10.11959/j.issn.2096-0271.2022040.

摘要

长期以来，数据质量研究主要是为了满足组织自身信息系统正常运行的需求。随着数据要素市场的建设与发展，数据的质量需求从“自用需求”转变为“他用需求”“监管需求”。数据市场中的数据产品质量问题是数据使用者（购买者）和市场监管机构重点关注的内容。分析了数据产品质量的使用者需求和监管者需求，创新性地提出了一个数据产品质量体系框架；在此基础上，以盒装数据产品为例，从时间、空间和内容完整性3个方面构建了对应的质量维度、质量指标和质量评测模型。该质量体系可以对资源类数据产品进行检测和评定，能够为数据产品购买者和市场监管机构提供行之有效的检测依据和标准。

Abstract

For a long time

the purpose of data quality research is to fulfill requirements of the normal operation of the organization’s own information system.With the construction and development of data market

the requirements on data quality have changed from “self-use” to “other use” and “need for supervision”.The data products quality in the data market is the focus of data users (buyers) and market regulators.The demands of users and regulators for data product quality were analyzed

and a framework of data product quality was proposed innovatively.On this basis

taking BoxedData as an example

the corresponding quality dimensions

quality indicators and quality assessment models were construct from three aspects of time

space and content integrity.The quality framework was suitable for detecting and assessing resource data products

and could provide effective detection methods and standards for data product buyers and market regulators.

关键词

Keywords

references

蔡莉 , 朱扬勇 . 大数据质量 [M ] . 上海 : 上海科学技术出版社 , 2017 .

CAI L , ZHU Y Y . The quality of big data [M ] . Shanghai : Shanghai Scientific ＆Technical Publishers , 2017 .

SCANNAPIECO M , CATARCI T . Data quality under the computer science perspective [J ] . Archivi ＆ Computer , 2002 , 2 : 1 - 13 .

蔡莉 , 梁宇 , 朱扬勇 , 等 . 数据质量的历史沿革和发展趋势 [J ] . 计算机科学 , 2018 , 45 ( 4 ): 1 - 10 .

CAI L , LIANG Y , ZHU Y Y , et al . History and development tendency of data quality [J ] . Computer Science , 2018 , 45 ( 4 ): 1 - 10 .

WANG R Y . A product perspective on total data quality management [J ] . Communications of the ACM , 1998 , 41 ( 2 ): 58 - 65 .

涂子沛 . 大数据 [M ] . 桂林 : 广西师范大学出版社 , 2013 .

TU Z P . The big data revolution [M ] . Guilin : Guangxi Normal University Press , 2013 .

王军玲 , 李华 , 王强 . ISO 8000数据质量系列标准探析 [J ] . 标准科学 , 2010 ( 12 ): 44 - 46 .

WANG J L , LI H , WANG Q . Research on ISO 8000 series standards for data quality [J ] . Standard Science , 2010 ( 12 ): 44 - 46 .

宋立荣 , 彭洁 . 美国政府“信息质量法”的介绍及其启示 [J ] . 情报杂志 , 2012 , 31 ( 2 ): 12 - 18 .

SONG L R , PENG J . Introduction and inspirations of the “information quality act” in the American federal government [J ] . Journal of Intelligence , 2012 , 31 ( 2 ): 12 - 18 .

朱扬勇 , 熊贇 . 数据的经济活动及其所需要的权利 [J ] . 大数据 , 2020 , 6 ( 6 ): 140 - 150 .

ZHU Y Y , XIONG Y . The required authorization to the data-centric economic activities [J ] . Big Data Research , 2020 , 6 ( 6 ): 140 - 150 .

DENBALY M , GLASER L , VASAVADA U . ERS data product quality standards [Z ] . 2021 .

孙苗 , 王子珂 , 童心 , 等 . 典型海洋环境观测数据产品应用现状及对我国的启示 [J ] . 大数据 , 2022 , 8 ( 1 ): 73 - 83 .

SUN M , WANG Z K , TONG X , et al . Status of classical marine environmental observing data products application and enlightenment to China [J ] . Big Data Research , 2022 , 8 ( 1 ): 73 - 83 .

吴琼 , 白廷俊 , 庞清珊 . 上海数据交易所今日揭牌成立 [N ] . 北京日报 , 2021 - 11 - 25 .

WU Q , BAI T J , PANG Q S . Shanghai Data Exchange was inaugurated today [N ] . Beijing Daily , 2021 - 11 - 25 .

CAI L , WANG H Y , SHA C , et al . The mining of urban hotspots based on multisource location data fusion [J ] . IEEE Transactions on Knowledge and Data Engineering , 2021 ( 99 ): 1 .

闫鑫 , 黄国彬 . 科学数据分类研究述评 [J ] . 图书馆论坛 , 2020 , 40 ( 5 ): 45 - 54 .

YAN X , HUANG G B . A review of the study of research data classification [J ] . Library Tribune , 2020 , 40 ( 5 ): 45 - 54 .

CAI L , ZHU Y Y . The challenges of data quality and data quality assessment in the big data era [J ] . Data Science Journal , 2015 ,14:2.

VANDENBERGHE W , VANHAUWAERT E , DEMEESTER P , et al . Feasibility of expanding traffic monitoring systems with floating car data technology [J ] . IET Intelligent Transport Systems , 2012 , 6 ( 4 ): 347 - 354 .

程静 . 微天气与时间、位置和品类的交互对移动O2O平台商家销量的影响研究 [D ] . 哈尔滨:哈尔滨工业大学 , 2021 .

CHENG J . Research on the impact of the interaction of micro-weather with time,location and category on the sales of merchants on mobile O2O platform [D ] . Harbin:Harbin Institute of Technology , 2021 .

黄明峰 , 刘军 , 靖剑波 . 贵阳市政府数据开放平台设计与实现 [J ] . 电信科学 , 2017 , 33 ( 9 ): 136 - 147 .

HUANG M F , LIU J , JING J B . Design and practice of Guiyang open government data platform [J ] . Telecommunications Science , 2017 , 33 ( 9 ): 136 - 147 .

相丽玲 , 贾昆 . 中外个人数据保护标准研究进展与未来趋势分析 [J ] . 情报杂志 , 2020 , 39 ( 2 ): 85 - 94 .

XIANG L L , JIA K . Research progress and future trend of personal data protection standards at home and abroad [J ] . Journal of Intelligence , 2020 , 39 ( 2 ): 85 - 94 .

李延舜 . 隐私政策在企业数据合规实践中的功能定位 [J ] . 江汉论坛 , 2020 ( 10 ): 136 - 144 .

LI Y S . Privacy policy’s functional orientation in the compliance practice of corporate data [J ] . Jianghan Tribune , 2020 ( 10 ): 136 - 144 .

刘长玉 . 政府、第三方检测机构和企业质量监管中博弈关系研究 [J ] . 东岳论丛 , 2015 , 36 ( 10 ): 128 - 132 .

LIU C Y . Study on the game relationship between government,third-party testing institutions and enterprise quality supervision [J ] . Dongyue Tribune , 2015 , 36 ( 10 ): 128 - 132 .

陈红玉 , 翟军 , 袁长峰 , 等 . 开放政府数据的溯源元数据研究及应用 [J ] . 情报杂志 , 2017 , 36 ( 6 ): 148 - 155 .

CHEN H Y , ZHAI J , YUAN C F , et al . Provenance metadata research of open government data and application discussion [J ] . Journal of Intelligence , 2017 , 36 ( 6 ): 148 - 155 .

胡韵 , 胡爱群 , 胡奥婷 , 等 . 大数据背景下数据可追踪性应用分析与方法研究 [J ] . 密码学报 , 2020 , 7 ( 5 ): 565 - 582 .

HU Y , HU A Q , HU A T , et al . Applications analysis and methods research of data traceability in big data content [J ] . Journal of Cryptologic Research , 2020 , 7 ( 5 ): 565 - 582 .

叶雅珍 , 朱扬勇 . 盒装数据:一种基于数据盒的数据产品形态 [J ] . 大数据 , 2022 , 8 ( 3 ): 15 - 25 .

YE Y Z , ZHU Y Y . BoxedData:a data product form based on databox [J ] . Big Data Research , 2022 , 8 ( 3 ): 15 - 25 .

MCGILVRAY D . Executing data quality projects:ten steps to quality data and trusted information TM [M ] . San Francisco : Morgan Kaufmann Publishers , 2008 .

蔡莉 , 李永轩 , 王淑婷 , 等 . 基于层次分析法的众源地理数据质量评估研究 [J ] . 测绘地理信息 , 2021 , 46 ( 3 ): 98 - 102 .

CAI L , LI Y X , WANG S T , et al . Quality assessment for crowdsourcing geographic data using AHP [J ] . Journal of Geomatics , 2021 , 46 ( 3 ): 98 - 102 .

任艳 , 易宝林 , 陈佳丽 . 基于V9I模型的空间拓扑一致性发现与维护 [C ] // 第二十三届中国数据库学术会议论文集 . 出版地不详:出版机构不详 , 2006 : 400 - 402 .

REN Y , YI B L , CHEN J L . Spatial topological consistency discovering and maintenance based on V9I model [C ] // Proceedings of the 23rd National Database Conference of China .[S.l.:s.n. ] , 2006 : 400 - 402 .

浏览量

828

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

盒装数据：一种基于数据盒的数据产品形态

数据产品的资产性分析

数据流通市场中数据产品的特性及其交易模式

生态系统长期观测数据产品体系