人工参与的迭代式数据清洗方法研究

刘一达; 丁小欧; 王宏志; 杨东华

doi:10.11959/j.issn.2096-0271.2023048

您当前的位置：

首页 >

文章列表页 >

人工参与的迭代式数据清洗方法研究

专题：跨域数据管理 | 更新时间：2024-06-03

- 人工参与的迭代式数据清洗方法研究
- Research on iterative data cleaning of human-computer interaction
- 大数据 2023年9卷第4期页码：59-68
- 作者机构：
- 作者简介：
  
  [ "刘一达（2000- ），男，哈尔滨工业大学计算机科学与技术学院博士生，主要研究方向为数据清洗、数据依赖松弛方向" ]
  [ "丁小欧（1993- ），女，博士，哈尔滨工业大学计算机科学与技术学院助理教授，主要研究方向为数据清理、时间数据质量管理、时间数据挖掘、工业数据清理和多元时间序列数据中的异常行为挖掘。在数据库领域的国际会议和期刊上发表14篇学术论文" ]
  [ "王宏志（1978- ），男，博士，哈尔滨工业大学计算机科学与技术学院教授、博士生导师，主要研究方向为大数据管理、数据质量、图形数据管理和Web数据管理，发表论文100多篇" ]
  [ "杨东华（1976- ），男，哈尔滨工业大学计算机科学与技术学院副教授、博士生导师，主要研究方向为数据库、大数据管理与分析等，发表论文30余篇，SCI/EI检索30余次。主持国家自然科学基金面上项目2项、青年项目1项，以主要成员参与国家重点基础研究发展计划项目1项、国家重点研发项目1项、国家自然科学基金重点项目1项。主持中国博士后科学基金、黑龙江省博士后科学基金、黑龙江省自然科学基金等项目5项" ]
- 基金信息：
  
  国家重点研发计划资助项目;The National Key Research and Development Program of China(2021YFB3300502);国家自然科学基金资助项目;The National Natural Science Foundation of China(62202126);国家自然科学基金资助项目;The National Natural Science Foundation of China(62232005);中国博士后科学基金项目;China Postdoctoral Science Foundation(2022M720957);黑龙江省博士后面上资助项目;Heilongjiang Postdoctoral Financial Assistance(LBH-Z21137)
- DOI：10.11959/j.issn.2096-0271.2023048
  中图分类号： TP311
- 网络首发：2023-07，
  
  纸质出版：2023-07-15
- 稿件说明：
移动端阅览
刘一达, 丁小欧, 王宏志, 等. 人工参与的迭代式数据清洗方法研究[J]. 大数据, 2023,9(4):59-68.

Yida LIU, Xiaoou DING, Hongzhi WANG, et al. Research on iterative data cleaning of human-computer interaction[J]. Big data research, 2023, 9(4): 59-68.
刘一达, 丁小欧, 王宏志, 等. 人工参与的迭代式数据清洗方法研究[J]. 大数据, 2023,9(4):59-68. DOI： 10.11959/j.issn.2096-0271.2023048.

Yida LIU, Xiaoou DING, Hongzhi WANG, et al. Research on iterative data cleaning of human-computer interaction[J]. Big data research, 2023, 9(4): 59-68. DOI： 10.11959/j.issn.2096-0271.2023048.

摘要

数据采集技术的进步导致了数据集规模的飞速上涨，由于数据的大规模和高复杂性引起了严重的数据质量问题，数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本，提出了一种人工参与的迭代式的数据清洗方法（IDCHI）。该方法在检测模块中提出了数据选择优化方法，使分类器在初始阶段就拥有较高的准确度；并进一步提出了待人工标注数据选择方法，有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。

Abstract

The advancement of data collection technology has led to a rapid increase in the size of datasets.Due to the big scale and high complexity of the data volume

serious data quality issues arise.Therefore

data cleaning is a necessary and important step in data activities.To effectively reduce human annotation costs while ensuring the accuracy of cleaning

an iterative data cleaning method (IDCHI) with human participation was proposed.This method proposed a data selection optimization method in the detection module

which enables the classifier to have high accuracy in the initial stage; and further proposed a method for selecting data to be manually annotated

effectively reducing the amount of data to be manually annotated.The experimental results show that the proposed method is effective and efficient in cleaning erroneous data.

关键词

Keywords

references

LIANG Z , WANG H Z , DING X O , et al . Industrial time series determinative anomaly detection based on constraint hypergraph [J ] . Knowledge-Based Systems , 2021 ,233:107548.

BERGMAN M , MILO T , NOVGORODOV S , et al . Query-oriented data cleaning with oracles [C ] // Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data . New York:ACM Press , 2015 : 1199 - 1214 .

SIDDIQUI T , KIM A , LEE J , et al . Effortless data exploration with zenvisage:an expressive and interactive visual analytics system [J ] . arXiv preprint , 2016 ,arXiv:1604.03583.

SHOU C L , SHUKLA A . Arachnid:generalized visual data cleaning [C ] // Proceedings of the 2019 International Conference on Management of Data . New York:ACM Press , 2019 : 1850 - 1852 .

范举 , 陈跃国 , 杜小勇 . 人在回路的数据准备技术研究进展 [J ] . 大数据 , 2019 , 5 ( 6 ): 1 - 18 .

FAN J , CHEN Y G , DU X Y . Progress on human-in-the-loop data preparation [J ] . Big Data Research , 2019 , 5 ( 6 ): 1 - 18 .

QIN X D , LUO Y Y , TANG N , et al . Making data visualization more efficient and effective:a survey [J ] . The VLDB Journal , 2020 , 29 ( 1 ): 93 - 117 .

DING X O , LIU Y D , WANG H Z , et al . SNN-AAD:active anomaly detection method for multivariate time series with sparse neural network [C ] // International Conference on Database Systems for Advanced Applications . Cham:Springer , 2023 : 253 - 269 .

SATYANARAYAN A , MORITZ D , WONGSUPHASAWAT K , et al . Vegalite:a grammar of interactive graphics [J ] . IEEE Transactions on Visualization and Computer Graphics , 2017 , 23 ( 1 ): 341 - 350 .

HEER J , AGRAWALA M , WILLETT W . Generalized selection via interactive query relaxation [C ] // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems . New York:ACM Press , 2008 : 959 - 968 .

ABEDJAN Z , CHU X , DENG D , et al . Detecting data errors [J ] . Proceedings of the VLDB Endowment , 2016 , 9 ( 12 ): 9931004 .

HANRAHAN P . VizQL:a language for query,analysis and visualization [C ] // Proceedings of the 2006 ACM SIGMOD International Conference on Management of Data . New York:ACM Press , 2006 :721.

DING X O , SONG Y C , WANG H Z , et al . Cleanits-MEDetect:multiple errors detection for time series data in cleanits [C ] // International Conference on Database Systems for Advanced Applications . Cham:Springer , 2023 : 674 - 678 .

KRISHNAN S , WANG J N , WU E , et al . ActiveClean [J ] . Proceedings of the VLDB Endowment , 2016 , 9 ( 12 ): 948 - 959 .

BEYGELZIMER A , DASGUPTA S , LANGFORD J . Importance weighted active learning [C ] // Proceedings of the 26th Annual International Conference on Machine Learning . New York:ACM Press , 2009 : 49 - 56 .

LE K H , PAPOTTI P . User-driven error detection for time series with events [C ] // Proceedings of 2020 IEEE 36th International Conference on Data Engineering (ICDE) . Piscataway:IEEE Press , 2020 : 745 - 757 .

YAKOUT M , ELMAGARMID A K , NEVILLE J , et al . Guided data repair [J ] . arXiv preprint . 2011 ,arXiv:1103.3103.

BOSTOCK M , OGIEVETSKY V , HEER J . D3 data-driven documents [J ] . IEEE Transactions on Visualization and Computer Graphics , 2011 , 17 ( 12 ): 2301 - 2309 .

XIAO H , BIGGIO B , BROWN G , et al . Is feature selection secure against training data poisoning? [C ] // Proceedings of the 32nd International Conference on International Conference on Machine Learning . New York:ACM Press , 2015 : 1689 - 1698 .

CHARFI M , GRIPAY Y , PETIT J M . Spatio-temporal functional dependencies for sensor data streams [C ] // International Symposium on Spatial and Temporal Databases . Cham:Springer , 2017 : 182 - 199 .

LUO Y Y , CHAI C L , QIN X D , et al . VisClean [J ] . Proceedings of the VLDB Endowment , 2020 , 13 ( 12 ): 2821 - 2824 .

浏览量

454

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

数据管护技术及应用

工业时序大数据质量管理