分布式协商：建立稳固分布式大数据系统的基石

陈康; 黄剑; 刘建楠

doi:10.11959/j.issn.2096-0271.2016039

您当前的位置：

首页 >

文章列表页 >

分布式协商：建立稳固分布式大数据系统的基石

研究 | 更新时间：2024-06-03

- 分布式协商：建立稳固分布式大数据系统的基石
- Distributed consensus:fundamental building block for distributed reliable big data system
- 大数据 2016年2卷第4期页码：2016039
- 作者机构：
  
  1. 清华信息科学与技术国家实验室（筹），清华大学计算机科学与技术系，北京 100084
  2. 深圳清华大学研究院，广东深圳 518057
  3. 浙江清华长三角研究院鄞州创新中心，浙江宁波 315000
  4. 4.中国石油天然气股份有限公司庆阳石化分公司，甘肃庆阳 745002
- 作者简介：
  
  [ "陈康（1976-），男，博士，清华大学计算机科学与技术系、深圳清华大学研究院、浙江清华长三角研究院鄞州创新中心副教授，主要研究方向为分布式系统、存储系统。" ]
  [ "黄剑（1993-），男，清华大学计算机科学与技术系硕士生，主要研究方向为文件存储器和分布式系统。" ]
  [ "刘建楠（1963-），男，就职于中国石油天然气股份有限公司庆阳石化分公司，主要从事企业经营和信息化管理工作。" ]
- 基金信息：
  
  国家自然科学基金资助项目;The National Natural Science Foundation of China(61433008);国家自然科学基金资助项目;The National Natural Science Foundation of China(U1435216);国家自然科学基金资助项目;The National Natural Science Foundation of China(61373145);国家自然科学基金资助项目;The National Natural Science Foundation of China(61170210);国家高技术研究发展计划（“863”计划）基金资助项目;The National High Technology Research and Development Program of China (863 Program)(2014AA01A302)
- DOI：10.11959/j.issn.2096-0271.2016039
  中图分类号： TP338.8
- 网络首发：2016-07，
  
  纸质出版：2016-07-20
- 稿件说明：
移动端阅览
陈康, 黄剑, 刘建楠. 分布式协商：建立稳固分布式大数据系统的基石[J]. 大数据, 2016,2(4):2016039.

Kang CHEN, Jian HUANG, Jiannan LIU. Distributed consensus:fundamental building block for distributed reliable big data system[J]. Big Data Research2016, 2(4): 2016039.
陈康, 黄剑, 刘建楠. 分布式协商：建立稳固分布式大数据系统的基石[J]. 大数据, 2016,2(4):2016039. DOI： 10.11959/j.issn.2096-0271.2016039.

Kang CHEN, Jian HUANG, Jiannan LIU. Distributed consensus:fundamental building block for distributed reliable big data system[J]. Big Data Research2016, 2(4): 2016039. DOI： 10.11959/j.issn.2096-0271.2016039.

摘要

分布式协商的目的是在分布式环境下在一组进程之间决定一个共同的值，这是在分布式系统中最基本的问题。分布式协商问题的目标非常简单，但是在面对节点出错、网络出错、网络时延等环境的时候，协议设计以及处理起来十分困难。讨论分布式协商问题的基本形式，在不同的系统假设下的基本结果以及分布式协商在构建稳固的分布式大数据系统中的作用。

Abstract

The goal of distributed consensus is quite simple i.e.how to decide a value among a group of coordinated processes in the distributed environment.However

the problem is turned out to be very difficult while facing the different distributed environment.The even harder problem is that some consensus protocols are hard to be implemented in practical systems.Some results of distributed consensus algorithms under different distributed environment assumptions were reviewed.In addition

some practical systems based on consensus for achieving high reliability were discussed.

关键词

Keywords

references

GHEMAWAT S , GOBIOFF H , LEUNG S T . The Google file system [J ] . ACM SIGOPS Operating Systems Review , 2003 , 37 ( 5 ): 29 - 43 .

LAMPORT L . Paxos made simple [J ] . ACM SIGACT News , 2001 , 32 ( 4 ): 51 - 58 .

LAMPORT L , PEASE M , SHOSTAK R . The byzantine generals problem [J ] . ACM Transactions on Programming Languages and Systems , 1982 , 4 ( 3 ): 382 - 401 .

HUNT P , KONAR M , JUNQUEIRA F P , et al . ZooKeeper:wait-free coordination for internet-scale systems [C ] // The 2010 USENIX Annual Technical Conference,June 22-25,2010 . Boston,MA,USA .[S.l.:s.n. ] , 2010 : 1 - 14 .

ONGARO D , OUSTERHOUT J . In search of an understandable consensus algorithm [C ] // The 2014 USENIX Annual Technical Conference,June 19-20,2014,Philadelphia . Philadelphia,PA,USA .[S.l.:s.n. ] , 2014 : 305 - 319 .

CHANG F , DEAN J , GHEMAWAT S , et al . Bigtable:a distributed storage system for structured data [J ] . ACM Transactions on Computer Systems , 2008 , 26 ( 2 ): 205 - 218 .

BURROWS M , . The Chubby lock service for loosely-coupled distributed systems [C ] // The 7th Symposium on Operating Systems Design and Implementation,November 6-8,2006 , Seattle,WA,USA . New York ： ACM SIGOPS , 2006 : 335 - 350 .

CHANDRA T D , GRIESEMER R , REDSTONE J . Paxos made live:an engineering perspective [C ] // The 26th Annual ACM Symposium on Principles of Distributed Computing,August 12-15,2007 , Portland,Oregon,USA . New York ： ACM Press , 2007 : 398 - 407 .

浏览量

797

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据