面向大数据的海云数据系统关键技术研究_黄哲学

第1卷第6期2012年11月网络新媒体技术Vol.1No.6Nov.2012

面向大数据的海云数据系统关键技术研究

黄哲学

（中国科学院深圳先进技术研究院*曹付元深圳518055李俊杰陈小军深圳518055）深圳市高性能数据挖掘重点实验室

摘要：由于数据产生成本的急速下降，人类社会产生的数据不仅以指数级别增长，而且数据的结构变得日趋复杂，使得传统的数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘，从中提取有价值的知识用于决策，已经成为产业界和学术界的广泛关注问题，在一些国家已上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题，总

“面向感知中国的新一代信息技术研究”“海云数据系统关键技术研究与系统研制”结了中国科学院战略性先导科技专项中课

题的一些先期成果，为开发大数据管理、分析和挖掘系统提供一些参考依据。

关键词：大数据系统，大数据分析，数据挖掘，可视分析

DevelopingSeaCloudDataSystemKey

TechnologiesforLargeDataAnalysisandMining

HUANGZhexue，CAOFuyuan，LIJunjie，CHENXiaojun

（ShenzhenInstitutesofAdvancedTechnology，CAS，Shenzhen，518055，China，

ShenzhenKeyLaboratoryofHighPerformanceDataMining，Shenzhen，518055，China）

Abstract：Asthecostofdatagenerationisgoingdown，thedatageneratedinthesocietyincreasesexponentially.Furthermore，thecomplexityofthedatastructureisincreasingaswell.Thisphenomenonpresentsanextremelybigchallengetothetraditionaldataanal-ysistechniques.Howtoanalyzeandminebigdataandextractvaluableknowledgefordecisionmakinghasbecomeapopularbigcon-cerninacademicsandindustry.Somecountrieshaveraisedthisissuetothenationalstrategiclevel.Inthispaper，wefirstintroducesomebasicconceptsaboutbigdata，itscharacteristicsandscientificresearchproblems.Wethensummarizesomeinitialresultsoftheprojectof“researchanddevelopmentofkeytechnologiesforseaandclouddatasystems”intheprogramof“sensingChinaorientednextgenerationinformationtechnologies”beingcarriedoutinChineseAcademyofSciences.Weproposefurtherinnovationsonthere-latedtechnologiestospearheadtheresearchonbigdatamanagement，analysisandmininginthenearfuture.

Keywords：Bigdatasystem，bigdataanalysis，datamining，visualanalytics

1引言

随着物联网、移动互联网和云计算技术及应用的蓬勃发展，人类产生的数据量不仅以指数级增长，而且数据的结构变得日趋复杂，超越了传统数据库的管理能力。大数据问题（BigDataProblem）近两年成为信息技术学术界和产业界热论的焦点。普遍舆论认为，大数据问题已经成为信息科学技术领域的重要前沿课题之一。本文于2012－09－17收到。

*中国科学院战略性先导科技专项“面向感知中国的新一代信息技术研究”（XDA06000000）课题“海云数据系统关键技术研究与系统研制”（XDA06010500）资助。

6期黄哲学等：面向大数据的海云数据系统关键技术研究212011年5月，EMC公司在美国拉斯维加斯举办了第11届EMCWorld年度大会，设定的主题为“云计算

，“大数据”（BigData）概念。随后，IBM和麦肯锡等众多国外机构发布了“大数大会正式提出了相遇大数据”

据”相关研究报告，阐述了大数据的特征，给社会经济发展带来的机遇和对当前信息技术的挑战。可以预测，大数据将成为继云计算和物联网之后，信息技术产业又一次颠覆性的技术变革。

［3］《Nature》《Sciences》在学术界，国际顶级期刊和近期针对大数据分别出版了专刊《BigData》和《Deal-

［4］，ingwithData》从互联网技术、互联网经济学、超级计算、环境科学、生物医药等多个方面讨论了大数据处

理面临的各种问题。2012年8月12～16日在北京举办的第18届知识发现与数据挖掘（KDD）国际会议，大数据成为重要议题，其暑期培训班（KDDSummerSchoolonMiningtheBigData）和专家论坛（PanelDiscus-sion）都是集中讨论大数据问题。2011年11月26日，中国软件开发联盟（CSDN）在北京成功举办了中国大

中国计算机学会（CCF）成立了大数据专家委员会（CCF数据技术大会。为推动大数据这个交叉学科的发展，

BigDataTaskForce，简称CCFTFBD）。

大数据的机遇与挑战已经从商业领域上升到国家战略层面。2012年3月29日，美国政府发布了“大数

。随后，据研究和发展倡议”美国国家科学基金委员会（NSF）、美国国家卫生研究院（NIH）、美国能源部

（DOE）、美国国防部（DOD）、美国国防部高级研究计划局（DARPA）、美国地质勘探局（USGS）六个部门联合推出了大数据计划，旨在提升从大量复杂数据中获取知识和洞见的能力。

2012年5月22～24日在北京成功为探讨中国大数据的发展战略，由中国科学院计算技术研究所牵头，

“网络数据科学与工程─一门新兴的交叉学科？”为主题的第424次香山科学会议，与会国内外知举办了以

名专家学者为中国大数据发展战略建言献计。2012年8月14～15日，中国科学院启动了“面向感知中国的新一代信息技术研究”战略性先导科技专项，任务之一是研制用于大数据采集、存储、处理、分析和挖掘的未来数据系统。

信息时代万物数化，大数据的重要性已成行业共识，针对大数据技术和应用的创新，其发展趋势不可阻

使之转换为有价值的信息和知识，用于解决各种各样的挡。如何对大数据进行充分和有效的分析和挖掘，

科学 …… 此处隐藏：8984字，全部文档内容请下载后查看。喜欢就下载吧 ……