“大数据”技术在工控行业中.的应用可行性研

究分析报告

“大数据”时代.的脚步已悄然而至；“大数据”（Big Data）已迅速成为近期争相传诵.的热门科技概念。未来.的十年将是一个“大数据”引领.的智慧科技.的时代。专家们认为：“‘大数据’技术就是下一个经济、国防、安全、社会活动等领域.的制高点！”“大数据”是继云计算、物联网之后信息技术领域.的又一热点；“大数据”时代.的来临；给各行各业带来了根本性变革；让所有人都看到了“大数据”.的挑战与机会。对于工业控制行业同样也是如此。

本文即从《“大数据”技术及其在工控行业中.的应用研究》.的角度来探讨一下“大数据”技术问题。

一、吹响大数据“集结号”！

“大数据”（Big Data）这所以会成为热点；主要应归因于近年来互联网、云计算、移动和物联网.的迅猛发展。无所不在.的移动设备、射频识别技术（RFID）、无线传感器每分每秒都在产生着成千上亿.的数据；数以亿计用户.的互联网服务时时刻刻都在产生巨量.的数据；需要处理.的数据量实在是太多、增长实在是太快了；而业务需求和竞争压力对数据处理.的实时性、有效性又提出了更高要求；传统.的常规技术手段根本无法应对“大数据”浪潮。国际数据公司（IDC-- International Data Corporation）预计；大量新数据无时不刻不在涌现；它们以每年50%.的速度在增长；或者说每两年就要翻一番多。

人类社会发展.的核心驱动力；目前；已由“动力驱动”转变为“数据驱动”；经济活动重点；已从材料.的使用转移到“大数据”.的使用。“大数据”正在成为各个业界.的焦点话题。2012年1月；在瑞士达沃斯举行.的世界经济论坛上；“大数据”是框定.的主题之一。该论坛.的一份报告；《大数据；大影响》；宣告了“大数据时代”.的到来！今天已经进入“大数据”时代；身边.的一切都在“大数据”范围内。人们似乎再也没有什么秘密可言；各种信息都暴露在“大数据”之中。“大数据”几乎是无处不在。传统行业创新升级；“大数据”成背后推手！企业必须直面“大数据”.的挑战。

二、关于“大数据”.的基本认识

㈠“大数据”.的定义

什么是“大数据”？从一般意义上说；“大数据”是指那些超过传统数据库系统处理能力.的数据；数据量通常在10TB（1TB=1024GB；为1万亿字节）以上。因为数据库、“大数据”已经成为变革.的中心；事实上成为一场信息革命；在IT领域、能源业、制造业、零售业、政府管理、科技与国防军事等；“大数据”都改变了整个世界.的运行方式。因此；我们称之为“大数据“时代。对于什么是“大数据”；目前业界并没有统一.的定义。而根据维基百科.的定义：“‘大数据’是指无法在可承受.的时间范围内用常规软件工具进行捕捉、管理、处理.的数据集合。”从产业角度；常常把这些数据与采集它们.的工具、平台、分析系统一起

统称为“大数据”。

纵观人类历史；每一次划时代.的变革都是以新工具.的出现和应用为标志.的。蒸汽机把人们从农业时代带入了工业时代；计算机和互联网把人们从工业时代带入了信息时代；而如今“大数据”时代已经到来；它源自信息时代；又是信息时代全方位.的深化应用与延伸。“大数据”时代.的生产原材料是数据；生产工具则是“大数据”技术；是对信息时代所产生.的海量数据.的挖掘和分析；从而快速地获取有价值信息.的技术和应用。

㈡“大数据”.的量级

20多年来；各个领域特别是信息领域.的数据量.的加速增长；是“大数据”概念产生.的基础。专家测算；2000年全球新产生.的数据量为1000PB到2000PB；到2010年仅仅全球企业一年新存储.的数据量就超过了7000PB。

大数据＝海量数据＋复杂类型数据。目前全球每年产生.的数据量是ZB级；到2015年会达到35个ZB。这表明；海量存储已经达到了ZB级（1ZB=1000 PB；1PB=1000TB；1TB=1000GB；1GB=1000MB）；对于硬件系统已经超出了传统.的设计概念。

㈢“大数据”.的特点

国际数据公司（IDC）认为；某项技术要想成为“大数据”技术；必须满足IBM所描述.的三个“V”：多样性(variety)、大容量(volume)和时效性高(velocity)。多样性是指数据应包含结构化.的和非结构化.的数据；大容量是指聚合在一起供分析.的数据量必须是非常庞大.的；时效性高则是指数据处理.的速度必须很快。

具体来说；“大数据”具有4个基本特征：一是数据体量巨大。百度资料表明；其新首页导航每天需要提供.的数据超过1。5PB（1PB=1024TB）；这些数据如果打印出来将超过5千亿张A4纸。有资料证实；到目前为止；人类生产.的所有印刷材料.的数据量仅为200PB。二是数据类型多样。现在.的数据类型不仅是文本形式；更多.的是图片、视频、音频、地理位置信息等多类型.的数据；个性化数据占绝对多数。三是处理速度快。数据处理遵循“1秒定律”；可从各种类型.的数据中快速获得高价值.的信息。四是价值密度低。以视频为例；一小时.的视频；在不间断.的监控过程中；可能有用.的数据仅仅只有一两秒。

㈣“大数据”技术.的构成

如果说“大数据”是一种技术；又具体包括哪些技术？专家认为；“大数据”技术由四种技术构成：它们包括：分析技术、存储数据库、NoSQL数据库、分布式计算技术。

各种研究表明；“大数据”是与智能制造、无线网络革命并行.的又一次颠覆

性.的技术变革。其具体内容包括：海量数据分析技术、“大数据”处理技术、分布式计算技术、数据可视化技术。

三、美国正在全面推进“大数据”研发

2012年3月29日；奥巴马总统发布《大数据研发倡议》；开启了美国“大数据”全面研发工作；“大数据”作为信息时代获取、处理与利用信息.的一项核心技术；正改变着国家安全、社会经济发展乃至人类生活.的各个方面；已成为信息时代大国竞争.的一个战略性.的新领域。美国甚至流行一句谚语叫“除了上帝；任何人都必须用数据来说话”。美国政府把“大数据”看成是“未来.的新石油”。

美国政府宣布“大数据研究和发展倡议（Big Data Research and Development Initiative）”；来推进从大量.的、复杂.的数据集合中获取知识和洞见.的能力。《大数据研究和发展倡议》提出；将提升美国利用收集.的庞大而复杂.的数字资料提炼真知灼见.的能力；协助加速科学、工程领域创新步伐；强化美国国土安全；转变教育和学习模式。《大数据研究和发展倡议》还承诺将在科学研究、环境保护、生物医药研究、教育以及国家安全等领域利用“大数据”技术进行突破。

该倡议涉及联邦政府.的6个部门（美国国家科学基金（NSF）、美国国家卫生研究院（NIH）、美国能源部（DOE）、美国国防部（DOD）、美国国防部高级

研究计划局（DARPA）、美国地质勘探局（USGS）等六个部门）。这些部门承诺将投资总共超过两亿美元；来大力推动和改善与“大数据”相关.的收集、组织和分析工具及技术。在这份倡议中还透露了多项正在进行中.的联邦政府各部门.的大数据计划。主要内容如下：美国国家科学基金和美国国家卫生研究院主要推进大数据科学和工程.的核心方法及技术研究；项目包括管理、分析、可视化、以及从大量.的多样化数据集中提取有用信息.的核心科学技术；国防部高级研究局项目主要推进大数据辅助决策；集中在情报、侦查、网络间谍等方面；汇集传感器、感知能力和决策支持建立真正.的自治系统；实现操作和决策.的自动化；美国能源部试图通过先进.的计算进行科学发现；提供2500万美元基金来建立可扩展.的数据管理、分析和可视化研究所；美国地质勘探局通过给科学家提供深入分析.的场所和时间、最高水平.的计算能力和理解大数据集.的协作工具；催化在地理系统科学.的创新思维。

五、“大数据”技术在工控行业中.的若干应用研究

㈠在电力行业.的若干应用研究

在电力行业；坚强智能电网建设及“三集五大”管理体系.的决策部署；对数据.的管理、共享及互操作提出了更高.的要求。电力行业面临着正在形成.的大数据环境；为此；需要不断挖掘大数据环境下.的业务数据处理.的潜在需求；探索适应电力数据.的理论和方法；使得电力信息系统.的运维.的外延向数据运维.的范畴进一步地拓展。以更好地适应数据量.的迅速增长、数据类型.的多样化、数据

时效性不断提高。

以智能电网为例；电网互联是电力系统发展.的客观规律；有必要加强研发大规模互联电网.的安全稳定运行技术、先进可靠.的配电网与共用技术及微电网技术为主.的分布式电力系统。因此；采集、分析并有效应用“大数据”是解决能源与公共事业关键业务.的重要因素；可以实现向智能电网转型、改善分布式可再生发电.的资产预报与调度、提高发电效率以及改变客户运营模式。

《大数据时代》.的作者舍恩伯格说；可以抽象地认为；智能电网就是“大数据”这个概念在电力行业中.的应用；就是通过网络将用户.的用电习惯等信息传回给电网企业.的信息中心；进行分析处理；并对电网规划、建设、服务等提供更可靠.的依据。同时；对于风能、太阳能等具有间歇性.的新能源；通过“大数据”分析进行有效地调节；也可以使新能源更好地与传统.的水火电进行互补；更为灵活地出力。

在本质上；智能电网是“大数据”在电力上.的应用。在电力行业；坚强智能电网.的迅速发展使信息通信技术正以前所未有.的广度、深度与电网生产、企业管理快速融合；信息通信系统已经成为智能电网.的“中枢神经”；支撑新一代电网生产和管理发展。

“大数据”与电网.的融合可组成智能电网；涉及发电到用户.的整个能源转换过程和电力输送链；主要包括智能电网基础技术、大规模新能源发电及并网技术、

智能输电网技术、智能配电网技术及智能用电技术等；是未来电网.的发展方向等。

电力企业是不是符合“大数据”应用.的企业？享誉信息产业界多年.的梅特卡夫定律指出；网络.的价值与联网.的用户数.的平方成正比。随着电力工业与信息化.的深度融合；智能电网将承载着电力流、信息流和业务流；电网和电力信息通信网.的用户将发生叠加；电网.的整体价值会跃升。这种价值.的跃升将使电力企业具有大数据.的时代特征。电力信息通信将突破传统运维、产生更多.的增值服务；甚至催生新.的管理模式创新。数据中心将被赋予更多.的职能；比如强大.的数据挖掘、数据分析和决策能力。电力企业业务数据主要来自生产数据和运营管理数据。电力企业生产数据既包括发电量、电压稳定性等实时采集.的数据；也包括物联网、云计算、新能源并网、移动互联、电动汽车充换电、车联网等技术带来.的新数据业务。电力企业运营管理数据；则包括交易电价、售电量、用电客户、ERP、一体化平台、协同办公等方面.的数据。如能充分利用这些基于电力生产、使用等实际数据；对其进行深入分析；便可以提供大量.的高附加值服务。这些增值服务将有利于电网安全检测与控制；客户用电行为分析与客户细分；电力企业精细化运营管理等；实现更科学.的需求侧管理。数据、信息和知识.的“按需分配、恒值供给、多次挖掘”将成为新经济形态.的不竭动力；而“大数据”技术和应用成为决策.的辅助系统。

“大数据”时代对电力行业发展提出新.的挑战；但也带来新.的发展机遇。通过良好.的数据管理；并运用数据挖掘手段践行大数据战略；将切实提高电力

生产、营销；以及电网运维等各方面生产管理水平；为使中国电力企业继续立于世界先进行列提供强大.的信息技术支撑。

据悉；2013年3月；中国电机工程学会电力信息化专委会拟编制发布《中国电力大数据发展白皮书（2013）》；这将是我国首次就电力“大数据”问题发布.的白皮书。作为电力信息化专委会秘书处所在单位；国网信息通信有限公司承担白皮书.的调研和编写工作。白皮书全文12000 余字；分为引言、迎接电力“大数据‘时代、展望电力“大数据”时代、迈向电力“大数据”时代、结束语等五部分。

这充分表明；电力工业作为国家基础性能源设施；与社会发展和人民生活息息相关；是国民经济社会健康稳定持续发展.的重要条件。积极应用“大数据”技术；推动中国电力“大数据”事业健康发展；对实现中国电力工业科学发展具有极大.的现实意义。

完全可以预期；“大数据”技术.的在电力行业中.的应用研究；仅仅是开始。随着电力行业.的不断发展；“大数据技术”应用；将会不断扩展与深化。

㈡有助于提升工控行业.的“洞察力”

所谓“洞察力”；指.的是人对任何特定情况作出预见.的能力。在企业管理上；“洞察力”更意味着管理者必须拥有以数据为基础、深入观察分析；透过现象看

本质、将理论应用到实际工作中.的能力。随着数据总量.的持续增长和急速膨胀；“大数据”时代已经来临；2013年电力、石油等能源细分行业纷纷拉开了“大数据”开发应用.的序幕。“大数据”技术强调.的是从海量数据中快速获取有价值信息.的能力；如何从海量数据中高效获取数据；有效地深加工并最终得到有用.的数据是能源企业涉足“大数据”.的目.的。“大数据”是以大量资料为基础；以更加科学.的方式；进行分析、洞察.的创新能力。

实际上；进入“大数据”时代以来；现代企业正经历着规模化、多样化和高速化.的数据挑战。越来越多.的管理者开始意识到；若无法对海量信息进行有效.的分析处理；预测出潜在.的业务风险；便容易在竞争中处于劣势；若无法通过有效.的沟通；确保洞察到.的信息被较好地执行；则可能致使企业商机.的流失。

未来；企业会依靠洞悉数据中.的信息更加了解自己；也更加了解客户。在这个瞬息万变.的时代；面对各种随时可能发生变化.的形势；管理者不妨使用“以洞察获取先机、用沟通确保执行”.的方式；制定各种应对战略；保证企业这艘“大船”平稳行驶；在不断.的竞争中获得胜利。企业管理公司SAP（全球知名.的企业管理和协同化商务解决方案供应商）曾做过一项调查；发现在任何行业中；将最具竞争力.的企业与最不具竞争力.的企业相比；前者.的员工受到更强洞察力.的影响.的比例是后者两倍；由此可见；强大.的洞察力对企业竞争优势起推动作用。

归根到底；“大数据”.的最终意义在于获得提升“洞察力”.的能力和价值。

移动互联时代；数据已经被认为是宝贵资源；任何一家有雄心、渴望获取洞察力.的企业；都应及早制定“大数据”战略和方案。否则；所有.的机会将被“数据鸿沟”所延宕。

㈢“大数据”.的核心：更准确地预测企业数据

在“大数据”时代；数据与机器将在人类.的日常决策中占有重要.的地位。未来；人类必须学会如何和海量.的数据相处。从个体角度而言；人类需要学会如何平衡个人直觉与数字证据之间.的关系；从企业与组织角度而言；人类需要探索企业组织架构和决策流程与数据之间.的关系；从创新角度而言；人类需要探索如何打造合适.的产业环境；促进更多.的创新.的“大数据”应用.的诞生。“大数据”时代；海量数据处理与挖掘.的技术固然十分重要；但是；更为重要.的因素仍然是人。只有人；才能利用新技术与新方法创造性地搜集与探索数据中隐含.的意义；只有人；才能最大限度地发挥数据.的作用；在机器与数据.的支持下更有效地决策。换句话说；“大数据”.的核心：是要求更准确地预测企业.的数据。为了适应“大数据”时代.的来临；企业需要从管理者.的思维方式、企业.的组织架构和信息环境等多方面进行改变以与之相适应。

企业“大数据”.的应用一方面是与宏观经济、人民生活、社会保障、道路交通.的信息融合；促进经济社会发展；另一方面；是各个行业或企业内部；跨专业、跨单位、跨部门.的数据融合；提升行业、企业管理水平和经济效益。