1.大数据体系结构

大数据科学与工程系列

大数据体系结构陈志成 中国科学院大学 2014年06月

主要内容一、大数据时代的新命题 二、大数据的体系结构 三、大数据的关键技术 四、物联网与云计算架构 五、知名企业大数据架构 六、大数据系统设计案例 总结、交流、作业

一、大数据时代的新命题

谷歌大数据中心：全球主要DC有8个

大数据表象概念：百度数据规模

大数据表象概念：对系统要求

大数据时代的新命题: 数据在爆炸式增长 -互联网海量大数据 -物联网各类型数据 发数据处理能力要求提高 -大规模数据存取方式 -大数据并行技术能力 数据间关联性分析加强 -社交网络关系 -多业务关联性 -用户行为分析 网络数据的实时同步 -一切营销都线下+线上 -多业务跨地域数据同步

“数据结构化”本身是最 具挑战性的一个环节. 海量数据与快速处理是一 对悖论.

信息时代的大数据需求

信息社会需求：信息化-智能化-现代化人力工具 -- 镰刀 -- 锄头 动力工具 -- 机车 -- 机床 智能工具 --推理机 --智能网

农业社会

工业社会

信息社会

信息时代数据大爆炸，推动智能技术发展

信息时代，软件编程模型发展 “面向信息处理”的智能化编程模型，编程简化为数据配置 与管理

大数据+技术架构 数据智能

二、大数据的系统架构

传统数据库技术架构: Oracle数据库体系架构

大数据架构：分层架构 从数据在生命周期看，大数据从数据源经过分析挖掘到最终获得价值需要经过5 个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。

大数据的系统架构：整体系统架构

新一代编程语言

大数据架构：整体逻辑功能架构