大数据分析关键技术与服务创新

大数据分析关键技术与服务创新黄哲学博士深圳大学特聘教授

内容提纲

1 2

数据分析与大数据云计算与大数据分析

3

关键技术与服务创新

腾讯游戏与大数据分析 亿级在线用户、上百在线游戏 游戏平台系统记录每个用户在线玩游戏的详细数据，包括游戏、时间、动作、结果等，数据超TB级 分析需求：–用户行分类与预测，用户行为客户群划分，–用户挽留、用户奖励和级别提升

QQ游戏是腾讯旗下自研的休闲游戏社区平台，官方数据显示，QQ游戏平台拥有百款以上的游戏品类，2亿量级活跃用户，最高同时在线人数超过800万。

智能电网大数据 东莞工业的电力用户达两万多家 每十五分钟采集电压、电流、功率等数据 每月平均数据量达 85GB

用客户电行为模式大数据分析 选取客户不同维度的数据进行客户分群 日周月用电模式 用户行业背景

用户地理信息 用户电力设备信息 地区宏观经济数据

通过对客户分群，获取用户不同的用电模式 工作日双班制，三班制，四班制 周末长短周轮休 夜间用电高峰 行业间用电模式比较 不同地区不同行业用电模式比较 节假日及用电模式趋势预测

客户分群三班型

两班型

稳定型

其他类型

三班制用电行为聚类高强度加班模式

低强度加班模式

什么是大数据

对数据的使用者来讲，如果数据集超出了使用者所拥有的信息处理和分析的能力，就给使用者带来了大数据问题

大数据的3V特征Volume数据规模大

大数据的特点并不只是数据规模大

Value

价值

Velocity数据变化数据快

Variety数据属性复杂

大数据的价值 (Value)美国医疗保健 每年产值达3000亿美金 每年生产率增长约0.7%

欧洲公共部门管理 每年2500亿欧元 每年生产率增长约0.7%

全球个人定位数据 1000亿+的服务供应商收入 为终端用户带来高达7000亿美的价值

美国零售业 净利率增长可能高达60%+ 每年生产率增长0.5-1.0%

制造业 最多可节省50%的产品研发、组装成本 最多可节约7%的营运资金

未来大数据的产业规模将会至少以万亿美元来进行衡量，大数据将会给信息技术领域带来一个新的增长点。

大数据产业链传统应用领域通信金融零售制造

互联网

智能电网

电子商务

现代物流

智慧城市

新型应用领域

大数据带来的挑战

内容提纲

1 2

数据分析与大数据云计算与大数据分析

3

关键技术与服务创新

挑战性科学问题1. Patient病人健康 Information医疗数据

没有有效的数据集成就不能进行有效的综合数据分析

Hospital events ....admission, surgery,

recovery, discharge

数据融合 (fusion) Access to Diverse Heterogeneous数据集成 Distributed Data (integration )挑战

Expression Arrays(various tissues)

Personal genomics

X-rays, MRI, mamograms, etc Clinical Record

Analysis lab notes

挑战性科学问题f1 1 2 f2 f3 f4 f5…成千上万个属性

超高维问题1. 2. 3. 4. 5. 6.混合数据类型缺省值/噪声相关性问题 Unbalance Subspace property Uninformativeness

n-4 n-3 n-2 n-1 n

百万以上甚至超亿个记录

大数据集的挑战 (Big Data Matrix)

云计算与大数据 云计算是一种新的大规模分布式计算模式–通过网络和资源虚拟技术，实现计算及存储资源集中管理，面向用户提供服务

云计算可以解决目前计算机使用的诸多问题，是计算技术发展的一个新的里程碑传统计算机的问题 使用成本高 资源分散 资源不足 资源浪费 高能耗 环境污染云计算的优点 成本低 易于普及 可扩展能力高 节能 环保