基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

数据中台技术架构方法论与实践

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

目录

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

1

、转转数据中台的背景与目标

广告、注册、搜索推荐、风控、IM 、支付、客服…复杂生态APP、小程序、垂类；线上、线下；C2X，B2B，X2C 纵深链路

MVP

30+1400+

圈子、拍卖、寄卖、回收、自营、视频，切客…

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

1、转转数据中台的背景与目标

5流程规范烟囱模式孤岛重复指标重复时间保障

数据安全数据共享形式单一临时取数响应及时

外部业务：数据脏、乱、差，业务不满意

内部研发：疲于奔命、四处救火，普遍苦恼SQL-Boy，人肉提数机

方案：数据中台建设

目标：复用、赋能、降本提效

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

数据中台

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

数据资源集中全域数据

技术

基础架构

全链路

产品

能力复用

赋能业务

组织

企业级

平台

2、转转数据中台技术架构与思路

到底什么是数据中台？有什么特点？

7

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

2、数据中台技术架构与思路8数据应用

/业务反馈DA （数据应用层）服务业务化

BI 报表渠道分析商品分析交易分析数据产品智能挖掘自助报表精细化推送业务系统商品系统财务系统应用治理指标字典数据统计/用户分析订单分析行为分析画像档案事件漏斗A/B Test 运营系统客服系统血缘关系分析/挖掘搜索推荐竞品分析商业分析自助留存监控告警电视看板搜索推荐质检系统数据地图

DaaS （Data-as-a-Service ）

资产服务化

留存模型主题表事件模型主题表数据集市层画像提取平台实时自助框架生命周期管理质量安全管理数据建模数据仓库层

/存储用户主题商品主题交易主题收入主题广告主题行为主题

前端埋点后端日志源数据层

业务数据库三方广告战略竞对线下表单数据资产化

PaaS （Platform-as-a-Service ）

数据传输MapReduce Spark 数据计算层

Storm Flink Kylin Druid

实时/批量HDFS Hive 数据存储层

HBase MySQL TiDB ZZRedis 数据采集Flume Sqoop 数据传输层

Kafka Lego WS Server 业务数据化

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

转转数据中台

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：PaaS

zzdp大数据平台

目标

–高可用、高性能、可扩展的大数据全链路一站式解决方案

核心组件/功能

–Flink、Flume、Kafka、Hadoop、Spark、HBase等存储计算框架

–Docker云平台日志采集系统

–苍鹰大数据管理平台

–Skynet 调度平台

10

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3

、转转数据中台构建过程：PaaS 11PaaS （Platform-as-a-Service ）

Skynet 调度平台Flink Spark 数据计算层

Storm MapReduce Kylin Druid

苍鹰数据治理平台HDFS Kafka 数据存储层

TiDB HBase MySQL ZZRedis

Lego 日志采集平台SDK Docker 异构数据源

Server DB Spider AD

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

苍鹰大数据管理平台：

为集群提供立体监控、自助化、可视化运维服务，保障高可用 核心功能

集群日常使用情况报表统计与跟踪

冷数据压缩、删除、小文件定期自动合并

日常各类自助化运维操作、监控告警

权限管理

资产管理与优化治理：用户/任务/日志/表总量、增量、异常数TOP 效果

3、转转数据中台构建过程：PaaS 1210¹小文件1%

超长任务数30%高峰负载

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：PaaS 13 Skynet 调度平台

–轻量级、可维护、可扩展

–与Hadoop 生态融合

核心功能

–任务精准时刻调度

–依赖方式灵活多样

–根据任务自建血缘关系

效果

20,000+任务数

99.99%可用性

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：DaaS

传统的数仓为何在数据中台地位如此重要？

目标： 汇聚全域数据打破数据孤岛，沉淀企业完整稳定准确的数据资产 核心组件/功能

–Galaxy 全域数据仓库

–iQuery 自助式、可视化查询分析平台

14承数据启业务

DaaS （Data-as-a-Service ）

iQuery 数据服务层

Zeppelin ZZSCF

留存模型主题表事件模型主题表数据集市层

画像提取平台实时自助框架生命周期管理数据质量管理

用户主题商品主题数据仓库层

交易主题收入主题广告主题行为主题

前端埋点后端日志源数据层

业务数据库三方广告战略竞对线下表单

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：DaaS

Galaxy全域数据仓库目标：

–统一的数据建模标准、规范

–开放的数据存储、建模、计算能力

–可落地、可扩展，满足转转未来2年，千万日活的业务体量

数据量

总数据30PB+

日增量50TB+

元数据20,000+

15

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：DaaS

数据仓库构建之路：Galaxy全域数据仓库离线整体流程

16

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：DaaS Galaxy 全域数据仓库效果时间段：

模式：

2015.11-2016. 6业务支撑2016.6-2017.6平台研发2017.7-至今业务共建、自治业务需求：

500+1400+600+业务场景：

分析+监控+业务输出+运营+线上服务覆盖人群：20%40%70%

17简单报表Case by Case BI 平台数据仓库数据中台全域数仓